技術メタデータの収集

データ・ソースを収集するには、データ・カタログ・インスタンスでデータ・アセットとしてデータ・ソースを登録する必要があります。データ・アセットとは、データベース、クラウド・ストレージ・コンテナ、メッセージ・ストリームなどの任意の物理データ・ストアまたはストリームです。

データ・アセットを収集すると、データ・カタログ・ハーベスタは、データ・アセットからメタデータ情報を抽出、標準化および索引付けし、データ・カタログに統合済で検索可能なリポジトリを作成します。その後、データ・カタログを参照または探索し、収集されたデータ・エンティティおよび属性を表示して、データ・アセットに注釈を付けたり拡張します。

データ・ソースの収集では、次のステップを実行します:

次のデータ・ソース(パブリックIPまたはプライベートIPを使用してアクセス可能)を使用して、データ・カタログにデータ・アセットを作成します。

Oracle Cloud Infrastructure Virtual Cloud Networks (VCN)に接続されているオンプレミス・データ・ソースに接続することもできます。

作成するデータ・アセットのタイプに応じて、異なるデータ構造を使用してデータ・エンティティを参照します。たとえば、Oracle Databaseデータ・アセットを作成する場合、データベース・オブジェクトを参照して表を確認し、データ・エンティティを表示します。

次の表に、様々なデータ・ソースの収集オブジェクトを示します。

Oracle Object Storageでは、次のファイル・タイプがサポートされています:

• カンマ区切り値(CSV)ファイル(.csv、.csv.gz)

  ノート
  
  サポートされているセパレータは、,(カンマ)、\t(タブ)、|(縦棒)、;(セミコロン)です。

• XMLファイル(.xml、.xsd)

• Avroファイル(.avro、.avro.gz)

• Excelファイル(.xls、.xlsx)

• Apache Parquetファイル(.parquet、.pq)

• Apache ORCファイル(.orc)

• 単純なJSONファイル(.json、.json.gz)

サポートされていないファイル・タイプの収集を選択した場合、データ・カタログ・ハーベスタは、名前やパスなどの基本情報のみをこれらのファイルから抽出します。

データ・アセットには、1つ以上のデータ・エンティティが含まれています。データ・エンティティとは、データベース表やビューなどのデータの集合、または単一の論理ファイルです。通常、データ・エンティティにはデータを表す多くの属性があります。属性は、名前とデータ型を持つデータ・アイテムを記述します。