データ・カタログを使用した外部データの問合せ

Oracle Cloud Infrastructure Data Catalogは、データの検出およびデータ・ガバナンスのサポートに役立つOracle Cloudのメタデータ管理サービスです。アセットのインベントリ、ビジネス用語集、およびデータ・レイクの一般的なメタストアを提供します。

Autonomous Databaseでは、このメタデータを活用して、データ・レイクのオブジェクト・ストアにアクセスするための管理を大幅に簡素化できます。データ・レイクにアクセスするために外部表を手動で定義するかわりに、自動的に定義および管理される外部表を使用します。これらの表は、Autonomous Databaseで保護されたスキーマにあり、データ・カタログでの変更によって最新の状態に保たれます。

データ・カタログの詳細は、データ・カタログのドキュメントを参照してください。

データ・カタログを使用した問合せについて

Autonomous Databaseは、データ・カタログ・メタデータと同期することで、データ・カタログによって収集された論理エンティティごとに外部表を自動的に作成します。これらの外部表は、メタデータ同期プロセスによって完全に管理されるデータベース・スキーマで定義されます。ユーザーは、外部データ・ソースのスキーマ(列およびデータ型)を手動で導出し、外部表を手動で作成することなく、すぐにデータを問い合せることができます。

同期は動的であり、基礎となるデータの変更に関してAutonomous Databaseが最新の状態に維持され、数百から数千の表が自動的にメンテナンスされることで管理コストが削減されます。また、複数のAutonomous Databaseインスタンスで同じデータ・カタログを共有できるため、管理コストがさらに削減され、共通のビジネス定義セットが提供されます。

データ・カタログのフォルダ/バケットは、Autonomous Databaseスキーマと同期するコンテナです。これらのフォルダ/バケット内の論理エンティティは、Autonomous Databaseの外部表にマップされます。これらのスキーマおよび外部表は、同期プロセスによって自動的に生成されてメンテナンスされます:

  • フォルダ/バケットは、編成上の目的のみのデータベース・スキーマにマップされます。
  • 編成は、データ・レイクと一貫性を持たせ、異なるパスからデータにアクセスする際の混乱を最小限に抑えることを目的としています。
  • データ・カタログは、スキーマに含まれる表の真のソースです。データ・カタログで行われた変更により、後続の同期時にスキーマの表が更新されます。

この機能を使用するには、データベース・データ・カタログ管理者がデータ・カタログ・インスタンスへの接続を開始し、同期するデータ・アセットおよび論理エンティティを選択し、同期を実行します。同期プロセスでは、選択したデータ・カタログで収集されたデータ・アセットおよび論理エンティティに基づいて、スキーマおよび外部表が作成されます。外部表が作成されるとすぐに、データ・アナリストは外部データ・ソースのスキーマを手動で導出して外部表を作成することなく、データの問合せを開始できます。

ノート

DBMS_DCATパッケージは、データ・カタログ・オブジェクト・ストア・データ・アセットの問合せに必要なタスクを実行するために使用できます。DBMS_DCAT Packageを参照してください。

データ・カタログを使用した問合せに関連する概念

データ・カタログを使用して問い合せるには、次の概念を理解する必要があります。

Data Catalog

データ・カタログは、Autonomous Databaseで問い合せるオブジェクト・ストア・データ・ソースを指すデータ・アセットを収集します。データ・カタログから、収集時のデータの編成方法を指定し、様々なファイル編成パターンをサポートできます。データ・カタログの収集プロセスの一部として、アセット内で管理するバケットおよびファイルを選択できます。詳細は、データ・カタログの概要を参照してください。

オブジェクト・ストア

オブジェクト・ストアには、様々なオブジェクトを含むバケットがあります。これらのバケットに含まれるオブジェクトの一般的なタイプには、CSV、parquet、avro、jsonおよびORCファイルがあります。バケットには通常、含まれているオブジェクトに対する構造または設計パターンがあります。データの構造化には様々な方法があり、これらのパターンを解釈する様々な方法があります。

たとえば、一般的な設計パターンでは、表を表すトップレベル・フォルダを使用します。特定のフォルダ内のファイルは同じスキーマを共有し、その表のデータを含みます。サブフォルダは、多くの場合、表パーティション(各日のサブフォルダなど)を表現するために使用されます。データ・カタログは、各最上位フォルダを論理エンティティとして参照し、この論理エンティティはAutonomous Database外部表にマップされます。

Connection

接続とは、データ・カタログ・インスタンスへのAutonomous Database接続です。Autonomous Databaseインスタンスごとに、複数のデータ・カタログ・インスタンスへの接続が可能です。Autonomous Database資格証明には、オブジェクト・ストレージから収集されたデータ・カタログ・アセットにアクセスする権限が必要です。

収集

オブジェクト記憶域をスキャンし、データ・セットから論理エンティティを生成するデータ・カタログ・プロセス。

データ・アセット

データ・カタログのデータ・アセットは、データベース、Oracle Object Storage、Kafkaなどのデータ・ソースを表します。Autonomous Databaseでは、メタデータの同期にOracle Object Storageアセットを利用します。

データ・エンティティ

データ・カタログ内のデータ・エンティティとは、データベース表やビューなどのデータの集合、または単一のファイルであり、通常はそのデータを記述する多くの属性が含まれています。

論理エンティティ

データ・レイクでは、通常、多数のファイルにより単一の論理エンティティが構成されます。たとえば、日次クリックストリーム・ファイルがある場合、これらのファイルは同じスキーマおよびファイル・タイプを共有します。

データ・カタログ論理エンティティは、作成済でデータ・アセットに割り当てられたファイル名パターンを適用することで、収集中に導出されるオブジェクト・ストレージ・ファイルのグループです。

データ・オブジェクト

データ・カタログのデータ・オブジェクトは、データ・アセットおよびデータ・エンティティを表します。

ファイル名パターン

データ・レイクでは、データを様々な方法で編成できます。通常、フォルダはスキーマおよびタイプが同じファイルを取得します。データをどのように編成するかをデータ・カタログに登録する必要があります。ファイル名パターンは、データの編成方法を識別するために使用されます。データ・カタログでは、正規表現を使用してファイル名パターンを定義できます。データ・カタログが、ファイル名パターンが割り当てられたデータ・アセットを収集すると、ファイル名パターンに基づいて論理エンティティが作成されます。これらのパターンを定義してデータ・アセットに割り当てることで、ファイル名パターンに基づいて複数のファイルを論理エンティティとしてグループ化できます。

同期

Autonomous Databaseは、データ・カタログとの同期を実行して、基礎となるデータの変更に関してデータベースを自動的に最新にします。同期は手動で、またはスケジュールに従って実行できます。

同期プロセスでは、データ・カタログ・データ・アセットおよび論理エンティティに基づいてスキーマおよび外部表が作成されます。これらのスキーマは保護されているため、メタデータはデータ・カタログによって管理されます。メタデータを変更する場合は、データ・カタログで変更する必要があります。次の同期の実行後に、Autonomous Databaseスキーマに変更が反映されます。詳細は、同期マッピングを参照してください。

同期マッピング

同期プロセスでは、データ・カタログのデータ・アセット、フォルダ、論理エンティティ、属性および関連するカスタム・オーバーライドに基づいて、Autonomous Databaseスキーマおよび外部表を作成および更新します。

データ・カタログ Autonomous Database マッピングの説明

データ・アセットおよびフォルダ(オブジェクト・ストレージ・バケット)

スキーマ名

デフォルト値:

デフォルトでは、Autonomous Databaseで生成されたスキーマ名の形式は次のとおりです:

DCAT$<dcat-con-id>_<data-asset-name>_<folder-name>

  • dcat-con-idは、一意のデータ・カタログ接続識別子です。この識別子の指定の詳細は、DBMS_DCAT RUN_SYNCプロシージャdcat_con_idパラメータを参照してください。
  • data-asset-nameは、データ・カタログ・データ・アセットの名前です。
  • folder-nameは、データ・カタログのフォルダ名です。このフォルダはオブジェクト・ストレージ・バケットにマップされます。

カスタマイズ:

デフォルトのdata-asset-nameおよびfolder-nameは、カスタム・プロパティ、ビジネス名および表示名を定義して、これらのデフォルト名をオーバーライドすることでカスタマイズできます。
  • data-asset-nameをオーバーライドするには、データ・カタログ内のデータ・アセットのoracle-db-schema-prefixカスタム・プロパティを定義します。
  • folder-nameは、データ・カタログ内のフォルダのoracle-db-schemaカスタム・プロパティ、ビジネス名または表示名を定義することでオーバーライドできます。次の属性は、folder-nameを生成するための優先順位に従って使用されます:
    1. oracle-db-schemaカスタム・プロパティ
    2. ビジネス名
    3. 表示名

:

  • 接続IDがDataModels、アセット名がObjectStorage、フォルダ名がHR、およびカスタム・プロパティのオーバーライドがない場合、導出されたスキーマ名はDCAT$DATAMODELS_OBJECTSTORAGE_HRとなります
  • データ・アセット名がMYFOLDER、およびカスタム・プロパティのオーバーライドがない場合、スキーマ名はDCAT$MYASSET_MYFOLDERとなります
  • データ・アセットにoracle-db-prefix = FIRSTASSETがあり、フォルダにoracle-db-schema = FIRSTFOLDERがある場合、スキーマ名はDCAT$FIRSTASSET_FIRSTFOLDERとなります
論理エンティティ 外部表

論理エンティティは外部表にマップされます。論理エンティティにパーティション化された属性がある場合は、パーティション化された外部表にマップされます。

外部表名は、対応する論理エンティティの表示名またはビジネス名から導出されます。

oracle-db-schemaが設定されている場合、その値は、対応するフォルダおよびデータ・アセットのすべての名前およびカスタム・プロパティをオーバーライドします。

たとえば、エンティティのoracle-db-schemaEntitySchemaに設定されている場合、表はスキーマDCAT$ENTITYSCHEMAに作成されます。

論理エンティティの属性 外部表列

列名: 外部表の列名は、対応する論理エンティティの属性表示名またはビジネス名から導出されます。

Parquet、AvroおよびORCファイルから導出された論理エンティティの場合、列名はソース・ファイルから導出されたフィールド名を表すため、常に属性の表示名になります。

CSVファイルから導出された論理エンティティに対応する属性の場合、次の属性フィールドが、列名を生成するための優先順位に従って使用されます:

  1. oracle-db-column-name
  2. ビジネス名
  3. 表示名

列タイプ: oracle-db-column-typeカスタム・プロパティは、データ・カタログによって導出されたデフォルトの列タイプをオーバーライドします。

TIME_MICROSTIME_MILLISTIMESTAMP_MICROSまたはTIMESTAMP_MILLISデータ型のAvroファイルから派生した論理エンティティに対応する属性の場合、データ・カタログで対応する属性のoracle-db-column-typeを設定する必要があります。

列長: oracle-db-column-lengthカスタム・プロパティは、データ・カタログによって導出された文字列フィールドのデフォルトの列長をオーバーライドします。

列精度: oracle-db-column-precisionカスタム・プロパティは、データ・カタログによって導出された数値のデフォルトの精度をオーバーライドします。

TIME_MICROSTIME_MILLISTIMESTAMP_MICROSまたはTIMESTAMP_MILLISデータ型のAvroファイルから派生した論理エンティティに対応する属性の場合、データ・カタログで対応する属性のoracle-db-column-precisionを設定する必要があります。

列スケール: oracle-db-column-scaleカスタム・プロパティは、データ・カタログによって導出された数値のデフォルト・スケールをオーバーライドします。

データ・カタログを使用した一般的なワークフロー

データ・カタログを使用して問い合せるユーザーが実行するアクションの一般的なワークフローがあります。

データベース・データ・カタログ管理者は、Autonomous Databaseインスタンスとデータ・カタログ・インスタンス間の接続を作成し、データ・カタログとAutonomous Database間の同期を構成および実行します。同期では、同期されたデータ・カタログの内容に基づいて、Autonomous Databaseインスタンスに外部表およびスキーマが作成されます。

データベース・データ・カタログ問合せ管理者またはデータベース管理者が、生成された外部表へのREADアクセス権を付与するため、データ・アナリストや他のデータベース・ユーザーは外部表を参照および問合せできます。

次の表に各アクションの詳細を示します。この表に含まれる様々なユーザー・タイプの説明は、データ・カタログのユーザーおよびロールを参照してください。

ノート

DBMS_DCATパッケージは、データ・カタログ・オブジェクト・ストア・データ・アセットの問合せに必要なタスクを実行するために使用できます。DBMS_DCAT Packageを参照してください。
アクション ユーザー 説明

ポリシーの作成

データベース・データ・カタログ管理者

Autonomous Databaseリソース・プリンシパルまたはAutonomous Databaseユーザー資格証明には、データ・カタログを管理し、オブジェクト・ストレージから読み取るための適切な権限が必要です。

詳細: 必須資格証明およびIAMポリシー

資格証明の作成

データベース・データ・カタログ管理者

データ・カタログにアクセスしてオブジェクト・ストアを問い合せるためのデータベース資格証明が設定されていることを確認します。ユーザーは、DBMS_CLOUD.CREATE_CREDENTIALをコールしてユーザー資格証明を作成するか、またはDBMS_CLOUD_ADMIN.ENABLE_RESOURCE_PRINCIPALをコールしてリソース・プリンシパルの有効化(あるいはその両方)を行います。

詳細情報: DBMS_CLOUD CREATE_CREDENTIALプロシージャリソース・プリンシパルとDBMS_CLOUDの使用

データ・カタログへの接続の作成

データベース・データ・カタログ管理者

Autonomous Databaseインスタンスとデータ・カタログ・インスタンス間の接続を開始するには、ユーザーはDBMS_DCAT.SET_DATA_CATALOG_CONNをコールしてターゲット・データ・カタログ・インスタンスを指定します。Autonomous Databaseインスタンスから複数のデータ・カタログ・インスタンスへの接続がサポートされています。

データ・カタログ・インスタンスへの接続では、十分なOracle Cloud Infrastructure (OCI)権限を持つデータベース資格証明オブジェクトを使用する必要があります。たとえば、十分な権限を持つAutonomous DatabaseインスタンスまたはOCIユーザーのリソース・プリンシパル・サービス・トークンを使用できます。

接続が行われると、データ・カタログ・インスタンスはDBMS_DCATネームスペースおよびカスタム・プロパティで更新されます(まだ存在しない場合)。ユーザーは、問合せを実行して、現在のすべての接続を含む新しい接続を表示できます:
select * from all_dcat_connections;

詳細情報: SET_DATA_CATALOG_CONNプロシージャUNSET_DATA_CATALOG_CONNプロシージャ

選択的な同期の作成

データベース・データ・カタログ管理者

同期するデータ・カタログ・オブジェクトを選択して、同期ジョブを作成します。このユーザーは次のことができます:
  • 同期するデータ・アセット/フォルダの選択。
  • 同期する個々の論理エンティティの選択。
  • 同期前の結果の外部表のプレビュー。
  • データ・カタログのカスタム・プロパティの変更による、外部表(名前など)の変更。

詳細: CREATE_SYNC_JOBプロシージャDROP_SYNC_JOBプロシージャおよび同期マッピングを参照してください

データ・カタログとの同期

データベース・データ・カタログ管理者

ユーザーが同期操作を開始します。同期は、DBMS_DCAT.RUN_SYNCプロシージャ・コールを介して手動で開始されるか、スケジュールされた同期ジョブの一部として自動的に開始されます。

同期操作では、データ・カタログのコンテンツおよび同期選択に従って、外部表および外部スキーマを作成、変更および削除します。手動構成は、データ・カタログのカスタム・プロパティを使用して適用されます。

詳細情報: RUN_SYNCプロシージャCREATE_SYNC_JOBプロシージャ同期マッピングを参照してください

同期のモニターおよびログの表示

データベース・データ・カタログ管理者

ユーザーは、USER_LOAD_OPERATIONSビューを問い合せることで同期ステータスを表示できます。同期プロセスが完了すると、ユーザーは、論理エンティティから外部表へのマッピングの詳細など、同期結果のログを表示できます。

詳細情報: ロードのモニターおよびトラブルシューティング

特権を許可

データベース・データ・カタログ問合せ管理者、データベース管理者

データベース・データ・カタログ問合せ管理者またはデータベース管理者は、生成された外部表のREADをデータ・アナリスト・ユーザーに付与する必要があります。これにより、データ・アナリストは生成された外部表を問い合せることができます。

外部表の参照および問合せ

データ・アナリスト

データ・マネージャは、Oracle SQLをサポートする任意のツールまたはアプリケーションを介して外部表を問い合せることができます。

データ・アナリストは、DCAT$*スキーマ内の同期されたスキーマおよび表をレビューし、Oracle SQLを使用して表を問い合せることができます。

詳細情報: 同期マッピング

データ・カタログへの接続の終了

データベース・データ・カタログ管理者

既存のデータ・カタログ・アソシエーションを削除するには、ユーザーがUNSET_DATA_CATALOG_CONNプロシージャをコールします。

このアクションは、データ・カタログおよびカタログから導出された外部表の使用を計画しなくなった場合にのみ実行されます。このアクションにより、データ・カタログ・メタデータを削除し、同期された外部表をAutonomous Databaseインスタンスから削除します。データ・カタログおよびOCIポリシーのカスタム・プロパティは影響を受けません。

詳細情報: UNSET_DATA_CATALOG_CONNプロシージャ

例: MovieStreamシナリオ

このシナリオでは、Moviestreamはオブジェクト・ストレージ上のランディング・ゾーンのデータを取得しています。このデータの多くは、必ずしもすべてではありませんが、Autonomous Databaseのフィードに使用されます。Autonomous Databaseにフィードする前に、データは変換され、クレンジングされてから「ゴールド」領域に格納されます。

データ・カタログは、これらのソースを収集し、データにビジネス・コンテキストを提供するために使用されます。データ・カタログ・メタデータはAutonomous Databaseと共有されるため、Autonomous DatabaseユーザーはOracle SQLを使用して、これらのデータ・ソースを問い合せることができます。このデータは、Autonomous Databaseにロードするか、外部表を使用して動的に問い合せることができます。

データ・カタログの使用の詳細は、データ・カタログ・ドキュメントを参照してください。

  1. オブジェクト・ストア- バケット、フォルダおよびファイルの確認
    1. オブジェクト・ストア内のバケットをレビューします。
      たとえば、オブジェクト・ストレージのランディング(moviestream_landing)バケットおよびゴールド・ゾーン(moviestream_gold)バケットを次に示します:object_store_buckets_v1.pngの説明が続きます
    2. オブジェクト・ストア・バケット内のフォルダおよびファイルを確認します。
      たとえば、オブジェクト・ストレージのランディング・バケット(moviestream_landing)内のフォルダを次に示します: object_store_folders_v1.pngの説明が続きます
  2. データ・カタログ- ファイル名パターンの作成
    1. ファイル名パターンを使用してデータを編成する方法をデータ・カタログに通知します。これらは、ファイルの分類に使用される正規表現です。ファイル名パターンは、データ・カタログ・ハーベスタによって論理エンティティを導出するために使用されます。MovieStreamの例では、次の2つのファイル名パターンを使用してバケットを収集します。ファイル名パターンの作成の詳細は、論理データ・エンティティとしてのオブジェクト・ストレージ・ファイルの収集を参照してください。
      Hiveスタイル フォルダスタイル
      {bucketName:.*}/{logicalEntity:[^/]+}.db/{logicalEntity:[^/]+}/.* {bucketName:[\w]+}/{logicalEntity:[^/]+}(?<!.db)/.*$
      • オブジェクト名の最初の部分として".db"を含むソースの論理エンティティを作成します。
      • バケット内で一意性を確保するために、結果の名前は(db名).(フォルダ名)となります
      • ルート外のフォルダ名に基づいて論理エンティティを作成します
      • Hiveとの重複を防ぐために、".db"が含まれているオブジェクト名はスキップされます。
    2. ファイル名パターンを作成するには、データ・カタログの「ファイル名パターン」タブに移動し、「ファイル名パターンの作成」をクリックします。たとえば、moviestreamデータ・カタログの「ファイル名パターンの作成」タブを次に示します:
      create_filename_pat.pngの説明が続きます
  3. データ・カタログ- データ・アセットの作成
    1. オブジェクト・ストアからデータを収集するために使用されるデータ・アセットを作成します。
      たとえば、phoenixObjStoreという名前のデータ・アセットは、moviestreamデータ・カタログに作成されます:create_data_asset_v2.pngの説明が続きます
    2. データ・アセットへの接続を追加します。
      この例では、データ・アセットはmoviestreamオブジェクト・ストレージ・リソースのコンパートメントに接続します。add_connection_v2.pngの説明が続きます
    3. ここで、ファイル名パターンをデータ・アセットに関連付けます。「ファイル名パターンの割当て」を選択し、必要なパターンを確認して「割当て」をクリックします。
      たとえば、phoenixObjStoreデータ・アセットに割り当てられたパターンを次に示します:assign_filename_patterns_v1.pngの説明が続きます
  4. データ・カタログ- オブジェクト・ストアからデータを収集します
    1. データ・カタログ・データ・アセットを収集します。ソース・データを含むオブジェクト・ストア・バケットを選択します。
      この例では、オブジェクト・ストアのmoviestream_goldおよび moviestream_landingバケットが収集用に選択されています。harvest_v1.pngの説明が続きます
    2. ジョブの実行後、論理エンティティが表示されます。データ・アセットの参照を使用して、それらを確認します。
      この例では、customer-extension論理エンティティとその属性を確認します。logical_entities_v1.pngの説明が続きます

      用語集がある場合、データ・カタログでは、エンティティとその属性に関連付けるカテゴリと用語が推奨されます。これにより、アイテムのビジネス・コンテキストが提供されます。スキーマ、表および列は、多くの場合、わかりやすいものではありません。

      この例では、様々なタイプのバケットとそのコンテンツの意味を区別します:
      • ランディング・ゾーンとは何ですか。
      • データはどの程度正確ですか。
      • 最終更新日はいつですか。
      • 論理エンティティまたはその属性の定義は何ですか
  5. Autonomous Database - データ・カタログへの接続

    Autonomous Databaseをデータ・カタログに接続します。その接続に使用される資格証明が、データ・カタログ・アセットへのアクセスを許可されたOCIプリンシパルを使用していることを確認する必要があります。詳細は、データ・カタログ・ポリシーおよびポリシーおよびロールの構成によるクラウド・リソースへのアクセスを参照してください。

    1. データ・カタログへの接続
      -- Variables are used to simplify usage later
      define oci_credential = 'OCI$RESOURCE_PRINCIPAL'
      define dcat_ocid = 'ocid1.datacatalog.oc1.iad.aaaaaaaardp66bg....twiq'
      define dcat_region='us-ashburn-1'
      define uri_root =    'https://objectstorage.us-ashburn-1.oraclecloud.com/n/mytenancy/b/landing/o'
      define uri_private = 'https://objectstorage.us-ashburn-1.oraclecloud.com/n/mytenancy/b/private_data/o'
      
      -- Run as admin
      -------
      -- Enable resource principal support
      -------
      exec dbms_cloud_admin.enable_resource_principal();
      
      -- Test to make sure credential was created. Returns a row if it was successful
      select * 
      from dba_credentials 
      where credential_name = 'OCI$RESOURCE_PRINCIPAL' and owner = 'ADMIN'; 
      
      -- Query a private bucket to test the principal and privileges.
      select * 
      from dbms_cloud.list_objects('&oci_credential', '&uri_private/');
      
      --------
      -- Set the credentials to use for object store and data catalog
      -- Connect to Data Catalog
      -- Review connection
      ---------
      -- Set credentials
      exec dbms_dcat.set_data_catalog_credential(credential_name => '&oci_credential');
      exec dbms_dcat.set_object_store_credential(credential_name => '&oci_credential');
      
      -- Connect to Data Catalog
      begin
         dbms_dcat.set_data_catalog_conn (
           region => '&dcat_region',
           catalog_id => '&dcat_ocid');
      end;
      /
      -- Review the connection
      select * from all_dcat_connections;
      
    2. データ・カタログをAutonomous Databaseと同期します。ここでは、すべてのオブジェクト・ストレージ・アセットを同期します:
      
      -- Sync Data Catalog with Autonomous Database
      ---- Let's sync all of the assets.
      begin
       dbms_dcat.run_sync('{"asset_list":["*"]}');
      end;
      /
      
      -- View log
      select type, start_time, status, logfile_table from user_load_operations;  -- Logfile_Table will have the name of the table containing the full log.
      select * from dbms_dcat$1_log;
      
      -- View the new external tables
      select * from dcat_entities;
      select * from dcat_attributes;
      
      
    3. Autonomous Database - オブジェクト・ストアに対する問合せの実行を開始します。
      -- Query the Data !
      select *from dcat$phoenixobjstore_moviestream_gold.genre
      ;
  6. オブジェクトのスキーマの変更

    デフォルトのスキーマ名はかなり複雑です。データ・カタログにアセットとフォルダのOracle-Db-Schemaカスタム属性の両方を指定して、それらを簡素化します。データ・アセットをPHXに変更し、フォルダをそれぞれlandingおよびgoldに変更します。スキーマはその2つの連結です。

    1. 「データ・カタログ」から、moviestream_landingバケットに移動し、アセットをlandingおよびgoldにそれぞれ変更します。

      変更前:

      change_schema_v1.pngの説明が続きます

      変更後:

      change_folder.pngの説明が続きます
    2. 別の同期を実行します。

例: パーティション化されたデータのシナリオ

このシナリオは、オブジェクト・ストアのパーティション化されたデータから収集されたデータ・カタログ論理エンティティに基づく外部表をAutonomous Databaseで作成する方法を示しています。

次の例は、例: MovieStreamシナリオに基づいており、パーティション化されたデータとの統合を示すように調整されています。データ・カタログは、これらのソースを収集し、データにビジネス・コンテキストを提供するために使用されます。この例の詳細は、例: MovieStreamシナリオを参照してください。

データ・カタログの使用の詳細は、データ・カタログ・ドキュメントを参照してください。

  1. オブジェクト・ストア- バケット、フォルダおよびファイルの確認
    1. オブジェクト・ストア内のバケットをレビューします。
      たとえば、オブジェクト・ストレージのランディング(moviestream_landing)バケットおよびゴールド・ゾーン(moviestream_gold)バケットを次に示します:object_store_buckets_v1.pngの説明が続きます
    2. オブジェクト・ストア・バケット内のフォルダおよびファイルを確認します。
      たとえば、オブジェクト・ストレージのランディング・バケット(moviestream_landing)内のフォルダを次に示します: adb_object_store_folders_part.pngの説明が続きます
  2. データ・カタログ- ファイル名パターンの作成
    1. ファイル名パターンを使用してデータを編成する方法をデータ・カタログに通知します。これらは、ファイルの分類に使用されるフォルダ接頭辞または正規表現です。ファイル名パターンは、データ・カタログ・ハーベスタによって論理エンティティを導出するために使用されます。フォルダ接頭辞が指定されると、データ・カタログによって、オブジェクト・ストア内の指定されたフォルダ接頭辞から論理エンティティが自動的に生成されます。MovieStreamの例では、次のファイル名パターンを使用してバケットを収集します。ファイル名パターンの作成の詳細は、論理データ・エンティティとしてのオブジェクト・ストレージ・ファイルの収集を参照してください。
      フォルダ接頭辞 説明
      workshop.db/ オブジェクト・ストアにworkshop.dbパスを含むソースの論理エンティティを作成します。
    2. ファイル名パターンを作成するには、データ・カタログの「ファイル名パターン」タブに移動し、「ファイル名パターンの作成」をクリックします。たとえば、moviestreamデータ・カタログの「ファイル名パターンの作成」タブを次に示します:
      adb_create_filename_pat_part.pngの説明が続きます
  3. データ・カタログ- データ・アセットの作成
    1. オブジェクト・ストアからデータを収集するために使用されるデータ・アセットを作成します。
      たとえば、amsterdamObjStoreという名前のデータ・アセットは、moviestreamデータ・カタログに作成されます:adb_create_data_asset_part.pngの説明が続きます
    2. データ・アセットへの接続を追加します。
      この例では、データ・アセットはmoviestreamオブジェクト・ストレージ・リソースのコンパートメントに接続します。adb_add_conn_part.pngの説明が続きます
    3. ここで、ファイル名パターンをデータ・アセットに関連付けます。「ファイル名パターンの割当て」を選択し、必要なパターンを確認して「割当て」をクリックします。
      たとえば、amsterdamObjStoreデータ・アセットに割り当てられたパターンを次に示します:adb_assign_filename_patt_part.pngの説明が続きます
  4. データ・カタログ- オブジェクト・ストアからデータを収集します
    1. データ・カタログ・データ・アセットを収集します。ソース・データを含むオブジェクト・ストア・バケットを選択します。
      この例では、オブジェクト・ストアのmoviestream_goldおよび moviestream_landingバケットが収集用に選択されています。adb_harvest_part.pngの説明が続きます
    2. ジョブの実行後、論理エンティティが表示されます。データ・アセットの参照を使用して、それらを確認します。
      この例では、sales_sample_parquet論理エンティティとその属性を確認します。データ・カタログでは、month属性はパーティション化済として識別されています。 adb_browse_data_part.pngの説明が続きます
  5. Autonomous Database - データ・カタログへの接続

    Autonomous Databaseをデータ・カタログに接続します。その接続に使用される資格証明が、データ・カタログ・アセットへのアクセスを許可されたOCIプリンシパルを使用していることを確認する必要があります。詳細は、データ・カタログ・ポリシーおよびポリシーおよびロールの構成によるクラウド・リソースへのアクセスを参照してください。

    1. データ・カタログへの接続
      -- Variables are used to simplify usage later
      define oci_credential = 'OCI$RESOURCE_PRINCIPAL'
      define dcat_ocid = 'ocid1.datacatalog.oc1.eu-amsterdam-1....leguurn3dmqa'
      define dcat_region='eu-amsterdam-1'
      define uri_root =    'https://objectstorage.us-ashburn-1.oraclecloud.com/n/mytenancy/b/landing/o'
      define uri_private = 'https://objectstorage.us-ashburn-1.oraclecloud.com/n/mytenancy/b/private_data/o'
      
      -- Run as admin
      -------
      -- Enable resource principal support
      -------
      exec dbms_cloud_admin.enable_resource_principal();
      
      -- Test to make sure credential was created. Returns a row if it was successful
      select * 
      from dba_credentials 
      where credential_name = 'OCI$RESOURCE_PRINCIPAL' and owner = 'ADMIN'; 
      
      -- Query a private bucket to test the principal and privileges.
      select * 
      from dbms_cloud.list_objects('&oci_credential', '&uri_private/');
      
      --------
      -- Set the credentials to use for object store and data catalog
      -- Connect to Data Catalog
      -- Review connection
      ---------
      -- Set credentials
      exec dbms_dcat.set_data_catalog_credential(credential_name => '&oci_credential');
      exec dbms_dcat.set_object_store_credential(credential_name => '&oci_credential');
      
      -- Connect to Data Catalog
      begin
         dbms_dcat.set_data_catalog_conn (
           region => '&dcat_region',
           catalog_id => '&dcat_ocid');
      end;
      /
      -- Review the connection
      select * from all_dcat_connections;
      
    2. データ・カタログをAutonomous Databaseと同期します。ここでは、すべてのオブジェクト・ストレージ・アセットを同期します:
      
      -- Sync Data Catalog with Autonomous Database
      ---- Let's sync all of the assets.
      begin
       dbms_dcat.run_sync('{"asset_list":["*"]}');
      end;
      /
      
      -- View log
      select type, start_time, status, logfile_table from user_load_operations;  -- Logfile_Table will have the name of the table containing the full log.
      select * from dbms_dcat$1_log;
      
      -- View the new external tables
      select * from dcat_entities;
      select * from dcat_attributes;
      
      
    3. Autonomous Database - オブジェクト・ストアに対する問合せの実行を開始します。
      -- Query the Data !
      select count(*) from DCAT$AMSTERDAMOBJSTORE_MOVIESTREAM_LANDING.SALES_SAMPLE_PARQUET;
      
      -- Examine the generated partitioned table
      select dbms_metadata.get_ddl('TABLE','SALES_SAMPLE_PARQUET','DCAT$AMSTERDAMOBJSTORE_MOVIESTREAM_LANDING') from dual;
      
      CREATE TABLE "DCAT$AMSTERDAMOBJSTORE_MOVIESTREAM_LANDING"."SALES_SAMPLE_PARQUET"
      (    "MONTH" VARCHAR2(4000) COLLATE "USING_NLS_COMP",
           "DAY_ID" TIMESTAMP (6),
           "GENRE_ID" NUMBER(20,0),
           "MOVIE_ID" NUMBER(20,0),
           "CUST_ID" NUMBER(20,0),
      ...
      )  DEFAULT COLLATION "USING_NLS_COMP"
      ORGANIZATION EXTERNAL
       ( TYPE ORACLE_BIGDATA
         ACCESS PARAMETERS
         ( com.oracle.bigdata.fileformat=parquet
           com.oracle.bigdata.filename.columns=["MONTH"]
           com.oracle.bigdata.file_uri_list="https://swiftobjectstorage.eu-amsterdam-1.oraclecloud.com/v1/tenancy/moviestream_landing/workshop.db/sales_sample_parquet/*"
      ...
         )
       )
      REJECT LIMIT 0
      PARTITION BY LIST ("MONTH")
      (PARTITION "P1"  VALUES (('2019-01'))
         LOCATION ( 'https://swiftobjectstorage.eu-amsterdam-1.oraclecloud.com/v1/tenancy/moviestream_landing/workshop.db/sales_sample_parquet/month=2019-01/*'),
      PARTITION "P2"  VALUES (('2019-02'))
         LOCATION ( 'https://swiftobjectstorage.eu-amsterdam-1.oraclecloud.com/v1/tenancy/moviestream_landing/workshop.db/sales_sample_parquet/month=2019-02/*'),
      ...PARTITION "P24"  VALUES (('2020-12'))
         LOCATION ( 'https://swiftobjectstorage.eu-amsterdam-1.oraclecloud.com/v1/tenancy/moviestream_landing/workshop.db/sales_sample_parquet/month=2020-12/*'))
      PARALLEL
  6. オブジェクトのスキーマの変更

    デフォルトのスキーマ名はかなり複雑です。データ・カタログにアセットとフォルダのOracle-Db-Schemaカスタム属性の両方を指定して、それらを簡素化します。データ・アセットをPHXに変更し、フォルダをそれぞれlandingおよびgoldに変更します。スキーマはその2つの連結です。

    1. 「データ・カタログ」から、moviestream_landingバケットに移動し、アセットをlandingおよびgoldにそれぞれ変更します。

      変更前:

      change_schema_v1.pngの説明が続きます

      変更後:

      change_folder.pngの説明が続きます
    2. 別の同期を実行します。