Autonomous Databaseとデータレイクの統合

Autonomous Databaseは、Oracle Cloud Infrastructureだけでなく、Amazon、Azure、Googleなどでもデータレイクとの統合をサポートしています。データベースにデータをロードするか、ソース・オブジェクト・ストアでデータを直接問い合せるかを選択できます。どちらの方法でも、同じツールとAPIを使用してデータにアクセスします。Autonomous Databaseにデータをロードすると、通常、オブジェクト・ストレージに直接問い合せる場合と比較して、クエリ・パフォーマンスが大幅に向上します。ただし、オブジェクト・ストアに直接問い合せると、データをロードする必要がなくなり、新しいデータ・ソースに分析を拡張するためのアジャイルなアプローチが可能になります。これらの新しいソースが実証された価値があると判断されたら、データをAutonomous Databaseにロードするオプションがあります。

オブジェクト・ストアのデータにアクセスするためのセキュリティ資格証明

Autonomous Databaseは、Oracle Cloud Infrastructure、Azure、AWS、Googleなど、複数のクラウド・サービスおよびオブジェクト・ストアをサポートしています。これらのストアにアクセスする最初のステップは、セキュリティ・ポリシーが適用されていることを確認することです。たとえば、オブジェクト・ストレージのバケット内のファイルの読取りまたは書込み(あるいはその両方)を行う認可ルールを指定する必要があります。各クラウドには、ロール・ベースのアクセス制御を指定するための独自のプロセスがあります。

オブジェクト・ストレージ・プラットフォームに適切なポリシーを設定するには、次を確認します:

• リソース・プリンシパルを使用したOracle Cloud Infrastructureリソースへのアクセス

• Amazonリソース名(ARN)を使用したAWSリソースへのアクセス

• DBMS_CLOUDでのAzureサービス・プリンシパルの使用

• DBMS_CLOUDでのGoogleサービス・アカウントの使用

Autonomous Databaseは、資格証明オブジェクトを使用してアイデンティティを表し、クラウド・サービスにアクセスします。外部ソースへの接続に使用されるセキュリティ資格証明の詳細は、CREATE_CREDENTIALプロシージャを参照してください。

このアイデンティティは、Oracle Cloud Infrastructureユーザーまたはリソース・プリンシパル、Amazon Web Service ARN、Azureサービス・プリンシパルまたはGoogleサービス・アカウントです。資格証明は、Autonomous Database発行の各サービス・リクエストに含まれ、ユーザー・アクションはクラウド・リソースによって認可されます。適切な認可がないと、サービス・リクエストは失敗し、通常は「見つかりません」エラーになります。

様々なタイプのクラウド・サービス資格証明の使用についてさらに学習するには、次のブログ投稿を参照してください:

• リソース・プリンシパルを使用したAutonomous DatabaseからのOracle Cloud Infrastructureリソースへのアクセス
• Autonomous DatabaseがOCIネイティブ認証によるオブジェクト・ストレージへのアクセスをサポート
• ロールAmazonリソース名(ARN)を使用したAutonomous DatabaseからのAWSリソースへの安全なアクセス
• Autonomous DatabaseからAzureリソースに簡単にアクセスする方法: セキュリティ・ポリシーが適用されると、データベース・ツールとDBMS_CLOUD APIの両方を使用してこれらのサービスにアクセスできます。

セキュリティ・ポリシーが設定されたら、Autonomous DatabaseツールまたはDBMS_CLOUD APIを使用してサービスにアクセスできます。

ロード・データ

DBMS_CLOUDデータ・ロードAPIをETL処理フローの一部として使用できます。DBMS_CLOUD APIは、様々なデータ・ソースを処理する複雑さをカプセル化し、非常に効率的なロード・ジョブを生成することで、ロード・プロセスを簡素化します。ソース・プロパティ(データの場所、ファイル・タイプ、非構造化ファイルの列など)と、ターゲット表へのマッピングを指定します。このドキュメントでは、様々なソースからデータをロードする詳細について説明し、検出された処理ステップや不良レコードなど、データ・ロードのデバッグについて説明します。

データのロードには、次のものが必要です。

• 資格証明を作成しています
• JSON、データ・ポンプ、デリミタ付きテキスト、Parquet、Avro、ORCなど、様々なタイプのファイルをロードしています。
• Oracle GoldenGateなどを使用したレプリケーション。

データをロードするための主要なDBMS_CLOUD APIの一部を次に示します。

• COPY_DATAプロシージャ: オブジェクト・ストレージ・ソースからデータをロードします。ソースとそのソースがターゲット表にどのようにマップされるかを指定します。APIでは、デリミタ付きテキスト、Parquet、AvroおよびORCなど、様々なファイル・タイプがサポートされます。処理のロギングには多数の機能があります。

• COPY_COLLECTIONプロシージャ: オブジェクト・ストレージからコレクションにJSONデータをロードします。

• SEND_REQUESTファンクションおよびプロシージャ: 最も柔軟なアプローチであるDBMS_CLOUD.SEND_REQUESTは、RESTリクエストをWebサービス・プロバイダに送信して処理します。DBMS_CLOUD.SEND_REQUESTを独自のPL/SQLプロシージャで使用して、アクセス可能なファイル・ストアで使用できないデータ(政府サービスの天気データなど)をロードします。

データ・パイプラインを使用して、データ・レイクからの継続的な増分データ・ロードを行うこともできます(データがオブジェクト・ストアに到着すると、データベース表にロードされます)。データ・インポート・パイプラインは、DBMS_CLOUDで提供されるものと同じ基礎となるロード機能を利用します。

DBMS_CLOUD_PIPELINEパッケージは、次のようなパイプラインを作成、管理および実行するためのAPIのセットを提供します。

• CREATE_PIPELINEプロシージャ: 新規パイプラインを作成します。

• SET_ATTRIBUTEプロシージャ: ソース・データの説明、ターゲットへのマッピング方法、ロード間隔、ジョブ優先度などのパイプライン・プロパティを指定できます。

• START_PIPELINEプロシージャ: 継続的な増分データ・ロードのためのパイプラインを開始します。

詳細は、「継続的なロードおよびエクスポートのためのデータ・パイプラインの使用」を参照してください。

データのリンク

Autonomous Database外部表は、データへのリンクに使用されます。外部表は、データをロードせずにオブジェクト・ストア内のファイルに直接アクセスします。これは、オブジェクト・ストレージ内のデータを迅速に調査してその価値を理解する場合に最適です。アプリケーションは、Autonomous Databaseの他の表と同様に外部表を問い合せます。ソースの場所は透過的です。つまり、SQLベースのツールまたはアプリケーションは、データ・ウェアハウスとデータ・レイク全体でクエリを行い、そうでなければ達成が困難であった新しいインサイトを見つけることができます。

外部表では、デリミタ付きテキスト、JSON、Parquet、Avro、ORCなど、様々なファイル・タイプがサポートされています。このドキュメントを参照して、外部表タイプ、ソースの検証、Oracle Cloud Infrastructure Data Catalogの活用による外部表の自動生成など、外部概念の詳細をご確認ください。

次に、外部表を使用するためのDBMS_CLOUD APIの一部を示します。

• CREATE_EXTERNAL_TABLEプロシージャ: オブジェクト・ストレージ・データに対する外部表を作成します。

• CREATE_EXTERNAL_PART_TABLEプロシージャ: オブジェクト・ストレージ・データに対するパーティション化された外部表を作成します。

  パーティション化された外部表は、問合せ時にパフォーマンス上の利点を提供します。パーティション・プルーニングにより、処理に必要のないデータファイルをスキャンする必要がなくなります。たとえば、12個のパーティションがあり、2021年には各月に1つずつあります。2021年3月の問合せでは、その1か月(1/12)のデータのみがスキャンされ、パフォーマンスが大幅に向上します。

  DBMS_CLOUD.CREATE_EXTERNAL_PART_TABLEプロシージャは、各パーティションのデータが独自のフォルダに格納される、標準のデータ・レイク・パーティション化パターンを理解します。このプロシージャは、基礎となるデータ編成に基づいてパーティションを自動的に作成します。SYNC_EXTERNAL_PART_TABLEプロシージャを使用して、基礎となるデータが変更された場合に表のパーティションを更新します。

• CREATE_HYBRID_PART_TABLEプロシージャ: ハイブリッド・パーティション表を作成します。

  ハイブリッド・パーティション表を使用すると、Autonomous Databaseに格納する必要があるパーティション・データと、外部に格納するパーティション・データの両方を指定できます。これにより、アーカイブされたデータがオブジェクト・ストアに格納される間、問合せのパフォーマンスと更新を高速化するために、データベースにホット・データを保持できます。アプリケーションは、データがどこにあるかを理解することなく、ハイブリッド表を問い合せます。