Apache Iceberg表の問合せ
Autonomous Databaseでは、Apache Iceberg表の問合せがサポートされています。
- Apache Iceberg表の問合せについて
Autonomous Databaseでは、Amazon Web Services (AWS)またはOracle Cloud Infrastructure (OCI) Object Storageに格納されているApache Iceberg表の問合せがサポートされています。 - Apache Iceberg表の問合せに関連する概念
次の概念を理解することは、Apache Iceberg表の問合せに役立ちます。 - 例: Apache Iceberg表の問合せ
これらの例は、データ・カタログを使用して、ルート・マニフェスト・ファイルに直接URLを使用して、Amazon Web Services (AWS)およびOracle Cloud Infrastructure (OCI)上のApache Iceberg表を問い合せる方法を示しています。
Apache Iceberg表の問合せについて
Autonomous Databaseでは、Amazon Web Services (AWS)またはOracle Cloud Infrastructure (OCI) Object Storageに格納されているApache Iceberg表の問合せがサポートされています。
サポートされている構成
- AWSのIcebergテーブル:
- SparkまたはAthenaで作成されたAWS Glue Data Catalogに登録されたIcebergテーブル。
詳細は、「AWS Glueコネクタを使用したACIDトランザクションによるApache Iceberg表の読取りおよび書込みおよびタイム・トラベルの実行」および「Iceberg表の使用」を参照してください。
- ルート・メタデータ・ファイルのURLを直接指定することで、AWS S3に格納されているIceberg表。
- SparkまたはAthenaで作成されたAWS Glue Data Catalogに登録されたIcebergテーブル。
- OCI上のIcebergテーブル:
- Hadoopカタログを使用してOCIデータ・フローで生成されたIceberg表。
詳細は、Oracle Data Flowの例およびHadoopカタログの使用を参照してください。
- ルート・メタデータ・ファイルのURLを直接指定することで、OCIオブジェクト・ストレージに格納されるIceberg表。
- Hadoopカタログを使用してOCIデータ・フローで生成されたIceberg表。
制限事項
- 分割された氷山のテーブル
Oracleでは、Icebergパーティション表はサポートされません。
- Icebergテーブルの行レベルの更新
Oracleでは、Iceberg表更新の読取り時マージはサポートされていません。Icebergメタデータで削除されたファイルを検出したクエリーは失敗します。読取り時マージの詳細は、「RowLevelOperationModeの列挙」を参照してください。
- スキーマ拡張
Oracle外部表のスキーマは固定されており、外部表作成時にIcebergスキーマのバージョンが反映されます。IcebergメタデータがIceberg表の作成に使用したスキーマ・バージョンと異なるスキーマ・バージョンを指している場合、問合せは失敗します。外部表の作成後にIcebergスキーマが変更された場合は、外部表を再作成することをお薦めします。
親トピック: Apache Iceberg表の問合せ
Apache Iceberg表の問合せに関連する概念
次の概念を理解しておくと、Apache Iceberg表の問合せに役立ちます。
アイスバーグカタログ
Icebergカタログは、表スナップショット、表スキーマおよびパーティション化情報などの表メタデータを管理するサービスです。Iceberg表の最新のスナップショットを問い合せるには、まず問合せエンジンがカタログにアクセスし、最新のメタデータ・ファイルの場所を取得する必要があります。AWS Glue、Hive、Nessie、Hadoopなど、多数のカタログ実装がすでに用意されています。Autonomous Databaseは、AWS GlueカタログおよびSparkで使用されるHadoopCatalog実装をサポートしています。
詳細は、Icebergカタログ、オプティミスティック同時実行性、カタログ実装およびクラスHadoopCatalogを参照してください。
メタデータ・ファイル
メタデータ・ファイルは、表のスナップショット、パーティション化スキームおよびスキーマ情報を追跡するJSONドキュメントです。メタデータファイルは、マニフェストリストおよびマニフェストファイルの階層へのエントリポイントです。マニフェストは、パーティション化と列の統計などの情報とともに、表のデータファイルを追跡します。詳細は、Iceberg Table Specificationを参照してください。
トランザクション
Icebergでは、copy-on-writeまたはmerge-on-readを使用して、表の行レベルの更新をサポートしています。Copy-on-writeでは、更新された行を反映する新しいデータ・ファイルが生成され、merge-on-readでは、読取り中にデータ・ファイルとマージする必要がある新しい「削除ファイル」が生成されます。Oracleでは、copy-on-writeがサポートされています。アイスバーグ表に対する問合せは、削除ファイルが検出されると失敗します。詳細は、RowLevelOperationModeを参照してください。
スキーマ展開
Icebergはスキーマの進化をサポートします。スキーマの変更は、スキーマIDを使用してIcebergメタデータに反映されます。Oracle外部表には、表作成時に最新のスキーマ・バージョンによって決定される固定スキーマがあります。問合せされたメタデータが表作成時に使用されたものとは異なるスキーマ・バージョンを指している場合、Iceberg問合せは失敗します。詳細は、Schema Evolutionを参照してください。
パーティション化
Icebergでは、隠れたパーティション化やパーティションの展開など、コストのかかるデータ・レイアウトの変更なしに表のメタデータを処理/変更することに依存する高度なパーティション化オプションがサポートされています。
親トピック: Apache Iceberg表の問合せ
例: Apache Iceberg表の問合せ
これらの例は、データ・カタログを使用して、ルート・マニフェスト・ファイルの直接URLを使用して、Amazon Web Services (AWS)およびOracle Cloud Infrastructure (OCI)上のApache Iceberg表を問い合せる方法を示しています。
Apache Icebergの外部表の作成の詳細は、CREATE_EXTERNAL_TABLE Procedure for Apache Icebergを参照してください。
Glueデータ・カタログを使用したAWSのIceberg表の問合せ
この例では、Iceberg表iceberg_parquet_time_dim
を問い合せます。
表はGlueデータベースmy-iceberg-db
に属し、フォルダs3://my-iceberg-bucket/iceberg-loc
に格納されます。
iceberg_parquet_time_dim
の表の詳細を次に示します。
次のように、iceberg_parquet_time_dim
の外部表を作成できます。
BEGIN
DBMS_CLOUD.CREATE_EXTERNAL_TABLE (
table_name => 'iceberg_parquet_time_dim',
credential_name => 'AWS_CRED',
file_uri_list => '',
format =>
'{"access_protocol":
{
"protocol_type": "iceberg",
"protocol_config":
{
"iceberg_catalog_type": "aws_glue",
"iceberg_glue_region": "us-west-1",
"iceberg_table_path": "my-iceberg-db.iceberg_parquet_time_dim"
}
}
}'
);
END;
/
protocol_configセクションでは、表がカタログ・タイプとしてAWS Glueを使用することを指定し、カタログのリージョンをus-west-1
に設定します。
資格証明AWS_CRED
は、AWS APIキーとともにdbms_cloud.create_credential
を使用して作成されます。Glueデータ・カタログ・インスタンスは、各アカウントに単一のGlueデータ・カタログ・リージョンがあるため、リージョンus-west-1
のAWS_CRED
に関連付けられたアカウントIDによって決定されます。protocol_config
セクションのiceberg_table_path
要素は、$database_name.$table_name
パスを使用してGlue表名とデータベース名を指定します。最後に、column_list
およびfield_list
パラメータは、表のスキーマがIcebergメタデータから自動的に導出されるため、NULLのままになります。
資格証明の作成の詳細は、CREATE_CREDENTIALプロシージャに関する項を参照してください。AWS Glueリソースの詳細は、「AWS GlueリソースARNの指定」を参照してください。
ルート・メタデータ・ファイルの場所を使用して、AWSでIceberg表を問い合せます。
Icebergテーブルのメタデータファイルの場所がわかっている場合は、次のようにカタログを指定せずに外部テーブルを作成できます。
BEGIN
DBMS_CLOUD.CREATE_EXTERNAL_TABLE (
table_name => 'iceberg_parquet_time_dim',
credential_name => 'AWS_CRED',
file_uri_list => 'https://my-iceberg-bucket.s3.us-west-1.amazonaws.com/iceberg-loc/metadata/00004-1758ee2d-a204-4fd9-8d52-d17e5371a5ce.metadata.json',
format =>'{"access_protocol":{"protocol_type":"iceberg"}}');
END;
/
file_uri_list
パラメータを使用して、メタデータ・ファイルの場所をAWS S3仮想ホスト形式のURL形式で指定します。この形式の詳細は、AWS S3バケットにアクセスする方法を参照してください。
この例では、データベースはメタデータ・ファイルに直接アクセスするため、format
パラメータにprotocol_config
セクションを指定する必要はありません。メタデータ・ファイルの場所を使用して外部表を作成する場合、データベースはメタデータ・ファイルによって参照される最新のスナップショットを問い合せます。新しいスナップショットおよび新しいメタデータ・ファイルを作成するIceberg表に対する後続の更新は、データベースには表示されません。
OCIでHadoopカタログを使用するIceberg表の問合せ
この例では、OCIデータ・フローを使用して作成されたIceberg表icebergTablePy
を問い合せます。ここで、SparkはIcebergカタログのHadoopCatalog実装を使用します。HadoopCatalogは、warehouse
ディレクトリを使用し、Icebergメタデータをこのディレクトリの下の$database_name/$table_name
サブフォルダに配置します。また、最新のメタデータ・ファイル・バージョンのバージョン番号を含むversion-hint.text
ファイルも使用します。Githubの例については、OCIデータ・フローでのIcebergのサポートを参照してください。
サンプル表db.icebergTablePy
は、OCIバケットmy-iceberg-bucket
にiceberg
という名前のwarehouse
フォルダを使用して作成されました。表icebergTablePy
のOCI上の記憶域レイアウトを次に示します。
次のようにして、表db.icebergTablePy
の外部表を作成します。
BEGIN
DBMS_CLOUD.CREATE_EXTERNAL_TABLE (
table_name => 'iceberg_parquet_time_dim3',
credential_name => 'OCI_CRED',
file_uri_list => '',
format =>'{"access_protocol":{"protocol_type":"iceberg",
"protocol_config":{"iceberg_catalog_type": "hadoop",
"iceberg_warehouse":"https://objectstorage.uk-cardiff-1.oraclecloud.com/n/my-tenancy/b/my-iceberg-bucket/o/iceberg",
"iceberg_table_path": "db.icebergTablePy"}}}');
END;
/
ルート・メタデータ・ファイルの場所を使用して、OCIでIceberg表を問い合せます。
次のように、メタデータ・ファイルのURLを直接使用して、前の項で説明したIceberg表を問い合せることができます。
BEGIN
DBMS_CLOUD.CREATE_EXTERNAL_TABLE (
table_name => 'iceberg_parquet_time_dim4',
credential_name => 'OCI_CRED',
file_uri_list => 'https://objectstorage.uk-cardiff-1.oraclecloud.com/n/my-tenancy/b/my-iceberg-bucket/o/iceberg/db/icebergTablePy/metadata/v2.metadata.json',
format =>'{"access_protocol":{"protocol_type":"iceberg"}}'
);
END;
/
この例では、file_uri_list
パラメータを使用して、ネイティブOCI URI形式を使用してメタデータ・ファイルのURIを指定します。メタデータ・ファイルURIを使用する場合、外部表は常に、特定のファイルに格納されている最新のスナップショットを問い合せます。新しいスナップショットおよび新しいメタデータファイルを生成する後続の更新は、クエリーからアクセスできません。
ネイティブOCI URIフォーマットの詳細は、クラウド・オブジェクト・ストレージのURIフォーマットを参照してください。
親トピック: Apache Iceberg表の問合せ