Apache Iceberg表の問合せ
Autonomous Databaseでは、Apache Iceberg表の問合せがサポートされています。
- Apache Iceberg表の問合せについて
Autonomous Databaseでは、Apache Iceberg表の問合せがサポートされています。 - Apache Iceberg表の問合せに関連する概念
次の概念を理解すると、Apache Iceberg表の問合せに役立ちます。 - 例: Apache Iceberg表の問合せ
これらの例は、データ・カタログを使用して、ルート・マニフェスト・ファイルに直接URLを使用して、Amazon Web Services (AWS)およびOracle Cloud Infrastructure (OCI)でApache Iceberg表を問い合せる方法を示しています。
Apache Iceberg表の問合せについて
Autonomous Databaseでは、Apache Iceberg表の問合せがサポートされています。
サポートされる構成
- Amazon Web Services AWSのIcebergテーブル:
- SparkまたはAthenaで作成されたAWS Glue Data Catalogに登録されているIcebergテーブル。
詳細は、「AWS Glueコネクタを使用したACIDトランザクションを含むApache Iceberg表の読取りおよび書込み、および時間移動の実行」および「Iceberg表の使用」を参照してください。
- ルート・メタデータ・ファイルのURLを直接指定することで、AWS S3に格納されているIceberg表。
- SparkまたはAthenaで作成されたAWS Glue Data Catalogに登録されているIcebergテーブル。
- Oracle Cloud Infrastructure (OCI)オブジェクト・ストレージ上のIceberg表:
- Hadoopカタログを使用してOCIデータ・フローで生成されたIceberg表。
詳細は、Oracleデータ・フローの例およびHadoopカタログの使用を参照してください。
- ルート・メタデータ・ファイルのURLを直接指定することで、OCIオブジェクト・ストレージに格納されているIceberg表。
- Hadoopカタログを使用してOCIデータ・フローで生成されたIceberg表。
- Apache REST Icebergカタログで定義されたIceberg表:
ノート
Apache Iceberg Restカタログは、Oracle Database 19cでのみサポートされます。- location句がIceberg RESTカタログで定義されたIceberg表を指す外部表。詳細は、CREATE_EXTERNAL_TABLE Procedure for Apache Icebergを参照してください。
制限
- 分割アイスバーグテーブル
Oracleでは、Icebergパーティション表はサポートされていません。
- Iceberg表の行レベルの更新
Oracleでは、Iceberg表の更新に対して読取りマージはサポートされていません。Icebergメタデータで削除されたファイルが検出された問合せは失敗します。マージ・オン・リードの詳細は、列挙RowLevelOperationModeを参照してください。
- スキーマの拡張
Oracle外部表のスキーマは固定され、外部表の作成時にIcebergスキーマのバージョンが反映されます。Icebergメタデータが、Iceberg表の作成に使用されたものと異なるスキーマ・バージョンを指している場合、問合せは失敗します。外部表の作成後にIcebergスキーマが変更された場合は、外部表を再作成することをお薦めします。
親トピック: Apache Iceberg表の問合せ
Apache Iceberg表の問合せに関連する概念
次の概念を理解すると、Apache Iceberg表の問合せに役立ちます。
Icebergカタログ
Icebergカタログは、表メタデータ(表スナップショット、表スキーマおよびパーティション化情報など)を管理するサービスです。Iceberg表の最新のスナップショットを問い合せるには、問合せエンジンはまずカタログにアクセスし、最新のメタデータ・ファイルの場所を取得する必要があります。AWS Glue、Hive、Nessie、Hadoopなど、使用可能なカタログ実装はすでに数多くあります。Autonomous Databaseでは、AWS GlueカタログおよびSparkで使用されるHadoopCatalog実装がサポートされています。
詳細は、オプティミスティック同時実行性を参照してください。
メタデータ・ファイル
メタデータ・ファイルは、表のスナップショット、パーティション化スキームおよびスキーマ情報を追跡するJSONドキュメントです。メタデータファイルは、マニフェストリストとマニフェストファイルの階層へのエントリポイントです。マニフェストは、パーティショニングや列の統計などの情報とともにテーブルのデータファイルを追跡します。詳細は、Iceberg Table Specificationを参照してください。
トランザクション
Icebergでは、copy-on-writeまたはmerge-on-readのいずれかを使用して表に対する行レベルの更新がサポートされています。Copy-on-writeでは、更新された行を反映する新しいデータ・ファイルが生成され、merge-on-readでは、読取り時にデータ・ファイルとマージする必要がある新しい削除ファイルが生成されます。Oracleでは、copy-on-writeがサポートされています。削除ファイルが検出されると、氷山表に対する問合せは失敗します。詳細については、RowLevelOperationModeを参照してください。
スキーマ展開
Icebergはスキーマの進化をサポートしています。スキーマの変更は、スキーマIDを使用してIcebergメタデータに反映されます。Oracle外部表には、表の作成時に最新のスキーマ・バージョンによって決定される固定スキーマがあります。アイスバーグ問合せは、問合せ対象のメタデータが表作成時に使用されたものとは異なるスキーマ・バージョンを指している場合、失敗します。詳細は、スキーマの進化を参照してください。
パーティション化
Icebergは、コストのかかるデータ・レイアウトの変更なしに表のメタデータの処理/変更に依存する、非表示のパーティション化やパーティションの展開などの高度なパーティション化オプションをサポートしています。
親トピック: Apache Iceberg表の問合せ
例: Apache Iceberg表の問合せ
これらの例は、Amazon Web Services (AWS)およびOracle Cloud Infrastructure (OCI)で、データ・カタログを使用してルート・マニフェスト・ファイルに直接URLを使用してApache Iceberg表を問い合せる方法を示しています。
Apache Icebergの外部表の作成の詳細は、CREATE_EXTERNAL_TABLE Procedure for Apache Icebergを参照してください。
Glue Data Catalogを使用してAWSのIceberg表を問い合せる
この例では、Iceberg表iceberg_parquet_time_dim
.を問い合せます。
図example_1_table.pngの説明
表はGlueデータベースmy-iceberg-db
に属し、フォルダs3://my-iceberg-bucket/iceberg-loc
に格納されます。
iceberg_parquet_time_dim
の表の詳細を次に示します。

図example_1_details_v1.pngの説明
次のように、iceberg_parquet_time_dim
の外部表を作成できます。
BEGIN
DBMS_CLOUD.CREATE_EXTERNAL_TABLE (
table_name => 'iceberg_parquet_time_dim',
credential_name => 'AWS_CRED',
file_uri_list => '',
format =>
'{"access_protocol":
{
"protocol_type": "iceberg",
"protocol_config":
{
"iceberg_catalog_type": "aws_glue",
"iceberg_glue_region": "us-west-1",
"iceberg_table_path": "my-iceberg-db.iceberg_parquet_time_dim"
}
}
}'
);
END;
/
protocol_configセクションで、表がカタログ・タイプとしてAWS Glueを使用することを指定し、カタログのリージョンをus-west-1
に設定します。
資格証明AWS_CRED
は、AWS APIキーを持つdbms_cloud.create_credential
を使用して作成されます。Glueデータ・カタログ・インスタンスは、アカウントごとに単一のGlueデータ・カタログ・リージョンがあるため、リージョンus-west-1
のAWS_CRED
に関連付けられたアカウントIDによって決定されます。protocol_config
セクションのiceberg_table_path
要素は、$database_name.$table_name
パスを使用してGlue表名とデータベース名を指定します。最後に、表のスキーマはIcebergメタデータから自動的に導出されるため、column_list
およびfield_list
パラメータはNULLのままになります。
資格証明の作成の詳細は、CREATE_CREDENTIALプロシージャに関する項を参照してください。AWS Glueリソースの詳細は、「AWS GlueリソースARNの指定」を参照してください。
ルート・メタデータ・ファイルの場所を使用して、AWSのIceberg表を問い合せます。
Iceberg表のメタデータ・ファイルの場所がわかっている場合は、次のように、カタログを指定せずに外部表を作成できます。
BEGIN
DBMS_CLOUD.CREATE_EXTERNAL_TABLE (
table_name => 'iceberg_parquet_time_dim',
credential_name => 'AWS_CRED',
file_uri_list => 'https://my-iceberg-bucket.s3.us-west-1.amazonaws.com/iceberg-loc/metadata/00004-1758ee2d-a204-4fd9-8d52-d17e5371a5ce.metadata.json',
format =>'{"access_protocol":{"protocol_type":"iceberg"}}');
END;
/
file_uri_list
パラメータを使用して、AWS S3仮想ホスト形式のURL形式でメタデータ・ファイルの場所を指定します。この形式の詳細は、AWS S3バケットにアクセスする方法を参照してください。
この例では、データベースはメタデータ・ファイルに直接アクセスするため、format
パラメータにprotocol_config
セクションを指定する必要はありません。メタデータ・ファイルの場所を使用して外部表を作成する場合、データベースはメタデータ・ファイルによって参照される最新のスナップショットを問い合せます。新しいスナップショットおよび新しいメタデータ・ファイルを作成するIceberg表に対する後続の更新は、データベースには表示されません。
OCIでHadoopカタログを使用するIceberg表の問合せ
この例では、OCIデータ・フローを使用して作成されたIceberg表icebergTablePy
を問い合せます。ここで、SparkはIcebergカタログにHadoopCatalog実装を使用します。HadoopCatalogは、warehouse
ディレクトリを使用し、Icebergメタデータをこのディレクトリの下の$database_name/$table_name
サブフォルダに配置します。また、最新のメタデータ・ファイル・バージョンのバージョン番号を含むversion-hint.text
ファイルも使用します。Githubの例については、OCI Data FlowでのIcebergのサポートを参照してください。
サンプル表db.icebergTablePy
は、OCIバケットmy-iceberg-bucket
のiceberg
という名前のwarehouse
フォルダを使用して作成されました。表icebergTablePy
のOCI上の記憶域レイアウトを次に示します。

図example_3_table_v1.pngの説明
次のように、表db.icebergTablePy
の外部表を作成します。
BEGIN
DBMS_CLOUD.CREATE_EXTERNAL_TABLE (
table_name => 'iceberg_parquet_time_dim3',
credential_name => 'OCI_CRED',
file_uri_list => '',
format =>'{"access_protocol":{"protocol_type":"iceberg",
"protocol_config":{"iceberg_catalog_type": "hadoop",
"iceberg_warehouse":"https://objectstorage.uk-cardiff-1.oraclecloud.com/n/my-tenancy/b/my-iceberg-bucket/o/iceberg",
"iceberg_table_path": "db.icebergTablePy"}}}');
END;
/
ルート・メタデータ・ファイルの場所を使用した、OCI上のIceberg表の問合せ
前の項で説明したIceberg表を問い合せるには、次のようにメタデータ・ファイルのURLを直接使用します。
BEGIN
DBMS_CLOUD.CREATE_EXTERNAL_TABLE (
table_name => 'iceberg_parquet_time_dim4',
credential_name => 'OCI_CRED',
file_uri_list => 'https://objectstorage.uk-cardiff-1.oraclecloud.com/n/my-tenancy/b/my-iceberg-bucket/o/iceberg/db/icebergTablePy/metadata/v2.metadata.json',
format =>'{"access_protocol":{"protocol_type":"iceberg"}}'
);
END;
/
この例では、file_uri_list
パラメータを使用して、ネイティブOCI URI形式を使用してメタデータ・ファイルのURIを指定します。メタデータ・ファイルURIを使用する場合、外部表は常に、特定のファイルに格納されている最新のスナップショットを問い合せます。新しいスナップショットおよび新しいメタデータ・ファイルを生成する後続の更新には、問合せからアクセスできません。
ネイティブOCI URI形式の詳細は、クラウド・オブジェクト・ストレージURI形式を参照してください。
親トピック: Apache Iceberg表の問合せ