クラウド・オブジェクト・ストア内のHive形式のパーティション・データ

Hiveは、ビッグ・データ処理エンジン用の標準メタデータ形式を提供します。Hive形式で生成されるクラウド・オブジェクト・ストアのパーティション・データは、folder/subfolder形式で表されます。たとえば、クラウド・オブジェクト・ストアでは、Hive形式のデータ・ファイルは次のように格納されます:

table/partition1=partition1_value/partition2=partition2_value/data_file.csv

Hiveパーティション形式で保存されたファイルは、データ・ファイルのパス名にパーティション情報を提供します。データ・ファイルのパス名には、パーティション列名やパーティション列値など、オブジェクトの内容に関する情報が含まれます(データ・ファイルには、パーティション列および関連する値は含まれません)。

たとえば、クラウド・オブジェクト・ストアのHive形式データから作成された外部パーティション表SALESを考えてみます:

.../sales/country=USA/year=2020/month=01/file1.csv
.../sales/country=USA/year=2020/month=01/file2.csv
.../sales/country=USA/year=2020/month=02/file3.csv
.../sales/country=USA/year=2020/month=03/file1.csv
.../sales/country=FRA/year=2020/month=03/file1.csv

Hive形式のパーティション情報は、クラウド・オブジェクト・ストアのデータ・ファイルがcountry、yearおよびmonthでパーティション化されていることを示し、これらのパーティション列の値は、各データ・ファイルのHive形式のパス名内でも指定されます(パス名には、パーティション列の値country、yearおよびmonthが含まれます)。

パス内の列名は、表定義を簡素化するためにAPIで使用されます。

クラウド・オブジェクト・ストア内の単純なフォルダ形式のパーティション・データ

フォルダ形式で生成されるクラウド・オブジェクト・ストアのパーティション・データは、Hive形式のパーティション・データと同様に、folder/subfolder形式で表されますが、パス内の情報には列の値が表示され、列名は含まれません。また、フォルダ形式のパーティション・データでは、オブジェクト名で指定されたパーティションの順序は重要であり、表の列の順序と一致する必要があります。

たとえば、クラウド・オブジェクト・ストアでは、フォルダ形式のデータファイルが次のように格納されます:

table/partition1_value/partition2_value/*.parquet

パスには、パーティション列順序でのパーティション列値とデータ・ファイルの両方が含まれます。Autonomous Databaseでは、フォルダ形式のデータから外部パーティション表を作成でき、指定したパーティションを使用して問合せを実行できます。

フォルダ・パーティション形式で保存されたファイルは、ファイル名にデータ・パーティション列の値を提供します。Hiveとは異なり、パスには列名が含まれないため、列名を提供する必要があります。パーティション列の順序は重要であり、列パーティション名のファイル名の順序はpartition_columnsパラメータの順序と一致する必要があります。

クラウド・オブジェクト・ストアでのパーティション・データの問合せについて

Hive形式の外部パーティション・データを問い合せると、問合せエンジンは、ファイル・パス名からのパーティション化情報を理解して利用します。たとえば、オブジェクト・ストアのソース・ファイルsales/country=USA/year=2020/month=02/file3.csvに次の販売データが含まれる、外部パーティション表SALESについて考えます:

tents, 291
canoes, 22
backpacks, 378

パス名内のcountry値、およびmonthとyearの期間値は、データ・ファイル内の列として指定されません。パーティション列の値は、パス名にのみUSA、2020および02の値で指定されます。このデータ・ファイルを使用して外部パーティション表を作成した後、外部パーティション表で問合せを実行すると、パーティション列およびその値を使用できます。

たとえば:

SELECT year, month, product, units 
     FROM SALES WHERE year='2020' AND month='02' AND country='USA'

Hive形式のパーティション・データとして生成されたデータを使用して外部パーティション表を作成する利点は、問合せエンジンがデータをパーティション・プルーニングして正しいパーティションを選択するように最適化されており、問合せでは1つのパーティションのデータのみが選択され、単一のデータ・ファイルのみを検索できることです。したがって、問合せではfile3.csvファイル(/sales/country=USA/year=2020/month=02/file3.csv)のスキャンのみが必要になります。大量データの場合、このようなパーティション・プルーニングによってパフォーマンスが大幅に向上する可能性があります。

標準のOracle Database外部表を使用する場合、問合せまたはパーティション定義にパーティション列を使用するには、そのパーティション列をデータ・ファイル内の列として使用できる必要があります。Autonomous Databaseの外部パーティション表で使用可能な特別な処理がないと、クラウド・オブジェクト・ストアにHive形式で格納されたデータを使用する際に、データ・ファイルにパーティションを含めるようにデータ・ファイルを再生成する必要があるため、これは問題になります。

パーティション化された外部表の作成について

クラウド・オブジェクト・ストアにHive形式で格納された非構造化データを使用し、外部パーティション表を作成する場合、列およびそのタイプをソース・ファイルから導出することはできません。したがって、列およびそのデータ型は、column_listパラメータで指定する必要があります。パーティション化された外部表を作成するには、プロシージャDBMS_CLOUD.CREATE_EXTERNAL_PART_TABLEを使用して、次のようにパーティション列およびそのタイプを指定します:

• ファイル・リストのルートは、file_uri_listパラメータを使用してパス名で指定されます。例: http://.../sales/*

• 列名およびデータ型は、column_listパラメータで指定します。

• formatパラメータのオプションpartition_columnsは、パーティション列を指定します。

• 生成されたDLLには、パス名で指定された列が含まれます。

この例では、外部表が作成されると、column_listパラメータにcountry、yearおよびmonth列が追加されます。外部表は、データ・ファイルにないcountry、yearおよびmonth列を使用して作成され、パーティション・プルーニングを有効にするリスト・パーティションが作成されます。

クラウド・オブジェクト・ストアに格納されたParquet、Avro、ORCファイルなどの構造化データを使用すると、列およびそのデータ型が認識され、非構造化データに必要な列リストを指定する必要はありません。パーティション化された外部表を作成するには、プロシージャDBMS_CLOUD.CREATE_EXTERNAL_PART_TABLEを使用して、次のようにパーティション列およびそのタイプを指定します:

• ファイル・リストのルートは、file_uri_listパラメータを使用してパス名で指定されます。例: http://.../sales/*
• 構造化ファイルには、column_listパラメータは必要ありません。列リストを指定しない場合は、外部パーティション表の作成時にパーティション列およびそのデータ型を定義する必要があります。パーティション列およびそのデータ型を指定するには、formatパラメータでオプションpartition_columnsを使用します。
• 生成されたDLLには、パス名で指定された列が含まれます。

完全な例は、Hive形式のソース・ファイル編成を使用した外部パーティション・データの問合せおよびフォルダ形式のソース・ファイル編成を使用した外部パーティション・データの問合せを参照してください。