ソース・ファイル・パーティション化を使用した外部表について
Autonomous Databaseでは、Hiveスタイルのパーティション化されたデータから、またはクラウド・オブジェクト・ストアに格納されている単純なフォルダ・パーティション化されたデータから、パーティション化された外部表を作成できます。
ソース・ファイル・パーティション化を使用して、完全なパーティション指定を指定するかわりに、特定のファイル・パターンのファイル・パスからパーティション化情報を導出します。たとえば、次のデータファイル指定について考えてみます。
-
Hiveスタイル: 例:
sales/country=USA/year=2020/month=01/file1.csv
-
単純なフォルダ・パーティション化スタイル: 例:
sales/USA/2020/01/file1.parquet
これらの共通パーティション化形式のいずれかを使用すると、パーティション化された外部表の作成と管理が大幅に簡素化されます。また、データファイルにパーティション列が表示されない場合でも、SQLを使用して問い合せることができます。また、データをパーティション化すると、スキャンされるデータ量が大幅に削減されるため、問合せのパフォーマンスが向上します。この例では、'USA'データを問い合せると、他の国のファイルのスキャンをスキップできます。
クラウド・オブジェクト・ストア内のHive形式のパーティション・データ
Hiveは、ビッグ・データ処理エンジン用の標準メタデータ形式を提供します。Hive形式で生成されるクラウド・オブジェクト・ストアのパーティション・データは、folder/subfolder
形式で表されます。たとえば、クラウド・オブジェクト・ストアでは、Hive形式のデータ・ファイルは次のように格納されます。
table/partition1=partition1_value/partition2=partition2_value/data_file.csv
Hiveパーティション形式で保存されたファイルは、データ・ファイル・パス名のパーティション情報を提供します。データファイルのパス名には、パーティション列名およびパーティション列値(データファイルには、パーティション列およびそれらに関連付けられた値は含まれません)など、オブジェクトの内容に関する情報が含まれます。
たとえば、クラウド・オブジェクト・ストアのHiveフォーマット・データから作成された外部パーティション化されたSALES
表について考えてみます。
.../sales/country=USA/year=2020/month=01/file1.csv
.../sales/country=USA/year=2020/month=01/file2.csv
.../sales/country=USA/year=2020/month=02/file3.csv
.../sales/country=USA/year=2020/month=03/file1.csv
.../sales/country=FRA/year=2020/month=03/file1.csv
Hive形式のパーティション情報には、クラウド・オブジェクト・ストアのデータファイルがcountry
、year
およびmonth
でパーティション化されており、これらのパーティション列の値は、各データファイルのHive形式のパス名でも指定されています(パス名には、パーティション化された列の値(country
、year
およびmonth
)が含まれます)。
パス内の列名は、表定義を簡略化するためにAPIで使用されます。
クラウド・オブジェクト・ストア内の単純なフォルダ形式のパーティション・データ
フォルダ形式で生成されるクラウド・オブジェクト・ストア内のパーティション・データは、Hive形式のパーティション・データと同様にfolder/subfolder
形式で表されますが、パスの情報には列値が表示され、列名は含まれません。また、フォルダ形式のパーティション・データでは、オブジェクト名で指定されたパーティションの順序が重要であり、表の列の順序と一致する必要があります。
たとえば、クラウド・オブジェクト・ストアでは、フォルダ形式のデータ・ファイルは次のように格納されます。
table/partition1_value/partition2_value/*.parquet
パスには、パーティション列値、パーティション列の順序およびデータ・ファイルの両方が含まれます。Autonomous Databaseでは、フォルダ形式データから外部パーティション表を作成でき、指定したパーティションを使用して問合せを実行できます。
フォルダ・パーティション形式で保存されたファイルは、ファイル名にデータ・パーティション列の値を提供します。Hiveとは異なり、パスには列名が含まれないため、列名を指定する必要があります。パーティション列の順序は重要であり、列パーティション名のファイル名の順序はpartition_columns
パラメータの順序と一致する必要があります。
クラウド・オブジェクト・ストア内のパーティション・データの問合せについて
外部パーティション・データをHive形式で問い合せると、問合せエンジンはファイル・パス名のパーティション化情報を理解し、利用します。たとえば、ソース・ファイルであるオブジェクト・ストア上のsales/country=USA/year=2020/month=02/file3.csv
に次の売上データが含まれる外部パーティションSALES
表があるとします。
tents, 291
canoes, 22
backpacks, 378
パス名のcountry
値、およびmonth
とyear
の期間値は、データ・ファイル内の列として指定されません。パーティション列の値は、パス名でのみ指定され、値はUSA、2020および02です。このデータファイルを使用して外部パーティション表を作成した後、外部パーティション表で問合せを実行するときに、パーティション列とその値を使用できます。
たとえば:
SELECT year, month, product, units
FROM SALES WHERE year='2020' AND month='02' AND country='USA'
Hive形式のパーティション・データとして生成されたデータを使用して外部パーティション表を作成する利点は、問合せエンジンが、正しいパーティションを選択するためにデータをパーティション・プルーニングするように最適化されており、問合せでは1つのパーティションからのみデータが選択されるため、単一のデータ・ファイルのみを検索する必要があることです。したがって、問合せでは、file3.csv
ファイル(/sales/country=USA/year=2020/month=02/file3.csv
)のスキャンのみが必要になります。大量のデータでは、このようなパーティション・プルーニングによってパフォーマンスが大幅に向上します。
標準のOracle Database外部表を使用して、パーティション列を問合せまたはパーティション定義に使用するには、データ・ファイル内の列として使用できる必要があります。Autonomous Databaseの外部パーティション表で使用可能な特別な処理がない場合、データ・ファイルにパーティションを列として含めるためにデータ・ファイルを再生成する必要があるため、クラウド・オブジェクト・ストアでHive形式で格納されたデータを使用する場合は、これは問題になります。
パーティション化された外部表の作成について
クラウド・オブジェクト・ストアでHive形式で格納された非構造化データを使用し、外部パーティション表を作成する場合、列とその型はソース・ファイルから導出できません。したがって、列とそのデータ型は、column_list
パラメータで指定する必要があります。パーティション化された外部表を作成するには、プロシージャDBMS_CLOUD.CREATE_EXTERNAL_PART_TABLE
を使用して、パーティション列とその型を次のように指定します。
-
ファイル・リストのルートは、
file_uri_list
パラメータを使用してパス名で指定されます。たとえば、http://.../sales/*
です -
列名およびデータ型は、
column_list
パラメータで指定します。 -
format
パラメータのオプションpartition_columns
は、パーティション列を指定します。 -
生成されたDLLには、パス名で指定された列が含まれます。
この例では、外部表が作成されると、column_list
パラメータにcountry
、year
およびmonth
列が追加されます。外部表は、データファイルにないcountry
、year
およびmonth
列を使用して作成され、パーティション・プルーニングを可能にするリスト・パーティションが作成されます。
クラウド・オブジェクト・ストアでフォルダ形式で格納されたParquet、Avro、ORCファイルなどの構造化データを使用する場合、列とそのデータ型がわかります。非構造化データで必要な列リストを指定する必要はありません。パーティション化された外部表を作成するには、プロシージャDBMS_CLOUD.CREATE_EXTERNAL_PART_TABLE
を使用して、パーティション列とその型を次のように指定します。
- ファイル・リストのルートは、
file_uri_list
パラメータを使用してパス名で指定されます。たとえば、http://.../sales/*
です - 構造化ファイルには、
column_list
パラメータは必要ありません。列リストを指定しない場合は、外部パーティション表の作成時に、パーティション列とそのデータ型を定義する必要があります。format
パラメータのオプションpartition_columns
を使用して、パーティション列とそのデータ型を指定します。 - 生成されたDLLには、パス名で指定された列が含まれます。
完全な例は、Hive形式のソース・ファイル編成を使用した外部パーティション・データの問合せおよびフォルダ形式のソース・ファイル編成を使用した外部パーティション・データの問合せを参照してください。
- 外部パーティション化: Hive形式のフォルダを含むCSVソース・ファイル
Hive形式のフォルダのクラウド・オブジェクト・ストアに格納されているCSVソース・ファイルを含む外部パーティション表を作成する方法を示します。 - 外部パーティション化: 単純なフォルダを含むCSVソース・ファイル
クラウド・オブジェクト・ストアに格納されているCSVソース・ファイルを使用して、単純なフォルダ形式で外部パーティション表を作成する方法を示します。 - 外部パーティション化: Hive形式のフォルダを含むParquetソース・ファイル
Hive形式のフォルダのクラウド・オブジェクト・ストアに格納されているParquetソース・ファイルを含む外部パーティション表を作成する方法を示します。 - 外部パーティション化: 単純なフォルダを使用したParquet
クラウド・オブジェクト・ストアに格納されているParquetソース・ファイルを使用して、単純なフォルダ形式で外部パーティション表を作成する方法を示します。
外部パーティション化: Hiveスタイルのフォルダを含むCSVソース・ファイル
Hiveスタイルのフォルダのクラウド・オブジェクト・ストアに格納されているCSVソース・ファイルを含む外部パーティション表を作成する方法を示します。
ソース・ファイル・リスト:
.../sales/country=USA/year=2020/month=01/file1.csv
.../sales/country=USA/year=2020/month=01/file2.csv
.../sales/country=USA/year=2020/month=02/file3.csv
.../sales/country=USA/year=2020/month=03/file1.csv
.../sales/country=FRA/year=2020/month=03/file1.csv
API:
DBMS_CLOUD.CREATE_EXTERNAL_PART_TABLE
(
table_name => 'mysales',
credential_name => 'mycredential',
file_uri_list => 'https://objectstorage.us-phoenix-1.oraclecloud.com/.../sales/*.csv',
column_list => 'product varchar2(100), units number, country varchar2(100), year number, month varchar2(2)',
field_list => 'product, units', --[Because country, year and month are not in the file, they are not listed in the field list]
format => '{"type":"csv","partition_columns":["country", "year", "month"]}');
format
パラメータのpartition_columns
は、パスにある列名と一致する必要があります(たとえば、country
列は"country=…
"と一致します)。
外部パーティション化: 単純なフォルダを含むCSVソース・ファイル
クラウド・オブジェクト・ストアに格納されているCSVソース・ファイルを使用して、単純なフォルダ形式で外部パーティション表を作成する方法を示します。
ソース・ファイル・リスト:
.../sales/USA/2020/01/file1.csv
.../sales/USA/2020/01/file2.csv
.../sales/USA/2020/02/file3.csv
.../sales/USA/2020/03/file1.csv
.../sales/FRA/2020/03/file1.csv
API:
DBMS_CLOUD.CREATE_EXTERNAL_PART_TABLE
(
table_name => 'mysales',
credential_name => 'mycredential',
file_uri_list => 'https://objectstorage.us-phoenix-1.oraclecloud.com/.../sales/*.csv',
column_list => 'product varchar2(100), units number, country varchar2(100), year number, month varchar2(2)',
field_list => 'product, units', --[Because country, year and month are not in the file, they are not listed in the field list]
format => '{"type":"csv","partition_columns":["country", "year", "month"]}');
APIコールは前の例と同じですが、列名がファイル・パスにないため、
format
パラメータでのpartition_columns
の順序は重要です。
外部パーティション化: Hiveスタイルのフォルダを含むParquetソース・ファイル
Hive形式のフォルダのクラウド・オブジェクト・ストアに格納されているParquetソース・ファイルを使用して、外部パーティション表を作成する方法を示します。
ソース・ファイル・リスト:
.../sales/USA/2020/01/file1.parquet
.../sales/USA/2020/01/file2.parquet
.../sales/USA/2020/02/file3.parquet
.../sales/USA/2020/03/file1.parquet
.../sales/FRA/2020/03/file1.parquet
API:
DBMS_CLOUD.CREATE_EXTERNAL_PART_TABLE
(
table_name => 'mysales',
credential_name => 'mycredential',
file_uri_list => 'https://objectstorage.us-phoenix-1.oraclecloud.com/.../sales/*.parquet',
format =>
json_object( 'type' value 'parquet',
'schema' value 'first',
'partition_columns' value
json_array(
json_object('name' value 'country', 'type' value 'varchar2(100)'),
json_object('name' value 'year', 'type' value 'number'),
json_object('name' value 'month', 'type' value 'varchar2(2)')
)
)
);
column_list
パラメータが指定されていません。図に示すように、パーティション列ごとに、format
パラメータpartition_columns
に名前とデータ型の両方を指定します。
外部パーティション化: 単純なフォルダを使用したParquet
クラウド・オブジェクト・ストアに格納されているParquetソース・ファイルを使用して、単純なフォルダ形式で外部パーティション表を作成する方法を示します。
ソース・ファイル・リスト:
.../sales/USA/2020/01/file1.parquet
.../sales/USA/2020/01/file2.parquet
.../sales/USA/2020/02/file3.parquet
.../sales/USA/2020/03/file1.parquet
.../sales/FRA/2020/03/file1.parquet
API:
DBMS_CLOUD.CREATE_EXTERNAL_PART_TABLE (
table_name => 'mysales',
credential_name => 'mycredential',
file_uri_list => 'https://objectstorage.us-phoenix-1.oraclecloud.com/.../sales/*.parquet',
format =>
json_object( 'type' value 'parquet',
'schema' value 'first',
'partition_columns' value
json_array(
json_object('name' value 'country', 'type' value 'varchar2(100)'),
json_object('name' value 'year', 'type' value 'number'),
json_object('name' value 'month', 'type' value 'varchar2(2)')
)
)
);
column_list
パラメータが指定されていません。パーティション列の名前とデータ型の両方を含める必要があります。また、format句のpartition_columns
の順序は、列名がファイル・パスにないため重要です。