データ・ローダー・タスクの処理
データ・ローダー・タスクを使用すると、ソースからデータを取得し、それをターゲットにロードできます。データ・ローダー・タスクは、データ準備、データ移行、または様々なデータのデータ・レイクやデータ・ウェアハウスへのロードに不可欠です。
データ統合では、データ・ローダー・タスクを使用して、あるシステム・タイプから別のシステム・タイプへの1対1またはn対nのデータのロードを実行できます。ロード前に複数のデータ変換またはデータ変換を行わないオプションがあります。データ・ローダー・タスクを作成すると、データ統合によって、ソース・エンティティとターゲット・エンティティの選択、変換の適用およびタスクの検証のプロセスが案内されます。ターゲットの場合、データをロードする既存のエンティティをロードまたは選択する前にエンティティを作成するオプションがあります。ソースとターゲットの両方について、「ソースおよびターゲットのパラメータ」の説明に従って、パラメータを使用してリソースを指定し、パラメータを再利用できます。
次のページでは、データ・ローダー・タスクを作成、編集および削除する方法について説明します。
- データ・ローダー・タスクの作成
- データ・ローダー・タスクのソースの選択
- データ・ローダー・タスクのターゲットの選択
- 変換の適用
- 属性のマッピング(既存のターゲット・データ・エンティティを使用するデータ・ローダー・タスクの場合のみ)
- タスクの確認および検証
- データ・ローダー・タスクの編集
- データ・ローダー・タスクの削除
次のページでは、データ・ローダー・タスクでパラメータを使用する方法を説明します。
次のページでは、データ・ローダー・タスクの作成後に実行できるその他の管理タスクについて説明します。
データ・ローダー・タスクの要素
ソースからターゲットにデータをロードするタスクの構成には、いくつかのステップが含まれます。
- 「基本情報」および「ロード・タイプ」: ソース・データ・エンティティとターゲット・データ・エンティティのタイプおよびロード・タイプを選択します。
ソースおよびターゲットのデータ・エンティティとして使用できる、データベース、ファイル・ストレージおよびSaaSアプリケーション・データ・アセットのタイプは、サポートされているソースおよびターゲットのタイプを参照してください。
ロード・タイプでは、ソース・データのロード元としてスキーマ内の複数データ・エンティティまたは単一データ・エンティティを指定できます。たとえば、Oracle Databaseソースの複数のエンティティのデータをObject Storageターゲットにロードできます。
-
ソース: ロードするソース・データが含まれるデータ・アセット、接続およびスキーマを選択します。次に、指定したロード・タイプに応じて、ロードするソースに追加する1つ以上のデータ・エンティティを選択します。ソースの選択を参照してください。
ソース内のリソースをパラメータ化するには、「ソースおよびターゲットのパラメータ」を参照してください。
-
ターゲット: ターゲットとして使用する、データ・アセット、接続、スキーマおよびデータ・エンティティを選択します。デフォルトでは、ソース・エンティティとターゲット・エンティティは名前によってマップされます。ロード先の既存のエンティティがない場合は、新しいデータ・エンティティを作成できます。ターゲットの選択を参照してください。
ターゲット・リソースをパラメータ化するには、「ソースおよびターゲットのパラメータの使用」を参照してください。
- 変換: 対話型タブを使用して、ソース属性に変換を適用します。データ・ローダー・タスクは、メタデータおよびデータ・レベルでの変換をサポートします。変換の適用を参照してください。
- 属性のマッピング: 既存のターゲット・データ・エンティティまたは複数のエンティティにデータをロードすると、デフォルトでは、ソース属性が属性名によってターゲット属性にマップされます。すべてのマップ済エンティティで、追加のマッピング・ルールをすべての属性に適用できます。属性のマッピングを参照してください。
- 確認および検証: 構成ステップを確認および変更して、公開前にデータ・ローダー・タスクが有効であることを保証します。タスクの確認および検証を参照してください。
サポートされているソースおよびターゲットのタイプ
データ・ソースのほとんどのタイプは、データ・ローダー・タスクでサポートされています。
サポートされるデータ・ソースとそのバージョンを参照してください。
階層データ・エンティティを使用している場合は、階層データ型も参照して、何がサポートされているかを理解してください。
ソースとターゲットのパラメータ
ソースまたはターゲットのパラメータを使用することで、設計時または実行時に異なるデータ・ソースまたはデータ・ターゲットに対して同じデータ・ローダー・タスクを柔軟に使用できます。
単一のデータ・エンティティ・ロード・タイプと複数のデータ・エンティティ・ロード・タイプの両方で、次の各リソースに1つのパラメータを使用できます。
- ソース・データ・アセット、接続およびスキーマまたはバケット
- ターゲット・データ・アセット、接続およびスキーマまたはバケット
データ・アセット・タイプがオブジェクト・ストレージの場合は、バケット(スキーマ)をパラメータ化できますが、バケットを含むコンパートメントはパラメータ化できません。
データ・エンティティ・リソースでは、次の条件でのみソース・エンティティまたはターゲット・エンティティをパラメータ化できます。
- 単一データ・エンティティ・ロード・タイプを使用する場合
- エンティティ名を入力してターゲットに新しいデータ・エンティティを作成する場合
- ターゲットで既存のデータ・エンティティを使用する場合
ソースおよびターゲットでリソースをパラメータ化すると、データ統合は次のパラメータ名を自動的に追加して使用します。
リソース | ソース・パラメータ名 | ターゲット・パラメータ名 |
---|---|---|
データ・アセット | SOURCE_DATA_ASSET |
TARGET_DATA_ASSET |
接続 | SOURCE_CONNECTION |
TARGET_CONNECTION |
スキーマまたはバケット | SOURCE_SCHEMA |
TARGET_SCHEMA |
データ・エンティティ | SOURCE_DATA_ENTITY |
TARGET_DATA_ENTITY |
ターゲットでリソースをパラメータ化するには、ソースまたはターゲット・リソースのパラメータの再利用も参照してください。
パラメータの追加、編集および削除
データ・ローダー・タスクの作成時に、ソース・ステップおよびターゲット・ステップでパラメータを管理します。
ソース・データ・アセット、接続、スキーマまたはデータ・エンティティを選択した後、リソースの横にある「パラメータ化」をクリックして、リソースをリソースに割り当てることができます。
同様に、ターゲット・リソースの場合、ターゲット・データ・アセット、接続、スキーマまたはデータ・エンティティを選択した後、リソースの横にある「パラメータ化」をクリックして、リソースをリソースに割り当てることができます。
ソースまたはターゲットのリソースをパラメータ化するには、「ソースまたはターゲット・リソースのパラメータの再利用」も参照してください。
パラメータを追加した後、パラメータ名を編集し、説明を追加できます。リソース・パラメータの編集を参照してください。
リソースに割り当てられているパラメータを削除するには、「リソース・パラメータの削除」を参照してください。
ソース・リソースまたはターゲット・リソースのパラメータの再利用
データ・ローダー・タスクでソース・データ・アセット、接続、スキーマまたはデータ・エンティティをパラメータ化したとします。ターゲット・リソースをパラメータ化するには、「パラメータ化」をクリックするかわりに、「ソース<リソース・タイプ>パラメータの再使用」をクリックして、ソース上の同じタイプのリソースに追加されたものと同じパラメータを使用できます。
同様に、ターゲット・リソースをパラメータ化し、ソース上の同じタイプのリソースにターゲット・パラメータを使用する場合は、「ターゲット<resource type>パラメータの再使用」をクリックして、ソース・データ・アセット、接続、スキーマまたはデータ・エンティティをパラメータ化できます。
ターゲットまたはソースにある同じタイプのリソース・パラメータを再利用してソースまたはターゲット・リソースをパラメータ化する場合、データ統合では新しいパラメータは作成されません。かわりに、ソースおよびターゲット上のリソース・タイプには1つのパラメータのみが使用されます。
たとえば、オブジェクト・ストレージ・ソース・データ・アセットがパラメータ化されている場合、次の表に示すように、ターゲット・データ・アセットのソース・パラメータを再利用すると、オブジェクト・ストレージ・ターゲット・データ・アセット・パラメータ名はSOURCE_DATA_ASSET
になります。
ターゲット・リソース | 同じタイプのソース・パラメータを再利用する際のターゲット・パラメータ名 |
---|---|
データ・アセット | SOURCE_DATA_ASSET |
接続 | SOURCE_CONNECTION |
スキーマまたはバケット | SOURCE_SCHEMA |
データ・エンティティ | SOURCE_DATA_ENTITY |
同様に、接続などのオブジェクト・ストレージ・ターゲット・リソースがパラメータ化されている場合、ソース接続のターゲット・パラメータを再利用すると、オブジェクト・ストレージのソース接続パラメータはTARGET_CONNECTION
になります。
ソース上のリソース | 同じタイプのターゲット・パラメータを再利用する際のソース・パラメータ名 |
---|---|
データ・アセット | TARGET_DATA_ASSET |
接続 | TARGET_CONNECTION |
スキーマまたはバケット | TARGET_SCHEMA |
データ・エンティティ | TARGET_DATA_ENTITY |