データ統合の開始

データ統合ワークスペースを作成する前に、前提条件およびお客様が担当するタスクのリストを確認します。

顧客担当作業チェックリスト

テナンシには、次のリソースおよび最小ポリシーが必要です。適切な権限がない場合は、管理者に連絡してください。

開始する前に

データ統合サービスを使用するために設定を開始する前に、次のものが必要です:

管理者権限を持つOracle Cloud Infrastructureアカウント。
データ統合サービスへのアクセス権

顧客タスクのリスト

この項では、データ統合を初めて設定および使用する前に、データ統合の顧客が担当する作業を要約します。


タスク	説明
データ統合アクティビティのOracle Cloud Infrastructureリソースの作成	アイデンティティ・ドメインがあるサービスOracle Cloud Infrastructure Identity and Access Management (IAM)で、コンパートメント、ユーザーおよびユーザーのグループを作成します。コンパートメントの管理ユーザーの管理グループの管理
データ・ソースのネットワーキング・コンポーネントの構成	Oracle Cloud Infrastructure Networkingのデータ統合用に仮想クラウド・ネットワーク(VCN)およびサブネットを設定できます。リージョナル・サブネットのみがサポートされます。サブネットでDNSホスト名を使用する必要があります。使用しているデータ・ソースの場所によっては、他のネットワーク・オブジェクト(サービス・ゲートウェイ、ネットワーク・セキュリティ・グループ、ネットワーク・アドレス変換(NAT)ゲートウェイなど)を作成する必要があります。ネットワーキングの概要 VCNおよびサブネットプライベート・ネットワーク内のデータ・ソースの場合は、少なくとも1つのリージョナル・サブネットを含むVCNを作成します。
データ統合にアクセスして使用するポリシーの作成	アイデンティティ・ドメインのあるサービスOracle Cloud Infrastructure Identity and Access Management (IAM)で、データ統合リソースへの適切なアクセス権をユーザーのグループに提供するために必要なポリシーを作成します。データ統合には、統合のために設定した仮想ネットワークおよびサブネットを管理する権限も必要です。リファレンスおよび例は、データ統合のポリシーを参照してください。また、権限と動詞の関係を十分に理解してください。
ワークスペースの作成	データ統合でワークスペースを作成するときに、設定したプライベート・ネットワークを有効にできます。ワークスペースの作成後、ガイドとして一般的なデータ統合のユーザー・アクティビティを参照してください。

データ・セキュリティも参照してください。

共同責任チェックリスト

データ統合のコントロール・プレーンとデータ・プレーン管理タスクが、Oracleとお客様間でどのように共有されるかをご覧ください。

通常、コントロール・プレーンは、OCIリソースのプロビジョニングと、データ統合ワークスペースの取得、作成、更新および削除を行うメタデータ操作の管理を担当します。データ・プレーンは、データ統合のデータ・アセット、データ・フロー、パイプライン、タスクおよびアプリケーションに関連する設計時および実行時操作を担当します。


タスク	ユーザー	説明
ワークスペース・リソース・プロビジョニング	Oracleと顧客	Oracleは、データ統合ワークスペースのOracle Cloud Infrastructureリソースのプロビジョニングを担当します。これには、コンピュート・インスタンス、およびセカンダリVNICを介したサブネットへの接続(指定されている場合)が含まれます。お客様は次の責任を負います。コンパートメントやネットワーキング・リソースの作成など、事前にインフラストラクチャ・リソースを設定します。適切な構成特性を指定して、必要なデータ統合ワークスペースを作成します。最初に使用する前にデータ統合サービスを設定する顧客の職責のリストは、「顧客職責チェックリスト」を参照してください。
ワークスペースとアプリケーションのバックアップとリカバリ	Oracleと顧客	Oracleは、データ統合サービス・リソース・メタデータおよびサービスの操作のみのディザスタ・リカバリを実行するために、コンテンツを継続的にバックアップします。このようなバックアップには顧客ワークスペースのバックアップが含まれますが、バックアップは顧客が使用できません。お客様は、アプリケーションを同じワークスペース、別のワークスペースまたは別のコンパートメントにコピーすることで、アプリケーション・データのバックアップの作成を担当します。これは、クロスリージョン・ディザスタ・リカバリにとって特に重要です。
サービスのパッチ適用およびアップグレード	Oracle	Oracleは、データ統合サービスとそのエージェント・コンポーネントのパッチ適用およびアップグレードを担当します。
スケーリング	Oracle	Oracleは、コントロールおよびデータ・プレーンのスケーリングを担当します。お客様は、エージェントの計算のために、データ・プレーン内のOCIリソースのスケーリングをリクエストできます。
ヘルス・モニタリング	Oracleと顧客	Oracleは、ワークスペース・リソースの状態を監視し、その可用性を保証する責任を負います。お客様は、タスクの実行中にデータ・プレーンで参照される依存リソースの可用性など、すべてのレベルのタスクおよびアプリケーションのヘルスおよびパフォーマンスを監視する責任を負います。
アプリケーション・セキュリティ	Oracleと顧客	Oracleは、OCIに格納されたデータが暗号化されていることと、データ統合への接続にSSL暗号化が必要であることを保証します。ユーザー(顧客)は、すべてのレベルでのアプリケーションのセキュリティを担当します。この責任には、ワークスペース・リソースへのアクセス、それらのリソースへのネットワーク・アクセス、および依存データへのアクセスが含まれます。
監査中	Oracleと顧客	Oracleは、ワークスペース・リソースに対して行われたREST APIコールのロギング、および監査目的でそれらのログを使用可能にします。お客様は、監査ログ・サービスで監査ログへのアクセスを構成し、ログを使用してテナンシの使用状況を監査し、アクティビティをモニターする責任を負います。
アラートおよび通知	Oracleと顧客	Oracleは、サービス・イベントおよび通知を提供します。顧客は、サービス・イベントのアラートおよび通知を構成し、関心のあるアラートを監視します。

リソースの作成

データ統合アクティビティにリソースを作成するには:

データ統合アクティビティ用のコンパートメントをテナンシ内に作成します。

詳細は、コンパートメントの管理を参照してください。
データ・ソースがプライベート・ネットワークにある場合は、少なくとも1つのサブネットを持つVCNをコンパートメント内に作成します。

ノート

ここで作成するVCNおよびサブネットは、ワークスペースを作成するときに選択するものです。サブネットは、すべての可用性ドメインにまたがるリージョナルである必要があります。

サブネットがリストにない場合は、戻ってリージョン・サブネットとして作成されていることを確認します。

詳細は、VCNおよびサブネットを参照してください。
ワークスペースを担当するユーザーのグループを作成し、ユーザーをそのグループに追加します。

グループ名を書き留めます。次の項では、グループのポリシーを作成します。詳細は、「グループの管理」を参照してください。

ポリシーの作成

データ統合のリソースや機能に対する管理者以外のユーザーのアクセスを制御するには、Oracle Cloud Infrastructure Identity and Access Management (IAM)でアイデンティティ・ドメインを使用してグループを作成します。次に、そのグループに適切なアクセス権を付与するIAMポリシーを記述します。

IAMポリシー・ビルダーでデータ統合ポリシー・テンプレートを使用してポリシーを作成することも、手動エディタにポリシー・ステートメントを手動で入力することもできます。ポリシー・ビルダーとポリシー・テンプレートの使用方法の詳細は、ポリシー・ビルダーを使用したポリシー・ステートメントの記述を参照してください。

ポリシー・ステートメントの作成に使用される構文を理解するには、ポリシー構文を参照してください。権限と動詞の関係を理解してください。

ほとんどのデータ統合ポリシーは、テナント・レベルまたはコンパートメント・レベルで作成できます。ここに示すポリシーの例は例であり、アクセスのニーズに応じて変更できます。

その他の例およびリファレンスは、データ統合のポリシーを参照してください。

ノート

IAMコンポーネント(動的グループやポリシー・ステートメントなど)を追加した後は、関連付けられたタスクをすぐに実行しないでください。新しいIAMポリシーを有効にするには、約5分から10分かかります。

ワークスペース関連

ワークスペースを作成および使用するには

ワークスペースの作成

このポリシーは、データ統合ワークスペースを作成する権限をグループに付与します。

allow group <group-name> to manage dis-workspaces in compartment <compartment-name>

inspect権限を持つユーザーは、dis-workspacesのリストのみ行うことができます。dis-workspacesに対するmanage権限を持つユーザーは、ワークスペースを作成および削除できます。use権限を持つユーザーは、ワークスペース内で統合アクティビティを実行することのみができます。特定の要件のポリシーを作成するには、その他の例を参照してください。

ワークスペース作成ステータスの確認

このポリシーは、ワークスペースの作成中にステータスを確認する権限をグループに付与します。

allow group <group-name> to manage dis-work-requests in compartment <compartment-name>

ユーザー名の表示

このポリシーは、ワークスペース内でプロジェクト、データ・アセットおよびアプリケーションを作成するときに、「作成者」フィールドにユーザーの名前をリストするためのアクセス権をデータ統合に付与します。

allow service dataintegration to inspect users in tenancy

1つのワークスペースへのグループの制限

ワークスペースの作成後、特定のグループが特定のワークスペースを管理し、他のワークスペースを管理できないようにすることができます。

allow group <group-name> to manage dis-workspaces in compartment <compartment-name> where target.workspace.id = '<workspace-ocid>'

コンパートメントの移動

このポリシーは、あるコンパートメントから別のターゲット・コンパートメントにワークスペースを移動するためのアクセス権をデータ統合に付与します。

allow service dataintegration to inspect compartments in compartment <target-compartment-name>

ワークスペースの移動

このポリシーは、データ統合ワークスペースを移動する権限をグループに付与します。

allow group <group-name> to manage dis-workspaces in compartment <source-compartment-name>

allow group <group-name> to manage dis-workspaces in compartment <target-compartment-name>

タグ

このポリシーは、データ統合ワークスペース内のタグ・ネームスペースおよびタグを管理する権限をグループに付与します。

allow group <group-name> to manage tag-namespaces in compartment <compartment-name>

定義済のタグを追加するには、タグ・ネームスペースを使用する権限が必要です。タグ付けの詳細は、リソース・タグを参照してください。

検索

これらのポリシーは、テナンシのワークスペース内を検索するためのアクセス権をデータ統合に付与します。

allow service dataintegration to {TENANCY_INSPECT} in tenancy

allow service dataintegration to {DIS_METADATA_INSPECT} in tenancy

サブネット・サイズの計算

プライベート・ネットワーク対応のワークスペースを作成するときに、割り当てるための十分なIPアドレスがサブネットにあるかどうかを確認するには、次のポリシーを追加します:

allow group <group_name> to inspect instance-family in compartment <compartment_name>

権限を特定のAPIコールに制限するには、次のポリシーを追加します:

allow group <group_name> to inspect instance-family in compartment <compartment_name> where ALL {request.operation = 'ListVnicAttachments'}

プライベート・ネットワークを有効にするには

データ統合は、データ・リソースとは異なるテナンシ内に配置できます。タスクを実行するために、データ統合がリクエストをテナンシに送信します。ユーザーは、それに応じて、統合のために設定した仮想ネットワークを管理する権限をデータ統合に付与する必要があります。データ統合ワークスペースをネットワークと同じリージョン内に作成し、プライベートIPアドレスを介してネットワークに安全にアクセスします。このリクエストを受け入れるポリシーがない場合、データ統合は失敗します。

allow service dataintegration to use virtual-network-family in compartment <compartment-name>

次のポリシーは、コンパートメント内のネットワーキング・リソースを管理するための権限をグループに付与します。

allow group <group-name> to manage virtual-network-family in compartment <compartment-name>

または、管理者以外のユーザーの場合:

allow group <group-name> to use virtual-network-family in compartment <compartment-name>

allow group <group-name> to inspect instance-family in compartment <compartment-name>

manageではなく、コンパートメント内のSCNおよびサブネットに対してinspect権限を割り当てると、ネットワーク内のユーザー・アクティビティを制限できます。ユーザーは、既存のVCNおよびサブネットを表示し、ワークスペースの作成時にそれらを選択できます。特定の要件のポリシーを作成するには、その他の例を参照してください。

データ・アセット関連

オブジェクト・ストレージ

これらのポリシーを作成して、データ統合がオブジェクトやバケットなどのオブジェクト・ストレージ・リソースにアクセスできるようにします。

allow group <group-name> to use object-family in compartment <compartment-name>

allow any-user to use buckets in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

allow any-user to manage objects in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

データ統合ワークスペースとオブジェクト・ストレージ・データ・ソースが異なるテナンシ内にある場合は、コンパートメントに次のポリシーも作成する必要があります:

ワークスペース・テナンシで:


Endorse any-user to inspect compartments in tenancy <tenancy-name> where ALL {request.principal.type = 'disworkspace'}

オブジェクト・ストレージ・テナンシで:


Admit any-user of tenancy <tenancy-name> to inspect compartments in tenancy

ノート

オブジェクト・ストレージを使用するには、様々なタイプのポリシー(リソース・プリンシパル・ポリシーおよびon behalf ofポリシー)が必要です。また、必要なポリシーは、オブジェクト・ストレージ・インスタンスとデータ統合インスタンスが同じテナンシにあるのか異なるテナンシにあるのか、およびポリシーをコンパートメント・レベルで作成するのかテナンシ・レベルで作成するのかによって異なります。必要なポリシーを特定するには、例とブログのOracle Cloud Infrastructure (OCI) Data Integrationのポリシーの詳細を確認してください。

Fusion Applications

これらのポリシーを作成して、データ統合がOracle Cloud Infrastructure Object Storageのバケットおよびオブジェクトにアクセスできるようにします。これらのポリシーは、抽出されたデータをステージングするために必要であり、操作を完了するには事前認証が必要です。

allow group <group-name> to use object-family in compartment <compartment-name>

allow any-user to use buckets in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

allow any-user to manage objects in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

allow any-user to manage buckets in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>', request.permission = 'PAR_MANAGE'}

OCI Vault

このポリシーを作成して、機密情報にOCI Vaultのシークレットを使用します。

allow any-user to read secret-bundles in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

次のポリシーは、管理者ではないユーザーのグループがOracle Autonomous Data WarehouseおよびOracle Autonomous Transaction Processingでシークレットを使用できるようにします:

allow group <group-name> to read secret-bundles in compartment <compartment-name>

Autonomous Database

Autonomous Databaseをターゲットとして使用する場合は、このポリシーを作成します。Autonomous Databaseでは、データをステージングするためにオブジェクト・ストレージが使用され、操作を完了するには事前認証が必要です。

allow any-user to manage buckets in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>', request.permission = 'PAR_MANAGE'}

Autonomous Databaseデータ・アセットの作成中にAutonomous Database資格証明を自動取得する場合は、このポリシーを作成します。

allow group <group-name> to read autonomous-database-family in compartment <compartment-name>

公開関連

タスクをOCIデータ・フローに公開するには

これらのポリシーを作成して、データ統合のタスクをOCIデータ・フロー・サービスに公開します。

allow any-user to manage dataflow-application in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

allow any-user to read dataflow-private-endpoint in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

allow group <group-name> to read dataflow-application in compartment <compartment-name>

allow group <group-name> to manage dataflow-run in compartment <compartment-name>

管理者以外のユーザーがプライベート・エンドポイントを使用してOCIデータ・フローにパブリッシュするには、プライベート・エンドポイントを表示するには、このポリシーが必要です:

allow group <group-name> to inspect dataflow-private-endpoint in compartment <compartment-name>

作業領域の作成

ユーザーがデータ統合を開始する前に、ユーザーまたは管理者がデータ統合プロジェクト用のワークスペースを作成する必要があります。

データ統合の接続要件が満たされた後にワークスペースを作成します。「リソースの作成」を参照してください。

その他のネットワーク情報については、次のトピックを参照してください。

データ・アセットのネットワーク・コンポーネントの構成
ブログ: データ統合のVCN構成の理解
ブログ: ネットワーク・パス・アナライザの使用(トラブルシューティング、検証および検証)

ポリシーの作成の説明に従って、ワークスペースの作成に必要なポリシーも持っていることを確認します。たとえば、仮想クラウド・ネットワーク(VCN)リソースを使用するワークスペースを作成する場合、コンパートメント内のVCNにデータ統合がアクセスすることを許可するポリシーを作成する必要があります。

1. ナビゲーション・メニューを開き、「アナリティクスとAI」をクリックします。「データ・レイク」で、「データ統合」をクリックします。
2. データ統合サービス・ページで、「ワークスペース」をクリックします。
3. 「ワークスペース」ページで、ワークスペースを作成するコンパートメントを選択し、「ワークスペースの作成」をクリックします。
4. 「ワークスペースの作成」パネルで、ワークスペースの名前と説明(オプション)を入力します。
5. 「Network selection」セクションで、「Enable private network」を選択して、プライベート・ネットワークを使用してデータ・ソースに接続します。
6. プライベート・ネットワークを使用する場合は、次の値を指定します:
  
  <Compartment_Name>でのVCNの選択: データ統合用のVCNを選択します。
  
  <Compartment_Name>でのサブネットの選択: データ統合用に選択したVCN内のサブネットを選択します。
  
  DNSサーバーIP: (オプション)サーバーのドメイン・ネーム・システム(DNS)サーバーIPアドレスを入力します。
  
  DNSサーバー・ゾーン: (オプション) DNSサーバーのIPアドレスを入力した場合は、サーバーのDNSゾーンを入力します。
  
  ワークスペースの作成後は、プライベート・ネットワーク接続を無効にしたり、コンパートメント、VCNまたはサブネットの選択を変更することはできません。
7. (オプション)「タグ」セクションで、テナンシ内のデータ統合リソースの検索に役立つタグを追加します。
  
  タグの詳細は、「タグおよびタグ・ネームスペースの概念」を参照してください。
8. 次のいずれかのオプションを選択します:
  
  ワークスペースを作成するには、「作成」をクリックします。
  
  ノート
  
  必要なポリシーを追加していないと、ワークスペースの作成は失敗します。未許可アクセスに関する情報のボックスが表示されたら、「ポリシーの管理」をクリックして、必要なポリシー・ステートメントの詳細を表示します。正しいグループ名およびコンパートメントをステートメントに指定します。管理者であれば、「ポリシーの追加」をクリックしてポリシーを追加できます。管理者でない場合は、「ポリシーのコピー」をクリックし、追加する管理者に送信します。
  
  「ワークスペース」ページに戻ります。ワークスペースにアクセスできるようになるまで数分かかる場合があります。ステータスが「アクティブ」の場合は、リストからワークスペースを選択できます。
  
  ワークスペースでのナビゲートおよび検索の詳細は、「ワークスペースのナビゲート」を参照してください。
  
  リソース・マネージャおよびTerraformを使用して後でワークスペースを作成するには、「スタックとして保存」をクリックして、リソース定義をTerraform構成として保存します。
  
  リソース定義からのスタックの保存の詳細は、「リソース作成ページからのスタックの作成」を参照してください。
ワークスペースを使用して、データ・アセット、データ・フロー、タスクなどの設計時アーティファクトを1つ以上のプロジェクトまたはフォルダに作成します。ワークスペースでのプロジェクトの使用の詳細は、プロジェクトおよびフォルダの使用を参照してください。
ワークスペースを作成するには、oci data-integration workspace createコマンドと必要なパラメータを使用します:
oci data-integration workspace create [OPTIONS]
CLIコマンドのフラグおよび変数オプションの完全なリストは、コマンドライン・リファレンスを参照してください。
CreateWorkspace操作を実行して、ワークスペースを作成します。

設計のコンポーネント

ソース・データ・システムとターゲット・データ・システムのデータ・アセットを作成した後、データの抽出、ロード、変換を行うためのデータ統合プロセスを作成します。

データ統合では、データを収集および変換するために、データ・ローダー・タスク、データ・フロー、統合タスクおよびその他のタスクを作成します。シーケンスまたはパラレルで一連のタスクを編成するには、パイプラインおよびパイプライン・タスクを作成します。ガイドラインとして次のタスクを使用できます。


タスク	説明
データ・ローダー・タスクの作成	データ・ローダー・タスクは、プロジェクトまたはフォルダの詳細ページの「タスク」セクションで作成します。データ・ローダー・タスクは、ソースからデータを取得し、データを変換して、データをターゲットにロードします。
データ・フローの作成	データ・フローは、プロジェクトまたはフォルダの詳細ページの「データ・フロー」セクションで作成します。
演算子の追加	データ・フロー・デザイナで、ソース・データ・アセットからターゲット・データ・アセットへのデータの論理フローを作成します。データ演算子を追加して、ソースおよびターゲットのデータ・ソースを指定します。フィルタや結合などの整形演算子を追加して、データのクレンジング、変換およびエンリッチを行います。
ユーザー定義関数の追加	カスタム関数を作成して使用します。
変換の適用	データ・フロー・デザイナの演算子の「データ」タブで、変換を適用して、データの集計、クレンジングおよび整形を行います。
パラメータの割当て	データ・フロー・デザイナの演算子の「詳細」タブで、パラメータを割り当てて、値を外部化したり上書きしたりします。パラメータを使用することで、ソース、ターゲット、変換の様々な構成を、設計時および実行時に再利用できます。
統合タスクの作成	データ・フロー設計の完了後、プロジェクトまたはフォルダの詳細ページの「タスク」セクションで、データ・フローを使用する統合タスクを作成します。データ・フローを統合タスクでラップすると、データ・フローを実行できるようになります。実行時に使用したいパラメータ値を選択できます。
他のタスクの作成	必要に応じて、プロジェクトまたはフォルダの詳細ページの「タスク」セクションで、他のタイプのタスクを作成できます。
パイプラインの作成	パイプラインは、プロジェクトまたはフォルダの詳細ページの「パイプライン」セクションで作成します。パイプライン・デザイナで、演算子を使用して、シーケンスまたはパラレルの一連のプロセスとして編成するタスクおよびアクティビティを追加します。パラメータを使用して、設計時および実行時に値をオーバーライドすることもできます。
パイプライン・タスクを作成します	パイプライン設計の完了後、プロジェクトまたはフォルダの詳細ページの「タスク」セクションで、パイプラインを使用するパイプライン・タスクを作成します。パイプラインをパイプライン・タスクにラップすると、パイプラインを実行できます。また、実行時に使用したいパラメータ値を選択できます。

Oracle Cloud Infrastructureドキュメント