Oracle Cloud Infrastructureドキュメント

OCIデータ・フロー・タスクの処理

Oracle Cloud Infrastructure Data Flowタスクを使用すると、データ統合内でOCI Data Flowアプリケーションのスケジュール、実行および監視を行うことができます。

OCI Data Flowで作成されるアプリケーションは、Sparkアプリケーションとバージョン、依存関係、デフォルト・パラメータおよびデフォルトのランタイム・リソース指定で構成されます。

データ統合でOCI Data Flowタスクを作成および実行するには、OCI Data Flowのアプリケーションにアクセスするための関連の権限およびIAMポリシーが必要です。詳細は、必要なポリシーおよび設定を参照してください。

次のページでは、データ統合でOCIデータ・フロー・タスクを作成、編集および削除する方法について説明します:

次のページでは、OCIデータ・フロー・タスクの作成後に実行できるその他の管理タスクについて説明します。

必要なポリシーと設定

OCI Data Flowタスクを作成する前に、次のタスク・チェックリストを使用して、データ統合でOCI Data Flowタスクを使用するために必要な設定および情報があることを確認します。

タスク 要件
Oracle Cloud Infrastructure Data Flowへのアクセス権の取得

このトピックでは、OCI Data Flowを使用してOCI Data Flowにアプリケーションを作成するために必要なものがすでに設定されていることを前提としています。

OCI Data Flowの開始

データ統合で作成したOCI Data Flowタスクが、OCI Data Flowで作成したアプリケーションに関連付けられます。
OCI Data Flowでのアプリケーションの作成

データ統合でOCI Data Flowタスクを使用するには、OCI Data Flowで必要な言語のアプリケーションをすでに作成している必要があります。

OCIデータ・フロー・アプリケーションの作成を参照してください。
OCI Data Flowのアプリケーションの詳細の取得

OCI Data Flowで作成したアプリケーションについて次の詳細を収集します:

  • OCI Data Flowアプリケーションが作成されたコンパートメント
  • OCI Data Flowアプリケーションの名前
  • (該当する場合)メイン・クラスを起動する引数

ポリシーの作成

データ統合がOCI Data Flowでアプリケーションを作成してアクセスできるようにするには:

allow any-user to manage dataflow-application in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

allow any-user to manage dataflow-run in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

allow group <group-name> to read dataflow-application in compartment <compartment-name>

allow group <group-name> to manage dataflow-run in compartment <compartment-name>

データ統合で、メタストアが構成されたOCI Data Flowタスクをトリガーできるようにするには、2つの動的グループを作成し、動的グループごとにルールを作成します:

次の照合ルールを<dynamic-group-name>に作成します:

ANY {resource.id = '<workspace-ocid>>'}

次の照合ルールを<dynamic-group-name-1>に作成します:

ANY {resource.id = '<datacatalog-metastore-ocid>'}

その後、次のポリシーを追加します:

allow dynamic-group <dynamic-group-name> to manage data-catalog-metastores in compartment <compartment-name>

allow dynamic-group <dynamic-group-name> to use data-catalog-metastores in compartment <compartment-name>

allow dynamic-group <dynamic-group-name-1> to read object-family in compartment <compartment-name>
ノート

  • このトピックで説明するポリシー・ステートメントは例にすぎません。独自の要件を満たすポリシーを作成してください。

  • リソース(オブジェクト・ストレージ・オブジェクトやバケットなど)とデータ統合ワークスペースが異なるテナンシにある場合は、クロステナンシ・ポリシーが必要です。ニーズのポリシーを特定するには、ポリシーの例およびブログのOracle Cloud Infrastructure (OCI) Data Integrationのポリシーを参照してください。

  • IAMコンポーネント(動的グループやポリシー・ステートメントなど)を追加した後は、関連付けられたタスクをすぐに実行しないでください。新しいIAMポリシーを有効にするには、約5分から10分かかります。