データ・サイエンスおよびデータ・フロー統合グループおよびポリシー
この項では、データ・フローでデータ・サイエンスを使用する前に必要な動的グループ、ポリシーおよびバケットの作成について説明します。
基本的なテナンシの設定
これらのステップでは、データ・サイエンス・ノートブック・セッションのLivy統合を使用して単純なワークロードを実行するために必要な最小限の設定について説明します。
- データ・フロー
-
- テナンシに
dataflow-logs
およびdataflow-warehouse
という必須バケットを作成します。詳細は、データ・フロー・ドキュメントの管理の設定に関する項を参照してください。 - 特定のコンパートメントにデータ・フロー実行の動的グループ(<df-dynamic-group>)を作成します:
ALL {resource.type='dataflowrun', resource.compartment.id='<compartment_id>'}
- データが存在するオブジェクト・ストレージ・バケット(<bucket-name>)にアクセスするためのデータ・フロー実行を認可するポリシーを作成します:
ALLOW DYNAMIC-GROUP < df-dynamic-group> TO MANAGE objects IN TENANCY WHERE ANY { target.bucket.name='<bucket_name>' , target.bucket.name='dataflow-logs, target.bucket.name='dataflow-warehouse' }
- テナンシに
- Data Science
-
- 特定のコンパートメントにノートブック・セッションの動的グループ(<ds-dynamic-group>)を作成します:
ALL {resource.type='datasciencenotebooksession', resource.compartment.id='<compartment_id>'}
- データ・フロー実行を管理するためのノートブック・セッションを認可するポリシーを作成します:
ALLOW DYNAMIC-GROUP '<ds-dynamic-group>' TO MANAGE dataflow-family in compartment '<your-compartment-name>'
- 特定のコンパートメントにノートブック・セッションの動的グループ(<ds-dynamic-group>)を作成します:
テナンシの詳細設定
ユース・ケースによっては、Oracle Cloud Infrastructure上のその他のサービスへのアクセスを構成する必要があります。
- データ・フロー・セッションからHiveメタストアへのアクセス
- テナンシにデータ・カタログHiveメタストアの動的グループ(<dcat-hive-group>)を作成します:
Any {resource.type = 'datacatalogmetastore'}
- データ・フローがメタストアにアクセスすることを認可するポリシーを作成します:
ALLOW DYNAMIC-GROUP '<df-dynamic-group>' TO MANAGE data-catalog-metastores IN TENANCY
- データ・カタログ・メタストアが、オブジェクト・ストレージ・バケットにアクセスすることを認可するポリシーを作成します。データ・カタログ・メタストアの動的グループに、データが格納されているバケットと、管理対象表および外部表が格納されているバケットへのアクセス権を付与します:
ALLOW DYNAMIC-GROUP '<dcat-hive-group>' TO READ buckets IN TENANCY ALLOW DYNAMIC-GROUP '<dcat-hive-group>' TO MANAGE object-family IN TENANCY WHERE ANY {target.bucket.name = '<bucket_name>', target.bucket.name = '<managed-table-location-bucket>', target.bucket.name = '<external-table-location-bucket>'}
- テナンシにデータ・カタログHiveメタストアの動的グループ(<dcat-hive-group>)を作成します:
- 公開されたconda環境でのSparkランタイム環境のカスタマイズ
-
- テナンシに
ds-conda-env
というバケットを作成します。 - ノートブック・セッションが、conda環境が格納されているオブジェクト・ストレージ・バケットにアクセスすることを認可するポリシーを作成します:
ALLOW DYNAMIC-GROUP '<ds-dynamic-group>' TO MANAGE objects IN TENANCY WHERE ALL {target.bucket.name='ds-conda-env'}
- データ・フローが、conda環境が格納されているオブジェクト・ストレージ・バケットにアクセスすることを認可するポリシーを作成します:
ALLOW DYNAMIC-GROUP '<df-dynamic-group>' TO MANAGE objects IN TENANCY WHERE ALL {target.bucket.name='ds-conda-env'}
- テナンシに