Spark-Submitデータ・フロー・アプリケーションの作成

データ・フローでSpark-Submitアプリケーションを作成します。

Spark-submitファイルをOracle Cloud Infrastructureオブジェクト・ストレージにアップロードします。詳細は、オブジェクト・ストアの設定を参照してください。
1. ナビゲーション・メニューを開き、「アナリティクスとAI」をクリックします。「データ・レイク」で、「データ・フロー」をクリックします。
2. 左側のメニューで、「Applications」をクリックします。
3. 「リスト・スコープ」で、アプリケーションを作成するコンパートメントを選択します。
4. アプリケーション・ページで、「アプリケーションの作成」をクリックします。
5. 「アプリケーションの作成」パネルで、アプリケーションの名前と、検索に役立つオプションの説明を入力します。
6. 「リソース構成」で、次の値を指定します。必要なリソースの数を計算するには、データ・フロー・アプリケーションのサイズ設定を参照してください。
  
  Sparkバージョンを選択します。
  
  (オプション)プールを選択します。
  
  「ドライバ・シェイプ」で、Sparkドライバのホストに使用するクラスタ・ノードのタイプを選択します。
  
  (オプション)ドライバにフレキシブル・シェイプを選択した場合は、OCPUの数およびメモリーの量をカスタマイズします。
  
  「エグゼキュータ・シェイプ」で、各Sparkエグゼキュータのホストに使用するクラスタ・ノードのタイプを選択します。
  
  (オプション)エグゼキュータにフレキシブル・シェイプを選択した場合は、OCPUの数およびメモリーの量をカスタマイズします。
  
  (オプション)Spark動的割当て(自動スケーリング)の使用を有効にするには、「自動スケーリングの有効化」を選択します。
  
  必要なエグゼキュータの数を入力します。自動スケーリングの使用を選択した場合は、エグゼキュータの最小数と最大数を入力します。
7. 「アプリケーション構成」で、次の値を指定します。
  
  (オプション)アプリケーションがSparkストリーミング用の場合は、「Sparkストリーミング」を選択します。
  
  「Spark-Submitオプションの使用」を選択します。サポートされているspark-submitオプションは:
  
  --py-files
  
  --files
  
  --jars
  
  --class
  
  --conf key=value形式の任意のSpark構成プロパティ。値に空白が含まれる場合は、"key=value"のように引用符で囲みます。多数の構成を別の引数として渡します。たとえば、
  --conf <key1>=<value1> --conf <key2>=<value2>
  
  application-jar アプリケーションとそのすべての依存関係を含むバンドルされたJARへのパス。
  
  application-arguments メイン・クラスのmainメソッドに渡される引数。
  
  「Spark-Submitオプション」テキスト・ボックスに、次の形式でオプションを入力します:
  --py-files oci://<bucket_name>@<objectstore_namespace>/<file_name> .pyoci://<bucket_name>@<objectstore_namespace>/<dependencies_file_name.zip> --files oci://<bucket_name>@<objectstore_namespace>/<file_name>.json --jars oci://<bucket_name>@<objectstore_namespace>/<file_name>.jar --conf spark.sql.crossJoin.enabled=true oci://<bucket_name>@<objectstore_namespace>/<file_name>.py oci://<argument2_path_to_input> oci://<argument3_path_to_output>
  たとえば、Spark Oracleデータソースを使用するには、次のオプションを使用します:
  --conf spark.oracle.datasource.enable=true
  重要
  
  データ・フローでは、local://またはhdfs://で始まるURIはサポートされていません。URIはoci://で始まる必要があるため、すべてのファイル(main-applicationを含む)はOracle Cloud Infrastructure Object Storageに存在する必要があり、各ファイルには完全修飾ドメイン名(FQDN)を使用する必要があります。
  
  (オプション)archive.zipファイルがある場合は、archive.zipをOracle Cloud Infrastructureオブジェクト・ストレージにアップロードし、「アーカイブURI」にそのパスを移入します。これには2つの方法があります:
  
  「オブジェクト・ストレージのファイル名」リストからファイルを選択します。バケットが別のコンパートメントにある場合は、「コンパートメントの変更」をクリックします。
  
  「手動でファイル・パスを入力」をクリックし、次の形式でファイル名とそのパスを入力します:
  oci://<bucket_name>@<namespace_name>/<file_name>
  
  「アプリケーション・ログの場所」で、次のいずれかの方法でOracle Cloud Infrastructure Loggingを取り込む場所を指定します:
  
  「オブジェクト・ストレージ・ファイル名」リストからdataflow-logsバケットを選択します。バケットが別のコンパートメントにある場合は、「コンパートメントの変更」をクリックします。
  
  「バケット・パスを手動で入力」をクリックし、この形式を使用してバケット・パスを入力します:
  oci://dataflow-logs@<namespace_name>
  
  「バケット・パスを手動で入力」をクリックせずに、次の場所からファイルを選択します
  
  (オプション)リストから「メタストア」を選択します。メタストアが別のコンパートメントにある場合は、最初に「コンパートメントの変更」をクリックし、別のコンパートメントを選択してから、リストから「メタストア」を選択します。デフォルトの管理対象表の場所は、メタストアに基づいて自動的に移入されます。
8. (オプション)アプリケーションにタグを追加するには、(定義済タグの)タグ・ネームスペースを選択してから、タグ・キーと値を指定します。必要に応じてタグを追加します。タグ付けの詳細は、タグ付けの概要に関する項を参照してください。
9. (オプション)「拡張オプションの表示」をクリックし、次の値を指定します。
  
  (オプション)「Use resource principal auth」を選択して、起動の高速化、または実行が24時間を超えることが予想される場合に選択します。リソース・プリンシパル・ポリシーを設定する必要があります。
  
  「Delta Lakeの有効化」にチェックマークを入れて、Delta Lakeを使用します。
  
  Delt@レイクバージョンを選択します。選択した値は、Spark構成プロパティのキー/値のペアに反映されます。
  
  ログ・グループを選択します。
  
  (オプション)「Spark Oracleデータ・ソースの有効化」をクリックして、Spark Oracleデータソースを使用します。
  
  (オプション)「ログ」セクションで、Oracle Cloud Infrastructure Loggingのログ・グループおよびアプリケーション・ログを選択します。ログ・グループが別のコンパートメントにある場合は、「コンパートメントの変更」をクリックします。
  
  Spark構成プロパティを追加します。キーと値のペアを入力します。
  
  「+別のプロパティ」をクリックして、別の構成プロパティを追加します。
  
  すべての構成プロパティが追加されるまで、ステップbおよびcを繰り返します。
  
  ウェアハウス・バケットURIを次の形式で移入して、ウェアハウス・バケットのデフォルト値をオーバーライドします:
  oci://<warehouse-name>@<tenancy>
  
  「ネットワーク・アクセスの選択」で、次のいずれかのオプションを選択します:
  
  データ・フローに「プライベート・エンドポイントのアタッチ」を行う場合は、「プライベート・サブネットへのセキュア・アクセス」ラジオ・ボタンをクリックします。表示されるリストからプライベート・エンドポイントを選択します。
  ノート
  
  IPアドレスを使用してプライベート・エンドポイントに接続できません。FQDNを使用する必要があります。
  
  プライベート・エンドポイントを使用している場合、「インターネット・アクセス(サブネットなし)」ラジオ・ボタンをクリックします。
  
  (オプション)データ系統収集を有効にするには:
  
  「データ系統収集の有効化」をクリックします。
  
  「データ・カタログを手動で入力」をクリックするか、現在のテナンシの構成可能なコンパートメントからデータ・カタログ・インスタンスを選択します。
  
  (オプション)前のステップで「データ・カタログを手動で入力」をクリックした場合は、「データ・カタログ・テナンシOCID」、「データ・カタログ・コンパートメントOCID」および「データ・カタログ・インスタンスODID」の値を入力します。
  
  「最大実行期間(分)」に、60 (1時間)から10080 (7日)までの値を入力します。値を入力しない場合、送信された実行は、成功するか、失敗するか、取り消されるか、またはデフォルトの最大期間(24時間)に達するまで続行されます。
10. 「作成」をクリックしてアプリケーションを作成するか、「スタックとして保存」をクリックして後で作成します。
  将来「名前」および「ファイルURL」の値を変更するには、アプリケーションの編集を参照してください。
createコマンドと必須パラメータを使用して、アプリケーションを作成します。
oci data-flow application create [OPTIONS]
CLIコマンドのフラグおよび変数オプションの完全なリストは、CLIコマンドライン・リファレンスを参照してください。
CreateApplication操作を実行して、アプリケーションを作成します。

Oracle Cloud Infrastructureドキュメント

Spark-Submitデータ・フロー・アプリケーションの作成