SQLデータ・フロー・アプリケーションの作成

データ・フローでSQLアプリケーションを作成するには、次のステップに従います。

Spark-submitファイルをOracle Cloud Infrastructureオブジェクト・ストレージにアップロードします。詳細は、オブジェクト・ストアの設定を参照してください。
1. ナビゲーション・メニューを開き、「アナリティクスとAI」をクリックします。「データ・レイク」で、「データ・フロー」をクリックします。
2. 左側のメニューで、「Applications」をクリックします。
3. 「リスト・スコープ」で、アプリケーションを作成するコンパートメントを選択します。
4. アプリケーション・ページで、「アプリケーションの作成」をクリックします。
5. 「アプリケーションの作成」パネルで、アプリケーションの名前と、検索に役立つオプションの説明を入力します。
6. 「リソース構成」で、次の値を指定します。必要なリソースの数を計算するには、データ・フロー・アプリケーションのサイズ設定を参照してください。
  
  Sparkバージョンを選択します。
  
  (オプション)プールを選択します。
  
  「ドライバ・シェイプ」で、Sparkドライバのホストに使用するクラスタ・ノードのタイプを選択します。
  
  (オプション)ドライバにフレキシブル・シェイプを選択した場合は、OCPUの数およびメモリーの量をカスタマイズします。
  
  「エグゼキュータ・シェイプ」で、各Sparkエグゼキュータのホストに使用するクラスタ・ノードのタイプを選択します。
  
  (オプション)エグゼキュータにフレキシブル・シェイプを選択した場合は、OCPUの数およびメモリーの量をカスタマイズします。
  
  (オプション)Spark動的割当て(自動スケーリング)の使用を有効にするには、「自動スケーリングの有効化」を選択します。
  
  必要な「エグゼキュータの数」を入力します。自動スケーリングの使用を選択した場合は、エグゼキュータの最小数と最大数を入力します。
7. 「アプリケーション構成」で、次の値を指定します。
  
  (オプション)アプリケーションがSparkストリーミング用の場合は、「Sparkストリーミング」を選択します
  
  ノート
  
  ストリーミング・アプリケーションが動作するには、「Sparkストリーミングの開始」のステップを実行しておく必要があります。
  
  「Spark送信オプションの使用」を選択しない
  
  「言語」オプションから「SQL」を選択します。
  
  「ファイルの選択」で、アプリケーションへのファイル・ファイルURLを指定します。これには、次のいずれかの方法があります。
  
  「オブジェクト・ストレージのファイル名」リストからファイルを選択します。バケットが別のコンパートメントにある場合は、「コンパートメントの変更」をクリックします。
  
  「ファイルのURLを手動で入力」を選択し、ファイル名とそのパスを次の書式で入力します:
  oci://<bucket_name>@<objectstore_namespace>/<file_name>
  
  (オプション)パラメータを入力します。
  
  各パラメータの名前と値を入力します。
  
  別のパラメータを追加するには、+Anotherパラメータをクリックします。
  
  (オプション) archive.zipファイルがある場合は、そのファイルをOracle Cloud Infrastructure Object Storageにアップロードしてから、アーカイブURIにそのパスを移入します。これには2つの方法があります:
  
  「オブジェクト・ストレージのファイル名」リストからファイルを選択します。バケットが別のコンパートメントにある場合は、「コンパートメントの変更」をクリックします。
  
  「手動でファイル・パスを入力」をクリックし、次の形式でファイル名とそのパスを入力します:
  oci://<bucket_name>@<namespace_name>/<file_name>
  
  「アプリケーション・ログの場所」で、次のいずれかの方法でOracle Cloud Infrastructure Loggingを取り込む場所を指定します:
  
  「オブジェクト・ストレージ・ファイル名」リストからdataflow-logsバケットを選択します。バケットが別のコンパートメントにある場合は、「コンパートメントの変更」をクリックします。
  
  「バケット・パスを手動で入力」を選択し、この形式を使用してバケット・パスを入力します:
  oci://dataflow-logs@<namespace_name>
  
  (オプション)リストから「メタストア」を選択します。メタストアが別のコンパートメントにある場合は、「コンパートメントの変更」をクリックします。「デフォルトの管理対象表の場所」は、メタストアに基づいて自動的に移入されます。
8. (オプション)アプリケーションにタグを追加するには、(定義済タグの)タグ・ネームスペースを選択してから、タグ・キーと値を指定します。必要に応じてタグを追加します。タグ付けの詳細は、タグ付けの概要に関する項を参照してください。
9. 詳細な構成オプションを追加します。
  
  「拡張オプションの表示」をクリックします。
  
  (オプション)「リソース・プリンシパル認証の使用」を選択して、起動を高速にするか、「実行」が24時間以上続くことが予想される場合に有効にします。
  
  (オプション)「Spark Oracleデータ・ソースの有効化」をクリックして、Spark Oracleデータソースを使用します。
  
  Delta Lakeのバージョンを選択します。選択した値は、Spark構成プロパティのキー/値のペアに反映されます。Delta Lakeの詳細は、データ・フローとDelta Lakeを参照してください。
  
  「ログ」セクションで、「ログ・グループ」およびOracle Cloud Infrastructure Loggingのアプリケーション・ログを選択します。ログ・グループが別のコンパートメントにある場合は、コンパートメントを変更できます。
  
  Spark構成プロパティのキーおよび値を入力します。
  
  Sparkストリーミングを使用している場合は、spark.sql.streaming.graceful.shutdown.timeoutのキーを指定し、値は30分(ミリ秒)以内にします。
  
  Spark Oracleデータソースを使用している場合は、spark.oracle.datasource.enabledのキーを指定し、値はtrueにします。
  
  「+別のプロパティ」をクリックして、別の構成プロパティを追加します。
  
  (オプション)ウェアハウス・バケットURIを次の形式で移入して、ウェアハウス・バケットのデフォルト値を上書きします:
  oci://<warehouse-name>@<tenancy>
  
  ネットワーク・アクセスを選択します。
  
  データ・フローにプライベート・エンドポイントをアタッチする場合は、「プライベート・サブネットへのセキュア・アクセス」をクリックします。表示されるリストからプライベート・エンドポイントを選択します。
  ノート
  
  IPアドレスを使用してプライベート・エンドポイントに接続できません。FQDNを使用する必要があります。
  
  プライベート・エンドポイントを使用している場合、「インターネット・アクセス(サブネットなし)」をクリックします。
  
  (オプション)データ系統収集を有効にするには:
  
  「データ系統収集の有効化」をクリックします。
  
  「データ・カタログを手動で入力」をクリックするか、現在のテナンシの構成可能なコンパートメントからデータ・カタログ・インスタンスを選択します。
  
  (オプション)前のステップで「データ・カタログを手動で入力」をクリックした場合は、「データ・カタログ・テナンシOCID」、「データ・カタログ・コンパートメントOCID」および「データ・カタログ・インスタンスODID」の値を入力します。
  
  「最大実行期間(分)」に、60 (1時間)から10080 (7日)までの値を入力します。値を入力しない場合、送信された実行は、成功するか、失敗するか、取り消されるか、またはデフォルトの最大期間(24時間)に達するまで続行されます。
10. 「作成」をクリックしてアプリケーションを作成するか、「スタックとして保存」をクリックして後で作成します。
  将来、言語、名前およびファイルURLの値を変更するには、アプリケーションの編集を参照してください。SQLが選択されている場合、「言語」は変更できません。
createコマンドと必須パラメータを使用して、アプリケーションを作成します。
oci data-flow application create [OPTIONS]
CLIコマンドのフラグおよび変数オプションの完全なリストは、CLIコマンドライン・リファレンスを参照してください。
CreateApplication操作を実行して、アプリケーションを作成します。

Oracle Cloud Infrastructureドキュメント

SQLデータ・フロー・アプリケーションの作成