オブジェクト・ストアの設定
データ・フローでアプリケーションを実行する前に、オブジェクト・ストアに2つのストレージ・バケットが必要です
詳細は、オブジェクト・ストレージのドキュメントを参照してください。
Oracle Cloud Infrastructureで、次に対してオブジェクト・ストア内に2つのストレージ・バケットを作成します:
- データ・フロー・ログ
- データ・フローでは、アプリケーションの実行ごとにログ(標準出力と標準エラーの両方)を格納するバケットが必要です。オブジェクト・ストア・サービスで
dataflow-logsという標準ストレージ層バケットを作成します。バケットの場所は、パターンに従う必要があります:oci://dataflow-logs@<Object_Store_Namespace>/ - データ・フロー・ウェアハウス
- データ・フローには、Spark SQLアプリケーションのデータ・ウェアハウスが必要です。オブジェクト・ストア・サービスで
dataflow-warehouseという標準ストレージ層バケットを作成します。ウェアハウスの場所は、次のパターンに従う必要があります:oci://dataflow-warehouse@<Object_Store_Namespace>/