パイプラインの使用
パイプラインを使用すると、一連のタスクを順序または並行して接続して、データ処理を調整できます。
パイプラインを作成することで、複雑なタスク依存関係グラフを構築し、タスクのワークロード全体を自動化できます。タスクは公開する必要があり、現在のワークスペースまたは別のワークスペースにあるアプリケーションから公開済タスクを追加できます。
このチュートリアルでは:
- パイプラインで並行して実行する2つのデータ・ローダー・タスクを作成します。
- 通知サービスを使用して電子メール通知を送信するRESTタスクを作成します。
- パイプラインを作成し、データ・ローダー・タスク、マージ、統合タスクおよびRESTタスクの演算子を追加します。
- パイプライン・タスクを作成して、パイプラインのランタイム・コンテキストを構成します。
- パイプライン・タスクを公開し、パイプラインを実行します。
- パイプライン実行をモニターします。
開始する前に
このチュートリアルを完了するには:
- データ・フロー・チュートリアルを完了しました。
- 統合タスク・チュートリアルを完了しました。
- データ・ローダー・タスク・チュートリアルを完了しました。
- 通知サービスで作成されたトピックおよび電子メール・サブスクリプション。
- トピックの作成を参照してください。
- 電子メール・サブスクリプションの作成を参照してください。
1. 収益データのデータ・ローダー・タスクの作成
Load Revenue Data into Data Warehouse
タスクを複製して、収益データをロードおよび上書きする新しいタスクを作成します。
2. 顧客データのデータ・ローダー・タスクの作成
新しいターゲット・データ・エンティティを作成して、顧客データをデータ・ウェアハウスにロードするためのデータ・ローダー・タスクを作成します。
3. 通知を送信するためのRESTタスクの作成
RESTタスクを使用して、パイプライン内でREST APIエンドポイントを実行できます。このチュートリアルでは、データ統合RESTタスクの通知サービスAPIを使用して、パイプライン内から電子メールを公開します。
-
通知サービスで作成されたトピックおよび電子メール・サブスクリプション。
-
トピックの作成を参照してください。
-
電子メール・サブスクリプションの作成を参照してください。
-
-
作成したトピックのOCID。OCIDは、通知サービスのトピック詳細ページの「トピック情報」セクションで使用できます。
-
通知REST APIを起動するデータ統合タスクを実行できる次のポリシー・ステートメント:
allow any-user to use notification-family in tenancy where ALL {request.principal.type='disworkspace'}
次に、データ統合で、通知サービスAPIを使用してEメールを公開するRESTタスクを作成します。
4. データ・ローダーおよびRESTタスクの公開
5. パイプラインの作成
6. パイプライン演算子の追加
7. パイプライン・タスクの作成
8. パイプライン・タスクの公開および実行
その他のリソース
さらに学習するには、次のURLを参照してください。