データ・サイエンスがMLパイプラインのデータ・フローをサポート

MLパイプラインのデータ・フロー・サポート機能を使用すると、ユーザーはデータ・フロー・アプリケーションをパイプライン内のステップとして統合できます。

この新機能により、ユーザーはMLパイプラインの他のステップとともにデータ・フロー・アプリケーション(Apache Spark as a Service)の実行をオーケストレーションし、大規模なデータ処理タスクを合理化できます。

データ・フロー・ステップを含むパイプラインが実行されると、そのステップに関連付けられたデータ・フロー・アプリケーションの新しい実行が自動的に作成および管理されます。データ・フロー実行は、パイプライン内の他のステップと同様に処理されます。正常に完了すると、パイプラインは実行を続行し、パイプラインのオーケストレーションの一部として後のステップを開始します。

詳細は、MLパイプラインのデータ・フローのデータ・サイエンスのドキュメントを参照してください。