MLモニタリング
データ・サイエンスにおけるMLモニタリングについて学習します。
データ・サイエンスMLモニタリングでは、次のことができます。
- 組込みのデータ・リーダーを使用して、Object Storageからデータを読み取ります。
- ライブラリを拡張してデータ・リーダーを作成します。
- 条件付き機能を使用してデータを変換し、データにさらに深みを追加します。
コード拡張を追加しない場合は、MLジョブで実行されているMLモニタリング・アプリケーション・コンテナのサービス管理オファリングを使用します。それ以外の場合は、ML Insights Library SDKのコードを拡張して、カスタム・リーダー、メトリックまたはポストプロセッサを追加します。
MLインサイト
MLインサイトを使用してデータを迅速に評価し、MLモニタリングのユース・ケースを決定します。長時間実行監視プロセスを設定して、モデルとデータを継続的に評価できます。
監視のための構成可能なメトリックは次のとおりです。
- データ整合性
- データ品質またはサマリー
- 機能および予測ドリフト検出
- 分類モデルと回帰モデルの両方のモデル・パフォーマンス
- カスタム・メトリック
- 条件付きフィーチャとトランス
- データ・リーダー
- 後処理中
- テスト・スイート
MLモニタリング・アプリケーション
MLモニタリング・アプリケーションは、MLジョブ内でMLインサイト・ライブラリを実行するサービス管理コンテナです。モニタリング構成を1回かぎりの設定として指定し、MLジョブ実行を使用して何度も実行します。実行をスケジュールすることもできます。
- MLジョブと統合されています。
- MLインサイト構成ファイルを入力として使用します。
- これは、ベースラインとして(ゴールデン・データまたはトレーニング・データを使用して)、予測として(デプロイ済データまたは推論データを使用して)、または検証として実行できます。
- (オプション)指定した日付範囲のデータを操作できます。
- データからメトリックを含むプロファイルを出力します。