生成AIでのカスタム・モデルのモデル・パフォーマンス・パラメータ

カスタム・モデルを作成すると、OCI生成AIによって、事前トレーニング済モデルがデータセットでファインチューニングされます。ファインチューニングが完了したら、モデルの詳細ページでモデル・パフォーマンス・パラメータにアクセスし、データセットの微調整後にモデルがユース・ケースに対して改善されたかどうかを判断できます。モデル・パフォーマンス・パラメータは、検証データセットで計算されます。

大規模言語モデルのモデル・パフォーマンス・パラメータ

カスタム・モデルには、次のメトリックが適用されます。

精度
生成されたトークンが注釈付きトークンと一致するかどうかを測定します。たとえば、精度が0.9の場合、出力されたトークンの90%がデータセット内のトークンに一致したことを意味します。
損失
精度は、モデルが間違った予測の数を示し、損失は、生成されたモデルの出力の誤りを測定します。0の損失は、すべての出力が完全であることを意味し、大きい数値は非常にランダムな出力を示します。モデルが改善するにつれて損失が減少します。