Oracle Cloud Infrastructureドキュメント

生成AIでのファインチューニング方法の選択

カスタム・モデルを作成すると、OCI生成AIは、ベース・モデルに一致するメソッドを使用して、事前トレーニング済のベース・モデルを微調整します。

重要

専用サービス・モードでサポートされている一部のOCI生成AI基礎事前トレーニング済ベース・モデルは非推奨になり、1番目の置換モデルのリリース後6か月以内に廃止されます。ベース・モデルをホストするか、ベース・モデルをファインチューニングして、ベース・モデルが廃止されるまで、専用AIクラスタ(専用サービング・モード)でファインチューニング・モデルをホストできます。専用サービング・モード・リタイア日については、モデルのリタイアを参照してください。

次の表に、生成AIが各タイプのベース・モデルのトレーニングに使用する方法を示します。

事前トレーニング済ベース・モデル トレーニング方法
cohere.command-r-08-2024
  • T-Few
  • LoRA
cohere.command-r-16k (非推奨)
  • T-Few
  • LoRA
meta.llama-3.1-70b-instruct
  • LoRA
cohere.command (非推奨)
  • T-Few
  • Vanilla
cohere.command-light (非推奨)
  • T-Few
  • Vanilla
meta.llama-3-70b-instruct (非推奨)
  • LoRA
ノート

各トレーニング方法に使用されるハイパーパラメータの詳細は、生成AIでモデルを微調整するためのハイパーパラメータを参照してください。

T-FewとVanillaの選択

cohere.commandおよびcohere.command-lightモデルの場合、OCI生成AIには、T-FewとVanillaの2つのトレーニング・メソッドがあります。ユース・ケースに最適なトレーニング方法を選択するには、次のガイドラインを使用します。

機能 オプションと推奨事項
cohere.commandおよびcohere.command-lightのトレーニング・メソッド
  • T-Few
  • Vanilla
データセット・サイズ
  • 小さいデータセット(数千個以下のサンプル)にT-Fewを使用します
  • 大規模なデータセットにはVanillaを使用します(10万サンプルから数百万サンプルまで)

Vanillaメソッドに小さいデータセットを使用すると、オーバーフィッティングが発生する可能性があります。オーバーフィッティングは、トレーニング済モデルがトレーニング・データに優れた結果を与えるが、目に見えないデータの出力を一般化できない場合に発生します。
複雑さ
  • T-Fewは、次の書式または指示に使用します。
  • Vanillaは、医療ケースに対するモデルの理解の向上など、複雑なセマンティック理解の改善に使用します。
ホスティング
  • 同じホスティング専用AIクラスタで複数のファインチューニング・モデルをホストする場合は、T-Fewを使用します。すべてのモデルが同じベース・モデルでトレーニングされている場合、それらを同じクラスタでホストできます。このスタック・サービング機能により、各T-Fewファインチューニング・モデルへのユーザー・トラフィックが比較的低い場合、コストが節約され、パフォーマンスが向上します。ホスティング・クラスタへのエンドポイントの追加を参照してください。
  • Vanillaメソッドで微調整される各モデルには、独自のホスティング専用AIクラスタが必要です。