専用AIクラスタへの支払い
OCI生成AIで専用AIクラスタを使用する場合、次の利点があります:
- 需要にあわせて変動しない予測可能な価格設定。
- ファインチューニングやホスティングモデルに最適です。
- 最小ホスティング・コミットメント: ホスティング・クラスタ当たり744ユニット時間。
- 最小ファインチューニング・コミットメント: ファインチューニング・ジョブごとに1単位時間。(モデルによっては、ファインチューニングを実行するには2ユニット以上が必要です)。
次の例では、OCI生成AIにおける専用AIクラスタのコストを計算します。オンデマンド推論コストの計算については、「オンデマンド推論の支払」を参照してください。
専用クラスタ単価へのモデルの照合
基盤モデルをホスティングしたり、専用AIクラスタでファインチューニングする場合、トランザクションではなく単位時間で請求されます。この場合、チャット・モデルの専用AIクラスタ・コストの計算については、次の表を参照してください。
専用サービス・モードでサポートされている一部のOCI生成AI基礎事前トレーニング済ベース・モデルは非推奨になり、1番目の置換モデルのリリース後6か月以内に廃止されます。ベース・モデルをホストするか、ベース・モデルをファインチューニングして、ベース・モデルが廃止されるまで、専用AIクラスタ(専用サービング・モード)でファインチューニング・モデルをホストできます。専用サービング・モード・リタイア日については、モデルのリタイアを参照してください。
チャット・モデル
| ベース・モデル | クラスタのファインチューニング | ホスティング・クラスタ | 価格設定ページ情報 | クラスタ制限増加のリクエスト |
|---|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
微調整に使用できません |
|
|
|
|
微調整に使用できません |
|
|
|
|
微調整に使用できません |
|
|
|
|
微調整に使用できません |
|
|
|
|
|
|
|
|
|
微調整に使用できません |
|
|
|
|
|
|
|
|
次のリソースを使用するには、制限の引上げをリクエストする必要があります:
Meta Llamaファミリ
-
Meta Llama 3.2 11B Vision モデルをホストするには、
dedicated-unit-llama2-70-countを1ずつ増やすようにリクエストする必要があります。 -
Meta Llama 3.2 90B Vision モデルをホストするには、
dedicated-unit-llama2-70-countに2ずつ増やすようにリクエストする必要があります。 -
Meta Llama 3.1 (70B)モデルをホストするには、
dedicated-unit-llama2-70-countに2ずつ増やすようにリクエストする必要があります。 -
Meta Llama 3.1 (70B)モデルを微調整するには、
dedicated-unit-llama2-70-countをリクエストして4増やす必要があります。 -
Meta Llama 3.1 (405B)モデルをホストするには、
dedicated-unit-llama2-70-countをリクエストして8増やす必要があります。
Cohere Command Rファミリ
-
Cohere Command R (非推奨)モデルをホストするには、
dedicated-unit-small-cohere-countに1ずつ増やすようにリクエストする必要があります。 -
Cohere Command R (非推奨)モデルを微調整するには、
dedicated-unit-small-cohere-countをリクエストして8増やす必要があります。 -
Cohere Command R 08-2024モデルをホストするには、
dedicated-unit-small-cohere-countを1ずつ増やすようにリクエストする必要があります。 -
Cohere Command R 08-2024モデルを微調整するには、
dedicated-unit-small-cohere-countをリクエストして8増やす必要があります。 -
Cohere Command R+ (非推奨)モデルをホストするには、
dedicated-unit-large-cohere-countに2ずつ増やすようにリクエストする必要があります。 -
Cohere Command R+ 08-2024モデルをホストするには、
dedicated-unit-large-cohere-countに2ずつ増やすようにリクエストする必要があります。
参照: 生成AIのサービス制限およびリクエスト・クラスタ制限の引上げ
テキスト生成、要約およびテキスト埋込みモデルの詳細は、「ベース・モデルのクラスタとの照合」の表を参照してください。
基本モデルのホストの例1
Johnは、専用インフラストラクチャでCommand R+ 08-2024 (cohere.command-r-plus-08-2024)モデルのインスタンスをホストしようとしています。Johnは40日後にクラスタを削除し、クラスタのコストを知りたいと考えています。cohere.command-r-plus-08-2024モデルをホストするには、Johnが最初にcohere.command-r-plus-08-2024モデルをホストできるユニット・サイズを識別する必要があります。cohere.command-r-plus-08-2024モデルの単位サイズはLarge Cohere V2_2単位です。クラスタへのベース・モデルの照合を参照してください。
Johnでは、cohere.command-r-plus-08-2024モデルをホストするために少なくとも1つのLarge Cohere V2_2ユニットが必要です。1つのLarge Cohere V2_2単位でホスティング・クラスタのコストを計算するステップを次に示します。
基本モデルのホストの例2
Aliceは、専用インフラストラクチャでCommand R 08-2024 (cohere.command-r-08-2024)モデルのインスタンスをホストしようと考えています。cohere.command-r-08-2024モデルをホストするには、Aliceが最初にCommand R 08-2024モデルをホストできるユニット・サイズを識別する必要があります。Command R 08-2024の単位サイズはSmall Cohere V2単位です。クラスタへのベース・モデルの照合を参照してください。
Aliceは、1つのユニットよりも高いコール量をモデルに対して処理するために、3つの単位のSmall Cohere V2を購入することを決定します。Aliceでは、5日後にクラスタの削除を計画しています。3つのSmall Cohere V2ユニットを持つホスティング・クラスタのコストを5日間計算するステップを次に示します。
モデルの微調整とホスティングの例
Bobは、Command R 08-2024 (cohere.command-r-08-2024)モデルを微調整します。Bobは、事前設定された値が8つのSmall Cohere V2ユニットであるファインチューニング専用AIクラスタを作成します。Bobは、ファインチューニング専用AIクラスタにカスタム・モデルを作成し、トレーニング・データを使用してCommand R 08-2024基礎モデルを微調整します。微調整ジョブの完了には5時間かかります。Bobは毎週ファインチューニング・クラスタを作成します。
cohere.command-r-08-2024モデルをホストするには、Bobがcohere.command-r-08-2024モデルをホストできるユニット・サイズを識別する必要があります。cohere.command-r-08-2024モデルの単位サイズはSmall Cohere V2単位です。クラスタへのベース・モデルの照合を参照してください。Bobは、1つのホスティング・クラスタで最大50個のファインチューニング・モデルをホストできます。ここでは、モデルを微調整およびホスティングするための月次コストを計算するステップを示します。