Oracle Cloud Infrastructureドキュメント

生成AIのチャット・モデルについて

OCI生成AIチャット・モデルにテキストを生成するよう促します。自然言語で質問したり、必要に応じて、ドキュメント、Eメール、製品レビューなどのテキストをチャット・モデルに送信したり、各モデルの理由をテキストで送信したり、インテリジェントな回答を提供したりできます。一部のモデルでは、イメージを送信し、イメージに関する質問をすることができます。チャット・モデルは、以前のプロンプトのコンテキストを維持し、フォローアップ質問でチャットを続行できます。次に例を示します:

ユーザー・プロンプト: 「Hi、 Can you tell me how to fish?」

前のプロンプトの出力: "Sure!私は喜んで手伝います。次に、釣りを開始するための基本的なステップを示します...この文には、いくつかのステップと、「釣り具、技術、または釣り旅行を成功させるためのヒントについて具体的な質問がある場合はお知らせください。喜んでお手伝いします。」などのフォローアップ質問が続きます

ユーザー・フォローアップ・プロンプト: 「ステップ3の詳細を教えてください。」

チャット・モデルのレスポンス: 「確かに!ステップ3では、釣り竿とタックルを設定するための重要な考慮事項について説明します。これは、釣り旅行を成功させるための準備の重要な側面です。ここでは、釣り具の設定に関連する様々なコンポーネントや選択肢を理解するのに役立つ、このステップについて詳しく説明します。」など。

チャット・モデルのユースケースの例を次に示します。

  • チャット:モデルとチャットして、アイデアをブレーンストーミングし、問題を解決し、概念を説明し、質問に答えます。
  • 新しいコンテンツの記述:チャット・モデルに、マーケティング・コピー、電子メール、ブログ投稿、製品説明、ドキュメントなどのドラフトを依頼します。
  • 翻訳:ある言語から別の言語にテキストを翻訳します。各モデルの言語カバレッジを確認します。
  • テキストからの情報の取得:チャット・モデルにテキストを提供し、質問回答、センチメント分析、分類および情報取得にチャット・モデルを使用します。
  • イメージからの情報の取得:チャット・モデルにイメージを指定し、キャプションおよび情報取得にチャット・モデルを使用します。この機能は、一部のモデルで使用できます。
  • 既存のコンテンツの拡張:トピックをリストするためのテキストの再構築、見出しの追加、トピックの要約など、異なるスタイルまたは言語でコンテンツをリライトします。

チャットのモデルの選択

モデル・サイズ、プロジェクト目標、コストおよびモデルの応答のスタイルに基づいて、チャット会話のモデルを選択します。リストされている各モデルに用意されているプレイグラウンドの例を使用して、各モデルが同じプロンプトにどのように反応するかを把握し、使用事例に適したモデルのレスポンス・スタイルを決定します。

OCI生成AIでは、チャット用に次の事前トレーニング済基礎モデルを使用できます。ユース・ケースに最適なモデルの選択に役立つ機能を確認します。

Cohere Command R Family(新モデル)
モデル
  • Command R (cohere.command-r-16k) (非推奨)
  • Command R+ (cohere.command-r-plus) (非推奨)
  • Command R 08-2024 (cohere.command-r-08-2024) (新規)
  • Command R+ 08-2024 (cohere.command-r-plus-08-2024) (新規)
主な機能

cohere.command-r-16k (Command R)とcohere.command-r-plus (Command R+)の両方のチャット・モデルは、LLMのCohere Command Rファミリに属していますが、機能、ユースケースおよび価格設定が異なります。主要な相違点を次に示します:

  • モデルのサイズとパフォーマンス: Command Rは、Command R+より小規模な言語モデルです。Command Rは高品質なレスポンスを提供しますが、レスポンスはコマンドR+レスポンスと同じレベルの洗練度および深さを持たない可能性があります。Command R+は大規模なモデルであるため、パフォーマンスが向上し、より高度な理解が得られます。
  • ユースケース: Command Rは、テキスト生成、要約、翻訳、テキストベースの分類など、様々なアプリケーションに適しています。これは、会話型AIエージェントとチャットベースのアプリケーションを構築するのに理想的な選択肢です。一方、Command R+は、テキスト生成、質問回答、センチメント分析、情報取得など、より深い理解とニュアンスを必要とする、より複雑な言語タスク用に設計されています。
  • 容量およびスケーラビリティ: Command Rは、Command R+と比較して適度な数の同時ユーザーを処理できます。ただし、Command R+は、大量のリクエストを処理し、より複雑なユース・ケースをサポートするように設計されているため、容量とパフォーマンスが向上するため、価格が高くなる可能性があります。

要約すると、Command Rは、一般的な言語タスクのためのより手頃な価格で柔軟なオプションを探している人にとって優れた選択肢です。一方、Command R+は、高度な言語理解、高い容量、より微妙な応答を必要とするパワー・ユーザー向けに設計されています。2つの選択肢は、アプリケーションの特定の要件と予算によって異なります。

Cohere Command R 08-2024およびCohere Command R+ 08-2024 (新規)

cohere.command-r-plus-08-2024 (Command R+ 08-2024)およびcohere.command-r-08-2024 (Command R 08-2024)チャット・モデルは、改善されたバージョンのcohere.command-r-plus (Command R+)およびcohere.command-r-16k (Command R)であり、次の主要な機能があります。

  • 先行作業と比較して、レイテンシとスループットのパフォーマンスが大幅に向上します。
  • どちらのモデルにも、128,000個のトークン・コンテキスト長があり、これは以前のモデルの8倍です。
  • どちらのモデルも、数学、コーディング、推論などの分野で改善されています。
  • Command R 08-2024はparコマンドR+にあります。
  • どちらのモデルも、オンデマンドの推論および専用AIクラスタでのホスティングに使用できます。
  • Command R 08-2024モデルは、データセットを使用した微調整に使用できます。
  • カスタマイズ可能な引用オプションを備えた拡張された多言語検索拡張生成(RAG)機能。
  • 10言語の多言語サポート: アラビア語、中国語(マンダリン)、英語、フランス語、ドイツ語、イタリア語、日本語、韓国語、ポルトガル語、スペイン語
  • ユーザー定義JSONスキーマなどのユーザー定義JSON出力を作成するための新しい構造化出力機能。
  • 財務、Software as a Service(SaaS)およびコンサルティングのユースケース向けに構造化データ分析を改善
Meta Llama 3.2ファミリ(新規)
モデル
  • Meta Llama 3.2 90B Vision(meta.llama-3.2-90b-vision-instruct)
  • Meta Llama 3.2 11B Vision(meta.llama-3.2-11b-vision-instruct)
主な機能
  • マルチモーダル・サポート(新機能):イメージを理解するためのVisionサポート
  • モデル・サイズ: 900億および110億のパラメータ
  • コンテキストの長さ: 128,000トークン
  • 多言語サポート:英語、フランス語、ドイツ語、ヒンディー語、イタリア語、ポルトガル語、スペイン語およびタイ語
マルチモーダル・サポートによる新しいビジョン機能について

イメージを送信し、イメージに関する質問をして、次のようなテキスト出力を取得します。

  • 拡張イメージ・キャプション
  • イメージの詳細な説明。
  • イメージに関する質問への回答。
  • イメージ内のチャートおよびグラフに関する情報。
追加詳細
  • Llama 3.2 90B Visionには、以前のLlama 3.1 70Bモデルのテキストベースの機能が含まれています。
  • Llama 3.2 11B Visionは、よりコンパクトな形式で堅牢なマルチモーダル機能を提供します。
  • どちらのモデルも専用ホスティングに使用でき、Llama 3.2 90Bもオンデマンド推論用に提供されています。
  • プレイグラウンドで、次のイメージとテキストを追加するには、チャットをクリアして前の会話のコンテキストを失う原因となるチャットをクリアする必要があります。
Meta Llama 3.1ファミリ
Meta Llama 3.1ファミリ

meta.llama-3.1-405b-instructおよびmeta.llama-3.1-70b-instructは、次の主要な機能を持つLLMのMeta Llama 3.1ファミリに属します。

  • モデル・サイズ: 405および700億のパラメータ
  • コンテキストの長さ: Meta Llama 3モデルから16倍増加する128,000トークン
  • 多言語サポート:英語、フランス語、ドイツ語、ヒンディー語、イタリア語、ポルトガル語、スペイン語およびタイ語
meta.llama-3.1-405b-instruct

この4050億パラメータ・モデルは、スピードとスケーラビリティを提供する高性能なオプションです。meta.llama-3.1-70b-instructモデルと比較して、大量のリクエストを処理し、より複雑なユースケースをサポートできます。このモデルの主要な機能は次のとおりです。

  • そのリリース時に、公開されている最大の大規模言語モデルとして認識されます。
  • 企業レベルのアプリケーションおよび研究開発イニシアチブに適しています。
  • 一般的な知識、合成データ生成、高度な推論、コンテキストの理解、長い形式のテキスト、多言語翻訳、コーディング、数学、ツールの使用などの分野で優れた機能を示します。
meta.llama-3.1-70b-instruct

この700億パラメーターの生成モデルは、コンテンツ作成、会話型AI、エンタープライズ・アプリケーションに最適です。その主な強みは次のとおりです。

  • 精度の高いテキストの要約、リワード、分類
  • センチメント分析と言語モデリング機能
  • 効果的な対話システム
  • コード生成
ヒント

チャット・モデル・パラメータ

チャット・モデルを使用する場合は、次のパラメータを変更して出力を変更できます。

最大出力トークン

各レスポンスに対してモデルで生成するトークンの最大数。トークンごとに4文字を推定します。チャット・モデルにプロンプトを表示するため、レスポンスはプロンプトによって異なり、各レスポンスで最大割当てトークンが使用されるとはかぎりません。各モデルの最大出力トークンについては、生成AIの事前トレーニング済基礎モデルの主な機能を参照してください。

ノート

cohere.command-r-16kモデルの場合、入力トークンの制限は16,000で、出力トークンの制限は4,000です。meta.llama-3-70b-instructモデルの場合、入力および出力トークンの制限は8,000です。「最大出力トークン」パラメータの値を設定しない場合、会話ではモデルの完全なコンテキスト長(入力と出力のトークン制限)が使用される可能性があります。残りのMeta Llamaモデルの場合、入力と出力のコンテキストの長さは128,000トークンです。
プリアンブル・オーバーライド

チャット・モデルの初期コンテキストまたはガイド・メッセージ。チャット・モデルにプリアンブルを指定しない場合、そのモデルのデフォルトのプリアンブルが使用されます。モデルのPreamble overrideパラメータでプリアンブルを割り当てることができます。Cohere Command Rファミリのデフォルトのプリアンブルは次のとおりです。

You are Command.
You are an extremely capable large language model built by Cohere. 
You are given instructions programmatically via an API
that you follow to the best of your ability.

デフォルトのプリアンブルのオーバーライドはオプションです。指定すると、preamble overrideによってデフォルトのCohereプリアンブルが置き換えられます。プリアンブルを追加する場合、最適な結果を得るには、モデル・コンテキスト、指示および会話スタイルを指定します。

ヒント

preamble overrideパラメータのないチャット・モデルの場合、チャット会話にプリアンブルを含め、特定の方法で応答するようモデルに直接要求できます。たとえば、「海賊のトーンで次の質問に答えます。「セーリングに行くのに最適な場所はどこですか?」

例1

  • 例: あなたは旅行アドバイザーです。海賊の口調で答える。
  • プロンプトの例: イタリアで最高のキャノリスはどこにありますか?
  • 前のプリアンブルを使用したレスポンスの例: Argh、 me heartie!あなたがたは、この地でいちばんすばらしい大砲を幾つか欲しがるであろうか。あなたはシチリアの豊かな土地のために帆を置くべきです、そこでは、通りはおいしいペストリーと甘いリコッタの匂いが空気を満たしています。パレルモの港町では、「最高級のカノリのキッチン」を見つけることができます。地元の人々は、最高の大砲がPastificio Graffeoで見つかると主張しています。そこでは、殻が鮮明でクリーミーなリコッタでいっぱいです。

例2

  • プリアンブルの例: 消費者の行動と市場動向を深く理解している熟練したマーケティング・プロフェッショナルです。わかりやすく有益なトーンで回答し、業界のインサイトとベスト・プラクティスを共有します。
  • プロンプトの例: イタリアで最高のキャノリスはどこにありますか?
  • 前のプリアンブルへの反応の例: カノリスは美味しいイタリアンデザートであり、最高のものを見つけることは本当にあなたの個人的な好みとあなたのための完璧な大麻を作るものに依存します!実際、シチリアは有名なカノリのホットスポットを自慢しています。パレルモのカフェシエラは、市内に複数の支店を持つPasticceria Cappelloと同様に、例外的な大砲の評判を持っています。これらのスポットは、伝統的なレシピと高品質の成分で知られており、新鮮なリコッタチーズと薄く鮮やかなペストリーシェルを使用しています。
温度

出力テキストの生成に使用されるランダム性のレベル。

ヒント

0以下に設定された温度で開始し、よりクリエイティブな出力のプロンプトを再生成するときに温度を上げます。高温は幻覚と事実上間違った情報をもたらす可能性があります。
上位P

次のトークンで考慮する上位トークンの累積確率を制御するサンプリング方法。確率に0から1までの小数をpに割り当てます。たとえば、考慮する上位75パーセントに0.75と入力します。すべてのトークンを考慮するには、pを1に設定します。

上位K

モデルがtop kの最も可能性の高いトークンから次のトークンをランダムに選択するサンプリング・メソッド。kの値を大きくすると、より多くのランダム出力が生成され、出力テキストがより自然になります。kのデフォルト値は、Cohere Commandモデルの場合は0、Meta Llamaモデルの場合は-1です。これは、モデルがすべてのトークンを考慮し、このメソッドを使用しないことを意味します。

頻度ペナルティ

トークンが頻繁に表示される場合にトークンに割り当てられるペナルティ。高いペナルティにより、繰り返されるトークンが少なくなり、よりランダムな出力が生成されます。

Meta Llamaファミリ モデルでは、このペナルティは正または負にすることができます。正の数は、モデルが新しいトークンを使用することを促し、負の数は、モデルがトークンを繰り返すことを促します。無効にするには0に設定します。

存在ペナルティ

出力に表示された各トークンに割り当てられ、使用されていないトークンを使用した出力の生成を促すペナルティ。

ノート

Cohereチャット・モデルには、APIを介してのみ使用できる次の3つの属性があります。
  • documents
  • tools
  • toolResults

これらの属性の定義および詳細は、CohereChatRequestのドキュメントを参照してください。