Oracle Cloud Infrastructure-Dokumentation

Meta Llama 3.3 (70B)

Das meta.llama-3.3-70b-instruct-Modell ist für On-Demand-Inferenzierung, dediziertes Hosting und Feinabstimmung verfügbar und bietet eine bessere Performance als Llama 3.1 70B und Llama 3.2 90B für Textaufgaben.

In diesen kommerziellen Regionen verfügbar

  • Brazil East (Sao Paulo)
  • Germany Central (Frankfurt)
  • India South (Hyderabad) (nur dediziertes KI-Cluster)
  • Japan Central (Osaka)
  • Saudi Arabia Central (Riyadh) (nur dediziertes KI-Cluster)
  • UAE East (Dubai) (nur als meta.llama-3.3-70b-instruct-fp8-dynamic für dediziertes KI-Cluster verfügbar und keine Feinabstimmung)
  • UK South (London)
  • US Midwest (Chicago)

In dieser Sovereign Region verfügbar

Dieses Modell ist in EU Sovereign Central (Frankfurt) (nur dediziertes KI-Cluster) über die folgenden API-Endpunkte verfügbar:

  • Inferenz-API:

    https://inference.generativeai.eu-frankfurt-2.oci.oraclecloud.eu

  • Management-API:

    https://generativeai.eu-frankfurt-2.oci.oraclecloud.eu

Verwenden Sie in der API für den Modellnamen und die Modell-OCID meta.llama-3.3-70b-instruct-fp8-dynamic.

Für dieses Modell ist in dieser Region keine Feinabstimmung verfügbar.

Weitere Informationen zur Oracle EU Sovereign Cloud.

Verfügbar in dieser Regierungsregion

Dieses Modell ist in UK Gov South (London) (nur dediziertes KI-Cluster) über die folgenden API-Endpunkte verfügbar:

  • Inferenz-API:

    https://inference.generativeai.uk-gov-london-1.oci.oraclegovcloud.uk

  • Management-API:

    https://generativeai.uk-gov-london-1.oci.oraclegovcloud.uk

Verwenden Sie in der API für den Modellnamen und die Modell-OCID meta.llama-3.3-70b-instruct-fp8-dynamic.

Für dieses Modell ist in dieser Region keine Feinabstimmung verfügbar.

Weitere Informationen zu Oracle Cloud Infrastructure United Kingdom Government Cloud.

Wichtige Features

  • Das Modell hat 70 Milliarden Parameter.
  • Akzeptiert Nur-Text-Eingaben und erzeugt Nur-Text-Ausgaben.
  • Verwendet dasselbe Prompt-Format wie Llama 3.1 70B.
  • Unterstützt denselben Code-Interpreter wie Llama 3.1 70B und behält die Kontextlänge von 128.000 Token bei. (Maximale Prompt- und Antwortlänge: 128.000 Token für jede Ausführung.)
  • Im Vergleich zu seinem Vorgänger Llama 3.1 70B reagiert er mit verbesserter Argumentation, Codierung, Mathematik und Instruktionsfolgen. Siehe Modellkarte Llama 3.3.
  • Verfügbar für On-Demand-Inferenzierung, dediziertes Hosting und Feinabstimmung.
  • Für On-Demand-Inferenzierungen wird die Antwortlänge für jede Ausführung auf 4.000 Token begrenzt.
  • Für den dedizierten Modus wird die Antwortlänge nicht begrenzt, und die Kontextlänge beträgt 128.000 Token.
  • Sie können dieses Modell mit Ihrem Dataset optimieren.

Bedarfsgesteuerter Modus

Dieses Modell ist On-Demand in Regionen verfügbar, die nicht als (nur dediziertes KI-Cluster) aufgeführt sind. In der folgenden Tabelle finden Sie den On-Demand-Produktnamen dieses Modells auf der Seite "Preisfindung".

Modellname OCI-Modellname Preisfindungsseite - Produktname
Meta Llama 3.3 meta.llama-3.3-70b-instruct Large Meta
Sie können die vortrainierten Basismodelle in generativer KI über zwei Modi erreichen: On-Demand und dediziert. Im Folgenden werden die wichtigsten Features für den On-Demand-Modus aufgeführt:

  • Sie zahlen unterwegs für jeden Inferenzaufruf, wenn Sie die Modelle im Playground verwenden oder die Modelle über die API aufrufen.

  • Geringe Barriere für den Einsatz generativer KI.
  • Ideal für Experimente, Proof of Concept und Modellauswertung.
  • Verfügbar für die vortrainierten Modelle in Regionen, die nicht als (nur dediziertes KI-Cluster) aufgeführt sind.
Wichtig

Dynamische Throttling-Limitanpassung für On-Demand-Modus

OCI Generative AI passt das Throttling-Limit für Anforderungen für jeden aktiven Mandanten basierend auf dem Modellbedarf und der Systemkapazität dynamisch an, um die Ressourcenzuweisung zu optimieren und einen fairen Zugriff sicherzustellen.

Diese Anpassung hängt von folgenden Faktoren ab:

  • Der vom Zielmodell unterstützte aktuelle maximale Durchsatz.
  • Nicht verwendete Systemkapazität zum Zeitpunkt der Anpassung.
  • Die historische Durchsatznutzung jedes Mandanten und alle angegebenen Override-Limits, die für diesen Mandanten festgelegt sind.

Hinweis: Aufgrund der dynamischen Drosselung sind die Ratenlimits nicht dokumentiert und können sich ändern, um den systemweiten Bedarf zu decken.

Tipp

Aufgrund der dynamischen Anpassung der Drosselgrenze empfehlen wir die Implementierung einer Back-off-Strategie, bei der Anforderungen nach einer Ablehnung verzögert werden. Ohne eine können wiederholte schnelle Anfragen zu weiteren Ablehnungen im Laufe der Zeit, einer erhöhten Latenz und einer potenziellen vorübergehenden Blockierung des Clients durch den Generative AI-Service führen. Durch die Verwendung einer Back-off-Strategie, wie z. B. einer exponentiellen Back-off-Strategie, können Sie Anforderungen gleichmäßiger verteilen, die Last reduzieren und den Wiederholungserfolg verbessern. Befolgen Sie die Best Practices der Branche, und verbessern Sie die allgemeine Stabilität und Performance Ihrer Integration in den Service.

Dediziertes KI-Cluster für das Modell

In der vorherigen Regionsliste haben Regionen, die nicht mit (nur dediziertes KI-Cluster) gekennzeichnet sind, sowohl On-Demand- als auch dedizierte KI-Clusteroptionen. Für die Option On-Demand benötigen Sie keine Cluster, und Sie können das Modell im Playground der Konsole oder über die API erreichen. Weitere Informationen zum dedizierten Modus.

Um ein Modell über ein dediziertes KI-Cluster in einer beliebigen aufgelisteten Region zu erreichen, müssen Sie einen Endpunkt für dieses Modell in einem dedizierten KI-Cluster erstellen. Die Größe der Clustereinheit, die mit diesem Modell übereinstimmt, finden Sie in der folgenden Tabelle.

Basismodell Optimierungscluster Hostingcluster Preisfindungsseiteninformationen Erhöhung des Clusterlimits anfordern
  • Modellname: Meta Llama 3.3 (70B)
  • OCI-Modellname: meta.llama-3.3-70b-instruct
  • Einheit: Large Generic
  • Erforderliche Einheiten: 2
  • Einheit: Large Generic
  • Erforderliche Maßeinheiten: 1
  • Produktname der Preisseite: Large Meta - Dedicated
  • Für Hosting Multiply the Unit Price: x2
  • Zur Feinabstimmung den Stückpreis multiplizieren: x4
  • Limitname: dedicated-unit-llama2-70-count
  • Für Hosting erhöhen Sie das Limit um: 2
  • Bei der Feinabstimmung erhöhen Sie das Anforderungslimit um: 4
  • Modellname: Meta Llama 3.3 (70B) (nur UAE East (Dubai))
  • OCI-Modellname: meta.llama-3.3-70b-instruct-fp8-dynamic
Nicht für Feinabstimmung verfügbar
  • Einheit: LARGE_GENERIC_V1
  • Erforderliche Maßeinheiten: 1
  • Produktname der Preisseite: Large Meta - Dedicated
  • Für Hosting Multiply the Unit Price: x2
  • Limitname: dedicated-unit-llama2-70-count
  • Für Hosting erhöhen Sie das Limit um: 2
Tipp

  • Wenn in Ihrem Mandanten nicht genügend Clusterlimits für das Hosting des Modells Meta Llama 3.3 (70B) in einem dedizierten KI-Cluster vorhanden sind, fordern Sie die Erhöhung des Limits dedicated-unit-llama2-70-count um 2 an.

  • Für die Feinabstimmung fordern Sie das Limit von dedicated-unit-llama2-70-count an, um es um 4 zu erhöhen.

Endpunktregeln für Cluster

  • Ein dediziertes KI-Cluster kann bis zu 50 Endpunkte enthalten.
  • Verwenden Sie diese Endpunkte, um Aliasnamen zu erstellen, die alle entweder auf das gleiche Basismodell oder auf die gleiche Version eines benutzerdefinierten Modells verweisen, nicht jedoch auf beide Typen.
  • Mehrere Endpunkte für dasselbe Modell erleichtern die Zuweisung zu verschiedenen Benutzern oder Zwecken.
Hostingclustereinheitsgröße Endpunktregeln
Large Generic
  • Basismodell: Um das Modell ⁇ meta.llama-3.3-70b-instruct ⁇ auf mehreren Endpunkten auszuführen, erstellen Sie so viele Endpunkte, wie Sie für ein Large Generic-Cluster benötigen (Größe der Einheit).
  • Benutzerdefiniertes Modell: Gleiches gilt für ein benutzerdefiniertes Modell, das auf meta.llama-3.3-70b-instruct basiert: Erstellen Sie die erforderliche Anzahl von Endpunkten in einem Small Cohere V2-(Unit-size-)Cluster.
LARGE_GENERIC_V1 (nur UAE East (Dubai))
  • Basismodell: Um das Modell ⁇ meta.llama-3.3-70b-instruct-fp8-dynamic ⁇ auf mehreren Endpunkten in UAE East (Dubai) auszuführen, erstellen Sie so viele Endpunkte wie erforderlich in einem LARGE_GENERIC_V1-Cluster (Größe der Einheit).
  • Benutzerdefiniertes Modell: Sie können meta.llama-3.3-70b-instruct-fp8-dynamic in UAE East (Dubai) nicht optimieren, sodass Sie keine benutzerdefinierten Modelle erstellen und hosten können, die aus dieser Basis in UAE East (Dubai) erstellt wurden.
Tipp

Clusterperformancebenchmarks

Prüfen Sie die Performancebenchmarks für das Cluster Meta Llama 3.3 (70B) für verschiedene Anwendungsfälle.

Abruf- und Abgangsdatum

Modell Freigabedatum Abgangsdatum bei Bedarf Abgangsdatum im dedizierten Modus
meta.llama-3.3-70b-instruct 2.025-2-7 Mindestens einen Monat nach dem Release des 1. Ersatzmodells. Mindestens 6 Monate nach dem Release des 1. Ersatzmodells.
Wichtig

Eine Liste aller Modellzeitpositionen und Abgangsdetails finden Sie unter Ablauf der Modelle.

Modellparameter

Um die Modellantworten zu ändern, können Sie die Werte der folgenden Parameter im Playground oder in der API ändern.

Maximale Ausgabetoken

Die maximale Anzahl an Token, die das Modell für jede Antwort generieren soll. Schätzen Sie vier Zeichen pro Token. Da Sie ein Chatmodell anfordern, hängt die Antwort von der Eingabeaufforderung ab, und jede Antwort verwendet nicht unbedingt die maximal zugewiesenen Token.

Temperatur

Der Grad der Zufälligkeit, mit dem der Ausgabetext generiert wird.

Tipp

Stellen Sie die Temperatur auf 0 oder weniger als eins ein, und erhöhen Sie die Temperatur, wenn Sie die Prompts für eine kreativere Ausgabe neu generieren. Hohe Temperaturen können Halluzinationen und sachlich falsche Informationen verursachen.
Top p

Eine Samplingmethode, mit der die kumulative Wahrscheinlichkeit der Top-Token gesteuert wird, die für das nächste Token zu berücksichtigen sind. Weisen Sie p eine Dezimalzahl zwischen 0 und 1 für die Wahrscheinlichkeit zu. Beispiel: Geben Sie 0,75 für die Top 75 Prozent ein, die berücksichtigt werden sollen. Setzen Sie p auf 1, um alle Token zu berücksichtigen.

Top k

Eine Samplingmethode, bei der das Modell das nächste Token zufällig aus den top k-Token wählt. Ein hoher Wert für k generiert eine zufällige Ausgabe, wodurch der Ausgabetext natürlicher klingt. Der Standardwert für k ist 0 für Cohere Command-Modelle und -1 für Meta Llama-Modelle. Das bedeutet, dass das Modell alle Token berücksichtigen und diese Methode nicht verwenden sollte.

Frequency Penalty

Eine Strafe, die einem Token zugewiesen wird, wenn dieses Token häufig angezeigt wird. Hohe Strafen fördern weniger wiederholte Token und erzeugen eine zufälligere Ausgabe.

Für die Meta Llama-Familienmodelle kann diese Strafe positiv oder negativ sein. Positive Zahlen ermutigen das Modell, neue Token zu verwenden, und negative Zahlen ermutigen das Modell, die Token zu wiederholen. Auf 0 setzen, um zu deaktivieren.

Presence Penalty

Eine Strafe, die jedem Token zugewiesen wird, wenn es in der Ausgabe angezeigt wird, um die Generierung von Ausgaben mit noch nicht verwendeten Token zu fördern.

Vordefinieren

Ein Parameter, der den bestmöglichen Versuch unternimmt, Token deterministisch zu erfassen. Wenn diesem Parameter ein Wert zugewiesen wird, zielt das Large Language Model darauf ab, dasselbe Ergebnis für wiederholte Anforderungen zurückzugeben, wenn Sie denselben Seed und dieselben Parameter für die Anforderungen zuweisen.

Zulässige Werte sind Ganzzahlen, und die Zuweisung eines großen oder kleinen Seed-Wertes wirkt sich nicht auf das Ergebnis aus. Die Zuweisung einer Nummer für den Seed-Parameter ähnelt dem Tagging der Anforderung mit einer Nummer. Das große Sprachmodell zielt darauf ab, dieselbe Gruppe von Token für dieselbe Ganzzahl in aufeinanderfolgenden Anforderungen zu generieren. Diese Funktion ist besonders für Debugging und Tests nützlich. Der Seed-Parameter hat keinen Höchstwert für die API, und in der Konsole ist der Höchstwert 9999. Wenn Sie den Seed-Wert in der Konsole leer lassen oder in der API Null angeben, wird dieses Feature deaktiviert.

Warnung

Der Seed-Parameter erzeugt möglicherweise nicht dasselbe Ergebnis auf lange Sicht, da die Modellupdates im OCI Generative AI-Service den Seed möglicherweise ungültig machen.