Oracle Cloud Infrastructure-Dokumentation

Zahlung für On-Demand-Inferenzierung

Sie erhalten die folgenden Vorteile durch das Festschreiben von On-Demand-Inferenzen in OCI Generative AI:

  • Niedrige Barriere für die Nutzung generativer KI.
  • Zugriff auf alle verfügbaren Grundmodelle für generative KI.
  • Ideal zum Experimentieren und Auswerten der Modelle.
  • Pay as you go für Transaktionen. Weitere Informationen finden Sie im folgenden Hinweis.
Hinweis

Wenn On-Demand inferenziert wird, zahlen Sie für die folgenden Zeichenlängen:

  • Chat: Prompt-Länge (in Zeichen) + Antwortlänge (in Zeichen)
  • Texteinbettungen: Eingabelänge (in Zeichen)

Auf der Seite Preise wird 1 character als 1 transaction berechnet.

Wenn Sie grundlegende Modelle hosten oder auf dedizierten KI-Clustern optimieren, werden Ihnen die Stunde und nicht die Transaktion in Rechnung gestellt. In diesem Fall wird unter Für dedizierte KI-Cluster bezahlen beschrieben, wie die dedizierten KI-Clusterkosten berechnet werden.

Modelle mit On-Demand-Preisen abgleichen

Auf der Preisseite wird der Preis für 10.000 On-Demand-Transaktionen aufgeführt, wenn der Playground, die API oder die CLI für Inferenzen verwendet werden.

Gehen Sie zur Seite vorgeschulte Modelle, und wählen Sie das Modell aus, mit dem Sie arbeiten möchten. Suchen Sie im Abschnitt On-Demand-Modus die Informationen zur Preisseite für das Modell. Lesen Sie anschließend die Beispiele in diesem Abschnitt, um zu erfahren, wie Sie die Kosten basierend auf der Anzahl der Eingabe- und Ausgabezeichen berechnen.

Chatbeispiel

Paul ruft das Modell meta.llama-3.3-70b-instruct mit der folgenden Eingabeaufforderung auf, die 220 characters lang ist:

Generieren Sie eine Produktneigung für ein an USB angeschlossenes kompaktes Mikrofon, das Surround-Sound aufnehmen kann. Das Mikrofon ist am nützlichsten bei der Aufnahme von Musik oder Gesprächen. Das Mikrofon kann auch für die Aufzeichnung von Podcasts nützlich sein.

Die Antwort vom Modell ist 2,205 characters lang. Paul will die Kosten für diesen Aufruf wissen. Hier sind die Schritte zur Berechnung der Kosten.

  1. Berechnen Sie die Prompt- und Antwortlänge (in Zeichen).

    Fügen wir die Prompt-Länge (220 Zeichen) und die Modellantwortlänge (2.205 Zeichen) hinzu.

    prompt + response length = 220 + 2,205 = 2,425 characters
  2. Berechnen Sie die Anzahl der Transaktionen.

    Die Preise werden für 10.000 Transaktionen aufgeführt.

    10,000 transactions = 10,000 characters, so 1 transaction = 1 character
2,425 characters = 2,425 transactions
  3. Gehen Sie zu KI-Preise, und finden Sie unter OCI Generative AI unter Oracle Cloud Infrastructure Generative AI - Large Meta die <Large-Meta-unit-price>.
    Paul verwendet das meta.llama-3.3-70b-instruct-Modell, das dem Produkt entspricht, Generative AI OCI - Large Meta auf der Seite AI Pricing für generative KI.
  4. Berechnen Sie den Preis für 1.838 Zeichen. 
    price = (2,425 transactions )/ (10,000 transactions) x $<Large-Meta-unit-price>
Tipp

Neben der Preisberechnung können Sie die Kosten schätzen, indem Sie die Kategorie KI und maschinelles Lernen auswählen und den Kostenrechner für OCI Generative AI laden.

Beispiel für Texteinbettungen

Gina wandelt Kundenverträge in Einbettungen für eine neue semantische Suchanwendung um. Im Durchschnitt nimmt Gina 16 Dokumente pro Stunde auf. Jedes Dokument ist etwa 1,000 characters lang. Gina möchte eine Schätzung der monatlichen Rechnung für die Generierung dieser Einbettungen erhalten. So berechnen Sie die Kosten:

  1. Berechnen Sie die Eingabelänge (in Zeichen).

    Fassen wir die Länge des Eingabezeichens für jede Stunde zusammen.

    input character length for 16 documents = 16 x 1,000 = 16,000 characters per hour
  2. Gehen Sie zu KI-Preise und finden Sie unter OCI Generative AI unter Oracle Cloud Infrastructure Generative AI - Embed Cohere die <Embed-Cohere-unit-price>.
    Gina verwendet das Modell cohere.embed-v4.0, das dem Produkt entspricht, Oracle Cloud Infrastructure Generative AI - Embed Cohere auf der Seite AI Pricing für generative KI.
  3. Berechnen Sie die Anzahl der Transaktionen pro Stunde.

    Gina nimmt 16.000 Zeichen pro Stunde auf. Die Preise werden für 10.000 Transaktionen aufgeführt.

    10,000 transactions = 10,000 characters, so 1 transaction = 1 character
16,000 characters = 16,000 transactions
  4. Finden Sie den Stundenpreis für die 16.000 Zeichen, die Gina stündlich aufnimmt. 
    hourly price = 
(16,000 transactions ) / (10,000 transactions) x $<Embed-Cohere-unit-price>
  5. Finden Sie den monatlichen Preis für den längsten Monat des Jahres. 
    One month = 31 x 24 hours = 744 hours
monthly price = 744 hours x hourly price