Oracle Cloud Infrastructure-Dokumentation

Für dedizierte KI-Cluster bezahlen

Sie erhalten die folgenden Vorteile für die Verwendung von dedizierten KI-Clustern in OCI Generative AI:

  • Vorhersehbare Preise, die nicht mit der Nachfrage schwanken.
  • Ideal für Feinabstimmung oder Hosting-Modelle.
  • Minimale Hosting-Verpflichtung: 744 Einheitsstunden pro Hosting-Cluster.
  • Minimale Feinabstimmungsverpflichtung: 1 Stunde pro Fine-Tuning-Job. (Je nach Modell sind für die Feinabstimmung mindestens 2 Einheiten erforderlich).

Die folgenden Beispiele berechnen die Kosten für dedizierte KI-Cluster in OCI Generative AI. Informationen zur Berechnung der On-Demand-Inferenzierungskosten finden Sie unter Für On-Demand-Inferenzierung bezahlen.

Modelle mit Preisen für dedizierte Clustereinheiten abgleichen

Wenn Sie grundlegende Modelle hosting oder fine-tuning auf dedizierten KI-Clustern verwenden, werden Ihnen die Einheitenstunde und nicht die Transaktion in Rechnung gestellt.

Gehen Sie zur Seite vorgeschulte Modelle, und wählen Sie das Modell aus, mit dem Sie arbeiten möchten. Suchen Sie im Abschnitt Dediziertes KI-Cluster für das Modell die Einheitengröße für das dedizierte KI-Cluster, das mit dem Modell und den Informationen zur Preisseite übereinstimmt. Lesen Sie anschließend die Beispiele in diesem Abschnitt, um zu erfahren, wie Sie die Kosten für die Verwendung dieser Modelle berechnen.

Wichtig

Einige vortrainierte Basismodelle von OCI Generative AI, die für den dedizierten Bereitstellungsmodus unterstützt werden, sind jetzt veraltet und werden spätestens 6 Monate nach dem Release des 1. Ersatzmodells in den Ruhestand versetzt. Sie können ein Basismodell hosten oder ein Basismodell optimieren und das fein abgestimmte Modell in einem dedizierten KI-Cluster (dedizierter Bereitstellungsmodus) hosten, bis das Basismodell deaktiviert wird. Informationen zu den Ruhestandsdaten im dedizierten Bereitstellungsmodus finden Sie unter Modelle in den Ruhestand versetzen.

Hosting eines Basismodells - Beispiel 1

John möchte eine Instanz des Modells Command R+ 08-2024 (cohere.command-r-plus-08-2024) auf einer dedizierten Infrastruktur hosten. John löscht das Cluster nach 40 Tagen und möchte die Kosten des Clusters kennen. Um ein cohere.command-r-plus-08-2024-Modell zu hosten, muss John zuerst die Einheitengröße identifizieren, die das cohere.command-r-plus-08-2024-Modell hosten kann. Die Einheitengröße für das Modell cohere.command-r-plus-08-2024 ist eine Large Cohere V2_2-Einheit. Siehe Dediziertes KI-Cluster für das Modell.

John benötigt mindestens eine Large Cohere V2_2-Einheit, um das cohere.command-r-plus-08-2024-Modell zu hosten. Im Folgenden werden die Schritte zum Berechnen der Kosten eines Hostingclusters mit einer Large Cohere V2_2-Einheit beschrieben.

  1. Berechnen Sie die Stunden pro Einheit für 40 Tage. 
    40 days x 24 hours per day x 1 unit = 960 unit hours.
  2. Stellen Sie sicher, dass die Stunden pro Einheit die Mindestverpflichtung für das Hosting der Modelle überschreiten. 
    960 unit hours > 744 minimum unit hours
  3. Gehen Sie zu KI-Preise und finden Sie unter OCI Generative AI unter Oracle Cloud Infrastructure Generative AI - Large Cohere - Dedicated die Adresse <Large-Cohere-dedicated-unit-per-hour-price>.
  4. Suchen Sie im Abschnitt "Dediziertes KI-Cluster für das Modell" im Abschnitt Dediziertes KI-Cluster für das Modell den Multiplikator für das Modell cohere.command-r-plus-08-2024: 
    For Hosting, Multiply the Unit Price: x 2
  5. Berechnen Sie den Preis für 40 Tage. 
    price = (960 unit hours) x $<Large-Cohere-dedicated-unit-per-hour-price> x 2

Hosting eines Basismodells - Beispiel 2

Alice möchte eine Instanz des Modells Command R 08-2024 (cohere.command-r-08-2024) auf einer dedizierten Infrastruktur hosten. Um ein cohere.command-r-08-2024-Modell zu hosten, muss Alice zuerst die Einheitengröße identifizieren, die das Command R 08-2024-Modell hosten kann. Die Einheitengröße für Command R 08-2024 ist eine Small Cohere V2-Einheit. Siehe Dediziertes KI-Cluster für das Modell.

Alice beschließt, drei Einheiten von Small Cohere V2 zu kaufen, um ein höheres Anrufvolumen an das Modell zu verarbeiten, als eine einzelne Einheit bereitstellen würde. Alice plant, das Cluster nach fünf Tagen zu löschen. Im Folgenden werden die Schritte zum Berechnen der Kosten eines Hostingclusters mit drei Small Cohere V2-Einheiten für fünf Tage beschrieben.

  1. Berechnen Sie die Stunden pro Einheit. 
    5 days x 24 hours per day x 3 units = 360 unit hours.
  2. Vergleichen Sie die Stunden der Einheit mit der minimalen Verpflichtung für das Hosting der Modelle. 
    360 unit hours < 744 minimum unit hours
Alice is charged for 744 unit hours.
  3. Gehen Sie zu KI-Preise und finden Sie unter OCI Generative AI unter Oracle Cloud Infrastructure Generative AI - Small Cohere - Dedicated die Adresse <Small-Cohere-dedicated-unit-per-hour-price>.
  4. Suchen Sie im Abschnitt Dediziertes KI-Cluster für das Modell den Multiplikator für das Modell cohere.command-r-08-2024.

    Sie müssen den Preis für das Hosting des cohere.command-r-08-2024-Modells nicht multiplizieren.

  5. Berechnen Sie die Kosten für fünf Tage. 
    price = (744 unit hours) x $<Small-Cohere-dedicated-unit-per-hour-price>

Feinabstimmung und Hosting eines Modellbeispiels

Bob möchte ein Command R 08-2024-(cohere.command-r-08-2024-)Modell optimieren. Bob erstellt ein Defined-Tuning-dediziertes KI-Cluster mit dem voreingestellten Wert von acht Small Cohere V2-Einheiten. Bob erstellt ein benutzerdefiniertes Modell im definierten dedizierten KI-Cluster und optimiert das Command R 08-2024-Grundmodell mit Trainingsdaten. Die Feinabstimmung dauert 5 Stunden. Bob schafft jede Woche ein fein abgestimmtes Cluster.

Um ein cohere.command-r-08-2024-Modell zu hosten, muss Bob die Einheitengröße identifizieren, die das cohere.command-r-08-2024-Modell hosten kann. Die Einheitengröße für das Modell cohere.command-r-08-2024 ist eine Small Cohere V2-Einheit. Siehe Dediziertes KI-Cluster für das Modell. Bob kann bis zu 50 fein abgestimmte Modelle auf einem einzigen Hosting-Cluster hosten. Hier sind die Schritte, um die monatlichen Kosten für die Optimierung und das Hosting der Modelle zu berechnen.

  1. Berechnen Sie die Stunden pro Einheit für jede Feinabstimmung. 
    Each fine-tuning cluster requires 8 units and each cluster is active for 5 hours
fine-tuning per cluster = 40 unit-hours
  2. Vergleichen Sie die Stunden pro Einheit mit der minimalen Verpflichtung zur Feinabstimmung der Modelle. 
    40 unit hours > 1 unit hour
  3. Berechnen Sie die Stunden pro Einheit für das Hosting. 
    31 days x 24 hours per day x 1 unit = 744 unit hours
  4. Vergleichen Sie die Stunden der Einheit mit der minimalen Verpflichtung für das Hosting der Modelle. 
    744 unit hours = 744 minimum unit hours
  5. Gehen Sie zu KI-Preise und finden Sie unter OCI Generative AI unter Oracle Cloud Infrastructure Generative AI - Small Cohere - Dedicated die Adresse <Small-Cohere-dedicated-unit-per-hour-price>.
  6. Finden Sie den monatlichen Gesamtpreis. 
    fine-tuning price = (40 unit hours) per week x (4 weeks) x $<Small-Cohere-dedicated-unit-per-hour-price> 
                            
fine-tuning price = 160 x <Small-Cohere-dedicated-unit-per-hour-price>
    hosting price = (744 unit hours) x $<Small-Cohere-dedicated-unit-per-hour-price>
    total monthly price = (160 + 744 unit hours) x $<Small-Cohere-dedicated-unit-per-hour-price>
Tipp

Neben der Preisberechnung können Sie die Kosten schätzen, indem Sie die Kategorie KI und maschinelles Lernen auswählen und den Kostenrechner für OCI Generative AI laden.