Oracle Cloud Infrastructure-Dokumentation

Dediziertes KI-Cluster für Hostingmodelle erstellen

Erstellen Sie eine dedizierte KI-Clusterressource in OCI Generative AI, um Endpunkte für vortrainierte Basismodelle und benutzerdefinierte Modelle zu hosten.

Wichtig

  • Auf Anforderung nicht verfügbar: Alle vortrainierten OCI Generative AI-Grundmodelle, die für den On-Demand-Serving-Modus unterstützt werden und die Textgenerierungs- und Zusammenfassungs-APIs (einschließlich Playground) verwenden, werden jetzt eingestellt. Wir empfehlen, stattdessen die chat-modelle zu verwenden.
  • Kann auf Clustern gehostet werden: Wenn Sie eine Zusammenfassung oder ein Generierungsmodell wie cohere.command in einem dedizierten KI-Cluster (dedizierter Bereitstellungsmodus) hosten, können Sie dieses Modell weiter verwenden, bis es abgelaufen ist. Diese Modelle, wenn sie in einem dedizierten KI-Cluster gehostet werden, sind nur in US Midwest (Chicago) verfügbar. Informationen zu Ablaufdaten und Definitionen finden Sie unter Modelle in den Ruhestand versetzen.
    1. Wählen Sie auf der Listenseite Dedizierte KI-Cluster die Option Dediziertes KI-Cluster erstellen aus. Wenn Sie Hilfe beim Suchen der Listenseite benötigen, finden Sie weitere Informationen unter Dedizierte KI-Cluster auflisten.
    2. Wählen Sie ein Compartment aus, in dem das dedizierte KI-Cluster erstellt werden soll. Das Standard-Compartment ist mit der Listenseite identisch. Sie können jedoch jedes Compartment auswählen, für das Sie die Berechtigung zur Arbeit haben.
    3. (Optional) Geben Sie einen Namen und eine Beschreibung für das Cluster ein. Wenn Sie keinen Namen eingeben, generiert das System einen Namen, den Sie später ändern können.

      Der generierte Name hat das Format generativeaidedicatedaicluster<timestamp>. Beispiel: generativeaidedicatedaicluster20250922181431

    4. Wählen Sie unter Clustertyp die Option Hosting aus.
    5. Wählen Sie unter Basismodell das grundlegende Basismodell für die Modelle aus, die auf diesem Cluster gehostet werden sollen. Die Modellliste enthält nur die Basismodelle, die für den On-Demand-Modus noch nicht eingestellt sind.
      Wählen Sie für die dedizierte Clustereinheitsgröße und die Regeln zu den Endpunkten für die im Cluster gehosteten Modelle das Basismodell aus, das auf der Seite Vorgeschulte Basismodelle in generativer KI aufgeführt ist.
    6. (Optional) Erhöhen Sie die Anzahl der Instanzen im Feld Modellreplikat.
      Wichtig

      Wenn Sie ein Cluster für das Hosting von Modellen für Inferenz erstellen, wird standardmäßig eine Einheit für das ausgewählte Basismodell erstellt. Um den Durchsatz zu erhöhen, können Sie die Anzahl der Instanzen im Feld Modellreplikat jetzt oder später erhöhen, wenn Sie das Cluster bearbeiten. Wenn Sie beispielsweise zwei Modellreplikate in diesem Cluster erstellen, sind zwei Einheiten erforderlich.
    7. Lesen Sie die Stunden der Verpflichtungseinheit für das Hosting-Cluster, und aktivieren Sie das Kontrollkästchen, um der Verpflichtung zuzustimmen.
    8. (Optional) Wählen Sie Tag hinzufügen aus, und weisen Sie diesem Cluster Tags zu.
    9. Wählen Sie Erstellen aus.
    Hinweis

    Die Erstellung von Clustern dauert einige Minuten. Wenn sich das Cluster in einem aktiven Status befindet, können Sie dieses Cluster auswählen, um ein Modell zu hosten, wenn Sie einen Endpunkt für dieses Modell erstellen.

  • Verwenden Sie den Befehl dedicated-AI-cluster create und die erforderlichen Parameter, um ein dediziertes KI-Cluster zu erstellen:

    oci generative-ai dedicated-ai-cluster create 
--compartment-id <compartment-OCID>
--type HOSTING
--unit-count [integer]
--unit-shape [text]
[OPTIONS]

    Eine vollständige Liste der Parameter und Werte für CLI-Befehle finden Sie in der CLI-Befehlsreferenz.

  • Führen Sie den Vorgang CreateDedicatedAiCluster aus, um ein dediziertes Cluster zu erstellen.