Oracle Cloud Infrastructure-Dokumentation

Modell zu einem privaten Endpunkt hinzufügen

Erfahren Sie, wie Sie einen Endpunkt mit einem benutzerdefinierten oder vortrainierten Modell an einen privaten Endpunkt in OCI Generative AI anhängen.

Sie können einem privaten Endpunkt einen oder mehrere Endpunkte zuordnen.

  • Endpunkt erstellen

    1. Wählen Sie auf der Listenseite Private Endpunkte den privaten Endpunkt aus, mit dem Sie arbeiten möchten. Wenn Sie Hilfe beim Suchen der Listenseite für private Endpunkte benötigen, finden Sie weitere Informationen unter Private Endpunkte auflisten.
    2. Wählen Sie Endpunkte und dann Endpunkt erstellen aus.

    Endpunktinformationen

    1. Wählen Sie ein Compartment, in dem der Endpunkt erstellt werden soll. Das Standard-Compartment ist mit der Listenseite identisch. Sie können jedoch jedes Compartment auswählen, für das Sie die Berechtigung zur Arbeit haben.
      Tipp

      Es wird empfohlen, den Endpunkt in demselben Compartment wie das Modell zu erstellen.
    2. (Optional) Geben Sie einen Namen für den Endpunkt ein. Beginnen Sie den Namen mit einem Buchstaben oder Unterstrich, gefolgt von Buchstaben, Zahlen, Bindestrichen und Unterstrichen. Die Länge kann 1 bis 255 Zeichen betragen. Wenn Sie keinen Namen eingegeben haben, generiert das System einen Namen, der Sie später ändern können.
      Der generierte Name hat das Format generativeaiendpoint<timestamp>. Beispiel: generativeaiendpoint20250531235319
    3. (Optional) Geben Sie eine Beschreibung für das Modell an.

    Hostingkonfiguration

    1. Wählen Sie das Compartment aus, das das Modell hostet, dem Sie einen Endpunkt hinzufügen möchten.
    2. Wählen Sie das Modell aus, dem Sie einen Endpunkt hinzufügen möchten. Bei diesem Modell kann es sich um ein benutzerdefiniertes Modell oder ein einsatzbereites, vortrainiertes Basismodell handeln, das in der Region verfügbar ist, in der Sie arbeiten.
    3. Wenn das ausgewählte Modell mehrere Versionen aufweist, wählen Sie eine Modellversion aus.
      Für die einsatzbereiten, vortrainierten Basismodelle wird dieses Feld bei der Auswahl des Modells ausgefüllt.
    4. Wählen Sie ein dediziertes Hosting-KI-Cluster aus, indem Sie eine der folgenden Aktionen ausführen:
      • Wählen Sie ein dediziertes KI-Cluster aus der Liste aus. Wenn Sie vor einigen Minuten ein Cluster erstellt haben, warten Sie, bis dieses Cluster aktiv wird. Stellen Sie sicher, dass das Basismodell, das mit diesem Cluster verknüpft ist, das Basismodell mit dem Modell übereinstimmt, dem Sie einen Endpunkt hinzufügen möchten.
      • Wählen Sie Neues dediziertes KI-Cluster erstellen aus, und führen Sie die folgenden Schritte durch:
        1. (Optional) Geben Sie einen Namen und eine Beschreibung ein.
        2. Wählen Sie ein Basismodell aus, das dem Basismodell des Modells entspricht, das Sie hosten möchten.
        3. Fügen Sie dem Endpunkt 1 Modellreplikat hinzu. Wenn Sie ein Cluster erstellen, benötigen Sie mindestens eine Einheit für einen Endpunkt. Für ein vorhandenes Cluster können Sie dieselbe Einheit zum Hosten neuer Endpunkte verwenden. Jede Instanz hostet alle aktiven Endpunkte. Wenn Sie die Instanzanzahl auf einem Cluster erhöhen, wird die Anzahl der unterstützten RPMs für alle aktiven Endpunkte erhöht, die in einem Cluster gehostet werden.
        4. Lesen Sie die Stunden der Verpflichtungseinheit für das dedizierte Hosting-KI-Cluster, und aktivieren Sie das Kontrollkästchen, um der Verpflichtung zuzustimmen.
        5. (Optional) Wählen Sie Tag hinzufügen aus, und weisen Sie diesem dedizierten KI-Cluster Tags zu. Siehe Ressourcentags.
        6. Wählen Sie Erstellen aus, und warten Sie, bis das Cluster aktiv wird.
        7. Markieren Sie in der Liste Dediziertes KI-Cluster das von Ihnen erstellte dedizierte KI-Cluster.

    Netzwerkressourcen

    Der private Endpunkt ist im Voraus ausgewählt.

    Limits

    1. Wählen Sie, ob die folgenden Leitschienen aktiviert werden sollen.
      • Inhaltsmoderation
        • Aus: Wenden Sie keine Inhaltsmoderation an, und geben Sie expliziten Inhalt aus.
        • Blockieren: Helfen Sie dabei, die Inhaltsmoderation zu identifizieren und anzuwenden.
        • Informieren: Wenden Sie keine Inhaltsmoderation an, sondern informieren Sie den Benutzer, wenn das Modell Inhalte erkennt, die moderiert werden müssen.
      • Schutz vor Prompt-Injection (PI)
        • Aus: Wenden Sie keinen PI-Schutz an, und lassen Sie uneingeschränkte Eingaben zu.
        • Blockieren: Helfen Sie bei der Identifizierung und beim Schutz vor Prompt-Injection.
        • Informieren: Wenden Sie keinen PI-Schutz an, sondern informieren Sie den Benutzer, wenn das Modell Inhalte erkennt, die PI-Schutz benötigen.
      • Schutz personenbezogener Daten
        • Aus: Wenden Sie keinen PII-Schutz an, sondern geben Sie Inhalte ohne Einschränkungen bei der Datenexposition aus.
        • Blockieren: Helfen Sie bei der Identifizierung und dem Schutz personenbezogener Daten, wie z.B. beim Entfernen personenbezogener Daten aus Antworten.
        • Informieren: Wenden Sie keinen PII-Schutz an, sondern informieren Sie den Benutzer, wenn das Modell Inhalte erkennt, die PII-Schutz benötigen.
    2. (Optional) Wählen Sie Tag hinzufügen aus, und weisen Sie diesem Endpunkt Tags zu. Siehe Ressourcentags.
    3. Wählen Sie Erstellen aus.
      Sie werden zur Seite mit den Endpunktdetails weitergeleitet, auf der Sie den Status des Endpunkts verfolgen können.

  • Verwenden Sie den Befehl endpoint create und die erforderlichen Parameter, um einen Endpunkt zu erstellen:

    oci generative-ai endpoint create 
--model-id <model-OCID>
--compartment-id <compartment-OCID> 
--dedicated-ai-cluster-id <hosting-dedicated-AI-cluster-OCID> 
[OPTIONS]

    Eine vollständige Liste der Parameter und Werte für CLI-Befehle finden Sie in der CLI-Befehlsreferenz.

    Hinweis

    Bei vortrainierten Modellen können Sie anstelle einer OCID den Modellnamen genau wie auf dem Playground der Konsole verwenden. Sie finden diesen OCI-Modellnamen auch auf der Detailseite des Modells unter Vorgeschulte Grundlagenmodelle in generativer KI.

  • Führen Sie den Vorgang CreateEndpoint aus, um einen Endpunkt zu erstellen.

    Hinweis

    Bei vortrainierten Modellen können Sie anstelle einer OCID den Modellnamen genau wie auf dem Playground der Konsole verwenden. Sie finden diesen OCI-Modellnamen auch auf der Detailseite des Modells unter Vorgeschulte Grundlagenmodelle in generativer KI.