Oracle Cloud Infrastructure-Dokumentation

Erstellen eines Endpunkts

Erstellen Sie einen öffentlichen oder privaten Endpunkt für ein benutzerdefiniertes oder vortrainiertes Modell in einem dedizierten KI-Hostcluster in OCI Generative AI.

Wichtig

Um einem privaten Endpunkt ein Modell hinzuzufügen, erstellen Sie zunächst einen privaten Endpunkt, und führen Sie dann die folgende Aufgabe aus.

  • Wählen Sie auf der Listenseite Endpunkte die Option Endpunkt erstellen aus. Wenn Sie Hilfe beim Suchen der Listenseite benötigen, lesen Sie Endpunkte auflisten.

    Endpunktinformationen

    1. Wählen Sie ein Compartment für die Erstellung des Endpunkts aus. Das Standard-Compartment ist mit der Listenseite identisch. Sie können jedoch jedes Compartment auswählen, für das Sie die Berechtigung zur Arbeit haben.
      Tipp

      Es wird empfohlen, den Endpunkt in demselben Compartment wie das Modell zu erstellen.
    2. (Optional) Geben Sie einen Namen für den Endpunkt ein. Beginnen Sie den Namen mit einem Buchstaben oder Unterstrich, gefolgt von Buchstaben, Zahlen, Bindestrichen und Unterstrichen. Sie können zwischen 1 und 255 Zeichen lang sein. Wenn Sie keinen Namen eingeben, generiert das System einen Namen, den Sie später ändern können.
      Der generierte Name hat das Format generativeaiendpoint<timestamp>. Beispiel: generativeaiendpoint20250531235319
    3. (Optional) Geben Sie eine Beschreibung für das Modell an.

    Hostingkonfiguration

    1. Wählen Sie das Compartment aus, das das Modell hostet, dem Sie einen Endpunkt hinzufügen möchten.
    2. Wählen Sie das Modell aus, dem Sie einen Endpunkt hinzufügen möchten. Bei diesem Modell kann es sich um ein benutzerdefiniertes Modell oder ein einsatzbereites, vortrainiertes Basismodell handeln, das in der Region verfügbar ist, in der Sie arbeiten.
    3. Wenn das ausgewählte Modell mehrere Versionen aufweist, wählen Sie eine Modellversion aus.
      Für die einsatzbereiten, vortrainierten Basismodelle wird dieses Feld bei der Auswahl des Modells ausgefüllt.
    4. Wählen Sie ein dediziertes Hosting-KI-Cluster aus, indem Sie eine der folgenden Aktionen ausführen:
      • Wählen Sie ein dediziertes KI-Cluster aus der Liste aus. Wenn Sie vor einigen Minuten ein Cluster erstellt haben, warten Sie, bis dieses Cluster aktiv wird. Stellen Sie sicher, dass das Basismodell, das mit diesem Cluster verknüpft ist, das Basismodell mit dem Modell übereinstimmt, dem Sie einen Endpunkt hinzufügen möchten.
      • Wählen Sie Neues dediziertes KI-Cluster erstellen aus, und führen Sie die folgenden Schritte durch:
        1. (Optional) Geben Sie einen Namen und eine Beschreibung ein.
        2. Wählen Sie ein Basismodell aus, das dem Basismodell des Modells entspricht, das Sie hosten möchten.
        3. Fügen Sie dem Endpunkt 1 Modellreplikat hinzu. Wenn Sie ein Cluster erstellen, benötigen Sie mindestens eine Einheit für einen Endpunkt. Bei einem vorhandenen Cluster können Sie mit derselben Einheit neue Endpunkte hosten. Jede Instanz hostet alle aktiven Endpunkte. Wenn Sie die Instanzanzahl in einem Cluster erhöhen, erhöht sich die Anzahl der unterstützten RPMs für alle aktiven Endpunkte, die in einem Cluster gehostet werden.
        4. Lesen Sie die Stunden der Verpflichtungseinheit für das dedizierte KI-Cluster für das Hosting, und aktivieren Sie das Kontrollkästchen, um der Verpflichtung zuzustimmen.
        5. (Optional) Wählen Sie Tag hinzufügen aus, und weisen Sie diesem dedizierten KI-Cluster Tags zu. Siehe Ressourcentags.
        6. Wählen Sie Erstellen aus, und warten Sie, bis das Cluster aktiv wird.
        7. Markieren Sie in der Liste Dediziertes KI-Cluster das von Ihnen erstellte dedizierte KI-Cluster.

    Netzwerkressourcen

    Wählen Sie eine der folgenden Optionen aus:
    • Öffentlicher Endpunkt
    • Privater Endpunkt: Wenn Sie diese Option auswählen, wählen Sie das Compartment für den privaten Endpunkt und dann den privaten Endpunkt aus, den Sie verwenden möchten.

    Limits

    1. Wählen Sie, ob die folgenden Leitplanken aktiviert werden sollen.
      • Inhaltsmoderation
        • Aus: Wenden Sie keine Inhaltsmoderation an, und geben Sie keine expliziten Inhalte aus.
        • Blockieren: Helfen Sie dabei, die Moderation von Inhalten zu identifizieren und anzuwenden.
        • Informieren: Wenden Sie keine Inhaltsmoderation an, sondern informieren Sie den Benutzer, wenn das Modell Inhalte erkennt, die moderiert werden müssen.
      • Schutz vor Prompt-Injection (PI)
        • Aus: Wenden Sie keinen PI-Schutz an, und lassen Sie uneingeschränkte Eingaben zu.
        • Blockieren: Helfen Sie bei der Identifizierung und dem Schutz vor Prompt Injection.
        • Informieren: Wenden Sie keinen PI-Schutz an, sondern informieren Sie den Benutzer, wenn das Modell Inhalte erkennt, die PI-Schutz erfordern.
      • Schutz personenbezogener Daten
        • Aus: Wenden Sie keinen Schutz für personenbezogene Daten an, sondern geben Sie Inhalte ohne Einschränkungen für die Offenlegung von Daten aus.
        • Blockieren: Helfen Sie dabei, personenbezogene Daten zu identifizieren und zu schützen, wie z.B. Hilfe beim Entfernen personenbezogener Daten aus Antworten.
        • Informieren: Wenden Sie keinen PII-Schutz an, sondern informieren Sie den Benutzer, wenn das Modell Inhalte erkennt, die personenbezogene Daten schützen müssen.
    2. (Optional) Wählen Sie Tag hinzufügen aus, und weisen Sie diesem Endpunkt Tags zu. Siehe Ressourcentags.
    3. Wählen Sie Erstellen aus.
      Sie werden zur Seite mit den Endpunktdetails weitergeleitet, auf der Sie den Status des Endpunkts verfolgen können.
    4. Nachdem der Endpunkt aktiv ist, wählen Sie Im Playground anzeigen aus, und verwenden Sie das Modell von diesem Endpunkt aus.

  • Verwenden Sie den Befehl endpoint create und die erforderlichen Parameter, um einen Endpunkt zu erstellen:

    oci generative-ai endpoint create 
--model-id <model-OCID>
--compartment-id <compartment-OCID> 
--dedicated-ai-cluster-id <hosting-dedicated-AI-cluster-OCID> 
[OPTIONS]

    Eine vollständige Liste der Parameter und Werte für CLI-Befehle finden Sie in der CLI-Befehlsreferenz.

    Hinweis

    Bei vortrainierten Modellen können Sie anstelle einer OCID den Modellnamen genau wie auf dem Playground der Konsole verwenden. Sie finden diesen OCI-Modellnamen auch auf der Detailseite des Modells unter Vorgeschulte Grundlagenmodelle in generativer KI.

  • Führen Sie den Vorgang CreateEndpoint aus, um einen Endpunkt zu erstellen.

    Hinweis

    Bei vortrainierten Modellen können Sie anstelle einer OCID den Modellnamen genau wie auf dem Playground der Konsole verwenden. Sie finden diesen OCI-Modellnamen auch auf der Detailseite des Modells unter Vorgeschulte Grundlagenmodelle in generativer KI.