Private Endpoints verwalten
Um für Inferenz ein benutzerdefiniertes OCI Generative AI-Modell zu verwenden, müssen Sie zunächst einen Endpunkt für dieses Modell erstellen. Sie können auch Endpunkte für die vortrainierten Modelle erstellen, die im Playground verfügbar sind.
Ein privater Endpunkt ist eine private IP-Adresse in einem VCN, mit der Sie auf einen bestimmten Service in OCI zugreifen können. Der Service richtet den privaten Endpunkt in einem Subnetz Ihrer Wahl innerhalb des VCN ein. Stellen Sie sich den privaten Endpunkt als eine andere VNIC im VCN vor. Mit Sicherheitsregeln steuern Sie den Zugriff auf die VNIC ähnlich wie jede andere VNIC. Der Service erstellt diese VNIC und behält ihre Verfügbarkeit für Sie bei. Sie müssen nur das Subnetz und die zugehörigen Sicherheitsregeln verwalten. Weitere Informationen zu Private Endpunkte.
Um über einen privaten Endpunkt auf ein generatives KI-Modell zuzugreifen, hosten Sie das Modell in einem dedizierten KI-Cluster, und ordnen Sie den Endpunkt des Clusters einem privaten Endpunkt für generative KI zu.
Führen Sie vor dem Erstellen eines privaten Endpunkts die Voraussetzungen für private Endpunkte aus, und richten Sie ein virtuelles Cloud-Netzwerk mit einem privaten Subnetz ein.
Sie können die folgenden Aufgaben ausführen, um Endpunkte für benutzerdefinierte Modelle zu erstellen und zu verwalten:
- Privaten Endpunkt erstellen
- Private Endpunkte auflisten
- Details eines privaten Endpunkts abrufen
- Privaten Endpunkt aktualisieren
- Privaten Endpunkt verschieben
- Privaten Endpunkt löschen
Erfahren Sie mehr über private Endpunkte in OCI.