Endpunkte verwalten
Um ein benutzerdefiniertes OCI Generative AI-Modell zur Inferenz zu verwenden, müssen Sie zuerst einen Endpunkt für das Modell erstellen. Sie können auch Endpunkte für die vortrainierten Modelle erstellen, die im Playground verfügbar sind.
Ein Endpunkt ist ein bestimmter Punkt in einem dedizierten KI-Cluster, an dem ein Modell Benutzeranforderungen akzeptieren und Antworten zurücksenden kann, wie den generierten Text des Modells. Sie erstellen einen Endpunkt auf einem dedizierten Hosting-KI-Cluster.
Um über einen privaten Endpunkt auf ein Modell zuzugreifen, müssen Sie zunächst einen privaten Endpunkt erstellen und dann zu dieser Seite zurückkehren, um einen Endpunkt für das Modell in einem dedizierten KI-Cluster zu erstellen.
- Nachdem Sie einen aktiven Endpunkt für ein benutzerdefiniertes Modell erstellt haben, wird das Modell in der Modellliste des Spielplatzes aufgelistet.
- Jedes benutzerdefinierte Modell kann mehr als einen Endpunkt aufweisen.
- Jedes dedizierte Hosting-AI-Cluster kann viele Endpunkte hosten. Die Anzahl der verbleibenden Endpunkte finden Sie auf der Detailseite des dedizierten AI-Clusters. Wenn Sie den Endpunkt eines benutzerdefinierten Modells nicht mehr benötigen, können Sie den Endpunkt löschen und das zugehörige dedizierte KI-Cluster verwenden, um einen neuen Endpunkt zu hosten.
Sie können die folgenden Aufgaben ausführen, um Endpunkte für benutzerdefinierte Modelle zu erstellen und zu verwalten: