Modell-Deployment
Führen Sie diese Schritte aus, um Modelle mit AI Quick Actions bereitzustellen.
Modell-Deployment erstellen
Sie können ein Modell-Deployment aus den Basismodellen mit dem Tag "Bereit zur Bereitstellung" im Model Explorer oder mit fein abgestimmten Modellen erstellen. Wenn Sie ein Modell-Deployment in KI-Schnellaktionen erstellen, erstellen Sie ein OCI Data Science-Modell-Deployment, das eine verwaltete Ressource im OCI Data Science-Service ist. Sie können das Modell als HTTP-Endpunkte in OCI bereitstellen.
Sie benötigen die erforderliche Policy, um das Data Science-Modell-Deployment verwenden zu können. Sie können die Compute-Ausprägung für das Modell-Deployment auswählen. Sie können Logging einrichten, um das Modell-Deployment zu überwachen. Logging ist optional, es wird jedoch dringend empfohlen, Fehler beim Modell-Deployment zu beheben. Sie benötigen die erforderliche Policy, um das Logging zu aktivieren. Weitere Informationen zu Logs finden Sie unter Modell-Deployment-Logs. Unter der erweiterten Option können Sie die Anzahl der bereitzustellenden Instanzen und die Load-Balancer-Bandbreite auswählen.
Weitere Informationen und Tipps zum Deployment von Modellen finden Sie unter Modell-Deployment auf GitHub.
Um mit privaten Endpunkten auf Modell-Deployments zuzugreifen, erstellen Sie eine Notizbuchsession, bei der der der Netzwerktyp auf "Benutzerdefiniertes Networking" gesetzt ist. Der benutzerdefinierte Egress muss sich im selben VCN und Subnetz wie die private Endpunktressource befinden.
Eine vollständige Liste der Parameter und Werte für AI Quick Actions-CLI-Befehle finden Sie unter AI Quick Actions-CLI.
Diese Aufgabe kann nicht mit der API ausgeführt werden.
Modell-Deployment in AI-Schnellaktionen aufrufen
Sie können das Modell-Deployment in AI-Schnellaktionen über die CLI oder das Python-SDK aufrufen.
Weitere Informationen finden Sie im Abschnitt Tipps zum Modell-Deployment in GitHub.
Modellartefakte
Wo finden Sie Modellartefakte?
Wenn ein Modell in eine Modell-Deployment-Instanz heruntergeladen wird, wird es im Ordner /opt/ds/model/deployed_model/<object_storage_folder_name_and_path>
heruntergeladen.