Modell-Deployment

Führen Sie diese Schritte aus, um Modelle mit AI Quick Actions bereitzustellen.

Modell-Deployment erstellen

Sie können ein Modell-Deployment aus den Basismodellen mit dem Tag "Bereit zur Bereitstellung" im Model Explorer oder mit fein abgestimmten Modellen erstellen. Wenn Sie ein Modell-Deployment in KI-Schnellaktionen erstellen, erstellen Sie ein OCI Data Science-Modell-Deployment, das eine verwaltete Ressource im OCI Data Science-Service ist. Sie können das Modell als HTTP-Endpunkte in OCI bereitstellen.

Sie benötigen die erforderliche Policy, um das Data Science-Modell-Deployment verwenden zu können. Sie können die Compute-Ausprägung für das Modell-Deployment auswählen. Sie können Logging einrichten, um das Modell-Deployment zu überwachen. Logging ist optional, es wird jedoch dringend empfohlen, Fehler beim Modell-Deployment zu beheben. Sie benötigen die erforderliche Policy, um das Logging zu aktivieren. Weitere Informationen zu Logs finden Sie unter Modell-Deployment-Logs. Unter der erweiterten Option können Sie die Anzahl der bereitzustellenden Instanzen und die Load-Balancer-Bandbreite auswählen.

Weitere Informationen und Tipps zum Deployment von Modellen finden Sie unter Modell-Deployment auf GitHub.

Hinweis

Um mit privaten Endpunkten auf Modell-Deployments zuzugreifen, erstellen Sie eine Notizbuchsession, bei der der der Netzwerktyp auf "Benutzerdefiniertes Networking" gesetzt ist. Der benutzerdefinierte Egress muss sich im selben VCN und Subnetz wie die private Endpunktressource befinden.
    1. Navigieren Sie zum Modell-Explorer.
    2. Wählen Sie die Modellkarte für das Modell aus, das Sie bereitstellen möchten.
    3. Wählen Sie Bereitstellen aus, um das Modell bereitzustellen.
      Die Seite Modell bereitstellen wird angezeigt.
      1. Geben Sie dem Deployment einen Namen.
      2. Wählen Sie eine Compute-Ausprägung aus.
      3. Optional: Wählen Sie eine Loggruppe aus.
      4. Optional: Wählen Sie ein Vorhersage- und Zugriffslog aus.
      5. Optional: Privaten Endpunkt auswählen.
        Hinweis

        Ein privater Endpunkt muss als Voraussetzung für die Modell-Deployment-Ressource erstellt werden.

        Das Feature für den privaten Endpunkt für das Modell-Deployment ist nur in der Realm OC1 aktiviert. Erstellen Sie für andere Realms eine Serviceanfrage für Data Science.

        Die Liste zum Auswählen und Verwenden eines privaten Endpunkts im Modell-Deployment wird nur in der Konsole angezeigt, wenn ein privater Endpunkt im Compartment vorhanden ist.
      6. Wählen Sie Erweiterte Optionen anzeigen.
      7. Aktualisieren Sie die Instanzanzahl, und aktualisieren Sie die Load-Balancer-Bandbreite.
      8. Optional: Wählen Sie unter Inferenzcontainer einen Inferenzcontainer aus.
      9. Optional: Wählen Sie Inferenzmodus aus.
      10. Wählen Sie bereitstellen aus.
    4. Wählen Sie unter KI-Schnellaktionen die Option Deployments aus.
      Die Liste der Modell-Deployments wird angezeigt. Warten Sie für das in Schritt 3 erstellte Deployment, bis der Lebenszyklusstatus Aktiv wird, bevor Sie darauf klicken, um es zu verwenden.
    5. Blättern Sie, um das Inferenzfenster anzuzeigen.
    6. Geben Sie Text in Prompt ein, um das Modell zu testen.
    7. (Optional) Ändern Sie die Modellparameter entsprechend.
    8. Wählen Sie Generieren.
      Die Ausgabe wird unter Antwort angezeigt.
  • Eine vollständige Liste der Parameter und Werte für AI Quick Actions-CLI-Befehle finden Sie unter AI Quick Actions-CLI.

  • Diese Aufgabe kann nicht mit der API ausgeführt werden.

Modell-Deployment in AI-Schnellaktionen aufrufen

Sie können das Modell-Deployment in AI-Schnellaktionen über die CLI oder das Python-SDK aufrufen.

Weitere Informationen finden Sie im Abschnitt Tipps zum Modell-Deployment in GitHub.

Modellartefakte

Wo finden Sie Modellartefakte?

Wenn ein Modell in eine Modell-Deployment-Instanz heruntergeladen wird, wird es im Ordner /opt/ds/model/deployed_model/<object_storage_folder_name_and_path> heruntergeladen.