Modellperformanceparameter für benutzerdefinierte Modelle in generativer KI
Wenn Sie ein benutzerdefiniertes Modell erstellen, optimiert OCI Generative AI ein vorab trainiertes Modell mit dem Dataset. Nachdem die Optimierung abgeschlossen ist, können Sie auf der Detailseite des Modells auf die Modellperformanceparameter zugreifen, um zu bestimmen, ob Ihr Modell nach der Optimierung des Datasets eine Verbesserung für Ihren Anwendungsfall erreicht hat. Die Modellleistungsparameter werden für das Validierungs-Dataset berechnet.
Modellperformanceparameter für große Sprachmodelle
Die folgenden Metriken gelten für benutzerdefinierte Modelle.
- Genauigkeit
- Misst, ob die generierten Token mit den Token mit Anmerkungen übereinstimmen. Beispiel: Eine Genauigkeit von 0,9 bedeutet, dass 90 Prozent der Ausgabetoken mit den Token im Dataset übereinstimmen.
- Verlust
- Die Genauigkeit gibt an, wie viele Vorhersagen das Modell falsch gemacht hat, und der Verlust misst, wie falsch die generierten Ausgaben eines Modells sind. Ein Verlust von 0 bedeutet, dass alle Ausgänge perfekt waren, während eine große Anzahl sehr zufällige Ausgänge anzeigt. Der Verlust sinkt, wenn sich ein Modell verbessert.