Metrikdetails in generativer KI
Sie können OCI Generative AI-Ressourcen über die in diesem Service bereitgestellten Metriken überwachen. Mit dem OCI Monitoring-Service können Sie auch benutzerdefinierte Abfragen und Alarme erstellen, um Sie zu benachrichtigen, wenn diese Metriken alarmspezifische Trigger erfüllen.
Hosting von Metriken für dedizierte KI-Cluster
In diesem Abschnitt werden die Metriken für die dedizierten Hosting-AI-Cluster aufgeführt. In den dedizierten Clustern für das Fine-Tuning werden keine Metriken angezeigt.
| Anzeigename der Metrik | Beschreibung |
|---|---|
| Nutzung | Die verfügbare Kapazität für ein dediziertes AI-Cluster wird im Zeitverlauf als Prozentsatz angezeigt |
| Gesamtanzahl Eingabe | Anzahl der Eingabetoken, die von den Modellen auf diesem dedizierten AI-Hostcluster verarbeitet wurden |
| Gesamtanzahl Ausgaben | Anzahl der Ausgabetoken, die von den Modellen auf diesem dedizierten AI-Hostcluster verarbeitet wurden |
Sie können die vorherigen Metriken von der Detailseite eines dedizierten KI-Clusters für das Hosting abrufen.
Endpunktmetriken
In diesem Abschnitt werden die Metriken für Modellendpunkte in generativer KI aufgeführt.
| Anzeigename der Metrik | Beschreibung |
|---|---|
| Gesamte Verarbeitungszeit | Gesamtverarbeitungszeit für Abschluss eines Aufrufs |
| Anzahl Aufrufe | Anzahl der Eingabetoken, die das auf diesem Endpunkt gehostete Modell verarbeitet hat |
| Anzahl Servicefehler | Anzahl der Aufrufe mit einem internen Servicefehler |
| Anzahl Clientfehler | Anzahl der Aufrufe mit einem clientseitigen Fehler |
| Gesamtanzahl Eingabe | Anzahl der Eingabetoken, die das auf diesem Endpunkt gehostete Modell verarbeitet hat |
| Gesamtanzahl Ausgaben | Anzahl der Ausgabetoken, die das auf diesem Endpunkt gehostete Modell verarbeitet hat |
| Erfolgsrate von Aufrufen | Erfolgreiche Anrufe geteilt durch die Gesamtanzahl der Anrufe |
Sie können die vorherigen Metriken von der Detailseite eines Endpunkts abrufen.
Metriken für benutzerdefinierte Abfragen
Sie können benutzerdefinierte Abfragen und Alarme für das generative KI-Cluster und Endpunktmetriken über den Monitoring-Service erstellen.
In diesem Abschnitt werden die Parameter aufgeführt, mit denen Sie benutzerdefinierte Abfragen für generative KI-Metriken mit dem Monitoring-Service erstellen können.
| Metrikparameter | Display Name | Beschreibung |
|---|---|---|
ClientErrorCount |
Anzahl Clientfehler | Anzahl der Aufrufe mit einem clientseitigen Fehler |
InputTokenCount |
Gesamtanzahl Eingabe | Anzahl der Eingabetoken, die von den auf dieser Ressource gehosteten Modellen verarbeitet wurden |
InvocationLatency |
Gesamte Verarbeitungszeit | Gesamtverarbeitungszeit für den Abschluss eines Aufrufs für diese Ressource |
OutputTokenCount |
Gesamtanzahl Ausgaben | Anzahl der Ausgabetoken, die von den auf dieser Ressource gehosteten Modellen verarbeitet wurden |
ServerErrorCount |
Anzahl Servicefehler | Anzahl der Aufrufe mit einem internen Servicefehler |
TotalInvocationCount |
Anzahl Aufrufe | Anzahl Aufrufe |
Die Schritte zum Erstellen dieser benutzerdefinierten Abfragen finden Sie unter Abfrage für generative KI-Metriken erstellen.