Detalles de métrica en IA generativa
Puede supervisar los recursos de OCI Generative AI mediante las métricas proporcionadas en este servicio. También puede utilizar el servicio OCI Monitoring para crear consultas y alarmas personalizadas para notificarle cuando estas métricas cumplan los disparadores especificados por la alarma.
Alojamiento de métricas de cluster de IA dedicado
En esta sección, se muestran las métricas para los clusters de AI dedicados de hosting. Los clusters dedicados de ajuste fino no muestran métricas.
| Nombre mostrado de la métrica | Descripción |
|---|---|
| Uso | La capacidad disponible para un cluster de AI dedicado se muestra como porcentaje a lo largo del tiempo |
| Número total de entrada | Número de tokens de entrada que los modelos de este cluster de AI dedicado de alojamiento han procesado |
| Número total de salida | Número de tokens de salida que los modelos de este cluster de AI dedicado de alojamiento han procesado |
Puede obtener las métricas anteriores de la página de detalles de un cluster de IA dedicado de alojamiento.
Métricas de punto final
En esta sección, se muestran las métricas de los puntos finales de modelo en la IA generativa.
| Nombre mostrado de la métrica | Descripción |
|---|---|
| Tiempo total de procesamiento | Tiempo total de procesamiento para que una llamada termine |
| Número de llamadas | Número de tokens de entrada que ha procesado el modelo alojado en este punto final |
| Recuento de errores de servicio | Número de llamadas con error interno del servicio |
| Recuento de errores de cliente | Número de llamadas con errores del cliente |
| Número total de entrada | Número de tokens de entrada que ha procesado el modelo alojado en este punto final |
| Número total de salida | Número de tokens de salida que ha procesado el modelo alojado en este punto final |
| Ratio de éxito de las llamadas | Llamadas correctas divididas por el número total de llamadas |
Puede obtener las métricas anteriores de la página de detalles de un punto final.
Métricas para consultas personalizadas
Puede crear consultas y alarmas personalizadas para las métricas de punto final y cluster de IA generativa mediante el servicio Monitoring.
En esta sección, se muestran los parámetros que puede utilizar para crear consultas personalizadas para métricas de IA generativa mediante el servicio Monitoring.
| Parámetro de métrica | Nombre mostrado | Descripción |
|---|---|---|
ClientErrorCount |
Recuento de errores de cliente | Número de llamadas con errores del cliente |
InputTokenCount |
Número total de entrada | Número de tokens de entrada que los modelos alojados en este recurso han procesado |
InvocationLatency |
Tiempo total de procesamiento | Tiempo total de procesamiento para que una llamada termine en este recurso |
OutputTokenCount |
Número total de salida | Número de tokens de salida que los modelos alojados en este recurso han procesado |
ServerErrorCount |
Recuento de errores de servicio | Número de llamadas con error interno del servicio |
TotalInvocationCount |
Número de llamadas | Número de llamadas |
Para obtener más información sobre cómo crear estas consultas personalizadas, consulte Creación de una consulta para métricas de IA generativa.