Evaluaciones
Evaluación del rendimiento del modelo con acciones rápidas de IA
Con los modelos desplegados, puede crear una evaluación de modelo para evaluar su rendimiento. Puede seleccionar un juego de datos de Object Storage o cargar uno desde el almacenamiento del bloc de notas en el que está trabajando. Para cargar juegos de datos desde el bloc de notas, primero debe configurar políticas que permitan a la sesión de bloc de notas escribir archivos en Object Storage. Puede etiquetar la evaluación de modelo con un nombre de experimento. Puede seleccionar un experimento existente o crear uno nuevo. BERTScore, BLEU Score, Perplexity Score, Text Readability y ROUGE son las métricas de evaluación disponibles para medir el rendimiento del modelo. Puede guardar el resultado de la evaluación del modelo en Object Storage. Puede definir los parámetros de evaluación del modelo. En las opciones avanzadas, puede seleccionar la unidad de instancia informática para la evaluación y, opcionalmente, introducir la secuencia de parada. Además, puede configurar el registro con la evaluación de modelo para supervisarlo. El registro es opcional, pero se recomienda que ayude a solucionar los errores con la evaluación. Debe tener la política necesaria para activar el registro. Para obtener más información sobre el registro, consulte la sección Logs. Puede revisar las configuraciones y los parámetros de la evaluación antes de crearla.
Si vuelve al separador Evaluation, verá que el estado del ciclo de vida de la evaluación es Succeeded cuando finalice la evaluación del modelo. Puede ver el resultado de la evaluación y descargar una copia del informe de evaluación del modelo en la máquina local.
Las evaluaciones no se pueden ejecutar en unidades basadas en ARM.
Para obtener una lista completa de parámetros y valores para los comandos de la CLI de acciones rápidas de AI, consulte AI Quick Actions CLI.
Esta tarea no se puede realizar con la API.