Llamada a un despliegue de modelo
La Llamada a un despliegue de modelo significa que puede transferir vectores de función o ejemplos de datos al punto final de inferencia y, a continuación, el modelo devuelve predicciones para esos ejemplos de datos.
lifecycleState activo, el punto final de inferencia puede recibir correctamente las solicitudes realizadas por los clientes. Los puntos finales soportados por el servicio son los siguientes:| Tipo de respuesta | Punto final | Descripción |
|---|---|---|
| Única | /predict |
Devuelve una respuesta única. |
| Streaming | /predictWithResponseStream |
Devuelve el flujo en tiempo real de los resultados parciales a medida que son generados por el modelo. |
En una página de detalles de despliegue de modelo, seleccione Llamada al Modelo para ver un panel con dos categorías principales: No Flujo y Flujo.
Cada categoría muestra los siguientes detalles:
- Punto final HTTP del modelo. Para un despliegue de modelo privado, el punto final HTTP contiene un FQDN privado que se ha definido al crear el punto final privado. Para obtener más información, consulte Creación de un punto final privado.
- Código de ejemplo para llamar al punto final del modelo mediante la CLI de OCI. O bien, utilice los SDK de Java y Python de OCI para llamar al modelo con el ejemplo de código proporcionado.
Utilice el código de ejemplo para llamar a un despliegue de modelo.
La llamada a un despliegue del modelo llama al punto final de inferencia del URI del despliegue del modelo. Este punto final toma los datos de muestra como entrada y se procesa mediante la función predict() en el archivo de artefacto de modelo score.py. Los datos de muestra están en formato JSON, aunque pueden estar en otros formatos. El procesamiento significa que los datos de muestra se podrían transformar y luego transferir a un método de inferencia de modelos. Los modelos pueden generar predicciones que se pueden procesar antes de devolverlas al cliente.