Usar red por defecto

Cree un despliegue de modelo con la opción de red por defecto.

La carga de trabajo se asocia mediante una VNIC secundaria a una VCN y una subred preconfiguradas y gestionadas por servicios. Esta subred proporcionada proporciona acceso a otros servicios de Oracle Cloud a través de un gateway de servicio, pero no a la red pública de Internet.

Si solo necesita acceder a los servicios de OCI, recomendamos utilizar esta opción. No es necesario que cree recursos de red ni escriba políticas para los permisos de red.

Puede crear y ejecutar despliegues de modelos de red por defecto mediante la consola, el SDK de Python de OCI, la CLI de OCI o la API de Data Science.

1. En la página despliegues de modelo, seleccione Crear despliegue de modelo. Si necesita ayuda para buscar la lista de despliegues de modelo, consulte Listado de despliegues de modelo.
2. (Opcional) Introduzca un nombre único para el modelo (límite de 255 caracteres). Si no proporciona un nombre, se genera automáticamente un nombre.
  
  Por ejemplo, modeldeployment20200108222435.
3. (Opcional) Introduzca una descripción (límite de 400 caracteres) para el despliegue del modelo.
4. (Opcional) En Configuración por defecto, introduzca una clave de variable de entorno personalizada y el valor correspondiente. Seleccione + Clave de entorno personalizada adicional para agregar más variables de entorno.
5. En la sección Modelos, seleccione Seleccionar para seleccionar un modelo activo para desplegar en el catálogo de modelos.
  
  Busque un modelo mediante el compartimento y el proyecto por defecto o seleccionando Usar OCID y buscando el modelo introduciendo su OCID.
  
  Seleccione el modelo.
  
  Seleccione Enviar.
  
  Importante
  
  Los artefactos de modelo que superen los 400 GB no están soportados para el despliegue. Seleccione un artefacto de modelo más pequeño para el despliegue.
6. (Opcional) Cambie la unidad de computación seleccionando Cambiar unidad. A continuación, siga estos pasos en el panel Seleccionar cálculo.
  
  Seleccione un tipo de instancia.
  
  Seleccione una serie de formas.
  
  Seleccione una de las unidades de computación admitidas en la serie.
  
  Seleccione la unidad que mejor se adapte a cómo desea utilizar el recurso.
  
  Para cada OCPU, seleccione hasta 64 GB de memoria y un total máximo de 512 GB. La cantidad mínima de memoria permitida es de 1 GB o un valor que coincida con el número de OCPU, cualquiera que sea mayor.
  
  Si utiliza máquinas virtuales ampliables, conmute Burstable.
  En Utilización de base por OCPU, seleccione el porcentaje de OCPU que normalmente desea utilizar. Los valores soportados son 12,5% y 50%.
  
  Seleccione Seleccionar unidad.
7. Introduzca el número de instancias en las que el despliegue replicará el modelo.
8. Seleccione Red por defecto para configurar el tipo de red.
9. Seleccione una de las siguientes opciones para configurar el tipo de punto final:
  
  Public endpoint: acceso a datos en una instancia gestionada desde fuera de una VCN.
  
  Private endpoint: punto final privado que desea utilizar para el despliegue del modelo.
  
  Si ha seleccionado Private endpoint, seleccione Private Endpoint en Punto final privado en Data Science.
  Seleccione Cambiar compartimento para seleccionar el compartimento que contiene el punto final privado.
10. (Opcional) Si configura el acceso o predice el registro, en la sección Registro, seleccione Seleccionar y, a continuación, siga estos pasos:
  
  Para los logs de acceso, seleccionar un compartimento, un grupo de logs y un nombre de log.
  
  Para los logs de predicción, seleccionar un compartimento, un grupo de logs y un nombre de log.
  
  Seleccione Enviar.
11. (Opcional) Seleccione Mostrar opciones avanzadas para agregar etiquetas.
  
  (Opcional) Seleccione el modo de servicio para el despliegue del modelo, ya sea como punto final HTTPS o mediante un flujo de servicio de Streaming.
  
  (Opcional) Seleccione el ancho de banda del equilibrio de carga en Mbps o utilice el valor por defecto de 10 Mbps.
  
  Consejos para el equilibrio de carga:
  
  Si conoce el tamaño de carga útil común y la frecuencia de solicitudes por segundo, puede utilizar la siguiente fórmula para calcular el ancho de banda del equilibrador de carga que necesita. Le recomendamos que agregue un 20 % adicional para tener en cuenta los errores de estimación y el tráfico pico esporádico.
  
  (Tamaño de carga útil en KB) * (Estimación de solicitudes por segundo) * 8/1024
  
  Por ejemplo, si la carga útil es de 1024 KB y realiza una estimación de 120 solicitudes por segundo, el ancho de banda del equilibrador de carga recomendado sería (1024 * 120 * 8 / 1024) * 1,2 = 1152 Mbps.
  
  Recuerde que el tamaño máximo de carga útil soportado es de 10 MB cuando se trata de cargas útiles de imágenes.
  
  Si el tamaño de carga útil de la solicitud es mayor que el ancho de banda asignado del equilibrador de carga definido, la solicitud se rechaza con el código de estado 429.
  
  (Opcional) Seleccione Usar una imagen de contenedor personalizada e introduzca lo siguiente:
  
  Repositorio en <tenancy>: repositorio que contiene la imagen personalizada.
  
  Imagen: imagen personalizada que se va a utilizar en el despliegue del modelo en tiempo de ejecución.
  
  CMD: se ejecutan más comandos cuando se inicia el contenedor. Agregue una instrucción por cuadro de texto. Por ejemplo, si el valor de CMD es ["--host", "0.0.0.0"], transfiera --host en un cuadro de texto y 0.0.0.0 en otro. No utilice comillas al final.
  
  Punto de entrada: uno o más archivos de punto de entrada que se van a ejecutar cuando se inicie el contenedor. Por ejemplo, /opt/script/entrypoint.sh. No utilice comillas al final.
  
  Puerto de servidor: puerto en el que se está ejecutando el servidor web que sirve la inferencia. El valor por defecto es 8080. El puerto puede ser cualquier cosa entre 1024 y 65535. No utilice los puertos 24224, 8446 y 8447.
  
  Puerto de comprobación del sistema: puerto en el que recibe el contenedor HEALTHCHECK. El valor predeterminado es el puerto del servidor. El puerto puede ser cualquier cosa entre 1024 y 65535. No utilice los puertos 24224, 8446 y 8447.
  
  (Opcional) En la sección Etiquetas, agregue una o más etiquetas a <resourceType>. Si tiene permisos para crear un recurso, también tiene permisos para aplicar etiquetas de formato libre a ese recurso. Para aplicar una etiqueta definida, debe tener permisos para utilizar el espacio de nombres de la etiqueta. Para obtener más información sobre el etiquetado, consulte Etiquetas de recursos. Si no está seguro de si aplicar etiquetas, omita esta opción o pregunte a un administrador. Puede aplicar etiquetas más tarde.
12. Haga clic en Crear.

Puede utilizar la CLI de OCI para crear un despliegue de modelo como en este ejemplo.

Despliegue el modelo con:

oci data-science model-deployment create \
--compartment-id <MODEL_DEPLOYMENT_COMPARTMENT_OCID> \
--model-deployment-configuration-details file://<MODEL_DEPLOYMENT_CONFIGURATION_FILE> \
--project-id <PROJECT_OCID> \
--category-log-details file://<OPTIONAL_LOGGING_CONFIGURATION_FILE> \
--display-name <MODEL_DEPLOYMENT_NAME>

Utilice este archivo de configuración JSON de despliegue de modelo:

{
      "deploymentType": "SINGLE_MODEL",
      "modelConfigurationDetails": {
        "bandwidthMbps": <YOUR_BANDWIDTH_SELECTION>,
        "instanceConfiguration": {
          "instanceShapeName": "<YOUR_VM_SHAPE>"
        },
        "modelId": "<YOUR_MODEL_OCID>",
        "scalingPolicy": {
            "instanceCount": <YOUR_INSTANCE_COUNT>,
            "policyType": "FIXED_SIZE"
         }
     }
 }

Si especifica una configuración de entorno, debe incluir el objeto environmentConfigurationDetails como en este ejemplo:


{
  "modelDeploymentConfigurationDetails": {
    "deploymentType": "SINGLE_MODEL",
    "modelConfigurationDetails": {
      "modelId": "ocid1.datasciencemodel.oc1.iad........",
      "instanceConfiguration": {
        "instanceShapeName": "VM.Standard.E4.Flex",
        "modelDeploymentInstanceShapeConfigDetails": {
          "ocpus": 1,
          "memoryInGBs": 16
        }
      },
      "scalingPolicy": {
        "policyType": "FIXED_SIZE",
        "instanceCount": 1
      },
      "bandwidthMbps": 10
    },
    "environmentConfigurationDetails" : {
      "environmentConfigurationType": "OCIR_CONTAINER",
      "image": "iad.ocir.io/testtenancy/image_name:1.0.0",
      "entrypoint": [
        "python",
        "/opt/entrypoint.py"
      ],
      "serverPort": "5000",
      "healthCheckPort": "5000"
    },
    "streamConfigurationDetails": {
      "inputStreamIds": null,
      "outputStreamIds": null
    }
  }
}

(Opcional) Utilice este archivo de configuración JSON de registro:

{
    "access": {
      "logGroupId": "<YOUR_LOG_GROUP_OCID>",
      "logId": "<YOUR_LOG_OCID>"
    },
    "predict": {
      "logGroupId": "<YOUR_LOG_GROUP_OCID>",
      "logId": "<YOUR_LOG_OCID>"
    }
}

(Opcional) Utilícelo para utilizar un contenedor personalizado:

oci data-science model-deployment create \
--compartment-id <MODEL_DEPLOYMENT_COMPARTMENT_OCID> \
--model-deployment-configuration-details file://<MODEL_DEPLOYMENT_CONFIGURATION_FILE> \
--project-id <PROJECT_OCID> \
--category-log-details file://<OPTIONAL_LOGGING_CONFIGURATION_FILE> \
--display-name <MODEL_DEPLOYMENT_NAME>

Utilice la operación CreateModelDeployment para crear un despliegue de modelo.

Uso del SDK de Python de OCI

Hemos desarrollado un ejemplo de despliegue del modelo del SDK de Python de OCI que incluye la autenticación.

Importante

Los artefactos que superen los 400 GB no están soportados para el despliegue. Seleccione un artefacto de modelo más pequeño para el despliegue.

Nota

Debe actualizar el SDK de OCI a la versión 2.33.0 o posterior antes de crear un despliegue con el SDK de Python. Utilice el comando siguiente:

pip install --upgrade oci

Utilice este ejemplo para crear un despliegue de modelo que utilice un contenedor personalizado:

# create a model configuration details object
model_config_details = ModelConfigurationDetails(
    model_id=<model-id>,
    bandwidth_mbps=<bandwidth-mbps>,
    instance_configuration=<instance-configuration>,
    scaling_policy=<scaling-policy>
)
 
# create the container environment configiguration
environment_config_details = OcirModelDeploymentEnvironmentConfigurationDetails(
    environment_configuration_type="OCIR_CONTAINER",
    environment_variables={'key1': 'value1', 'key2': 'value2'},
    image="iad.ocir.io/testtenancy/ml_flask_app_demo:1.0.0",
    image_digest="sha256:243590ea099af4019b6afc104b8a70b9552f0b001b37d0442f8b5a399244681c",
    entrypoint=[
        "python",
        "/opt/ds/model/deployed_model/api.py"
    ],
    server_port=5000,
    health_check_port=5000
)
 
# create a model type deployment
single_model_deployment_config_details = data_science.models.SingleModelDeploymentConfigurationDetails(
    deployment_type="SINGLE_MODEL",
    model_configuration_details=model_config_details,
    environment_configuration_details=environment_config_details
)
 
# set up parameters required to create a new model deployment.
create_model_deployment_details = CreateModelDeploymentDetails(
    display_name=<deployment_name>,
    model_deployment_configuration_details=single_model_deployment_config_details,
    compartment_id=<compartment-id>,
    project_id=<project-id>
)

Ejemplos de bloc de notas

Hemos proporcionado varios ejemplos de bloc de notas que muestran cómo entrenar, preparar, guardar, desplegar y llamar a despliegues de modelos.

Documentación de Oracle Cloud Infrastructure

Usar red por defecto

Uso del SDK de Python de OCI

Ejemplos de bloc de notas