Usar redes personalizadas

Cree un despliegue de modelo con la opción de red personalizada.

La carga de trabajo se asocia mediante una VNIC secundaria a una VCN y una subred gestionadas por el cliente. La subred se puede configurar para la salida a la red pública de Internet a través de un gateway de NAT/Internet.

Para utilizar la salida personalizada, debe agregar una política para proporcionar a Data Science acceso a la subred:

allow service datascience to use virtual-network-family in compartment <subnet_compartment>

Para la salida personalizada, la subred debe tener al menos 127 direcciones IP disponibles.

Puede crear y ejecutar despliegues de modelos de red personalizados mediante la consola, el SDK de Python de OCI, la CLI de OCI o la API de Data Science.

1. Utilice la consola para conectarse a un arrendamiento con las políticas necesarias.
2. Abra el menú de navegación y seleccione Analytics & AI. En Aprendizaje automático, seleccione Data Science.
3. Seleccione el compartimento que contiene el proyecto en el que desea crear el despliegue de modelo.
  
  Se muestran todos los proyectos del compartimento.
4. Seleccione el nombre del proyecto.
  
  Se abre la página de detalles del proyecto y se muestran las sesiones de bloc de notas.
5. En Recursos, seleccione Despliegues de modelo.
  
  Se muestra una lista tabular de despliegues de modelo en el proyecto.
6. Seleccione Crear despliegue de modelo.
7. (Opcional) Introduzca un nombre único para el modelo (límite de 255 caracteres). Si no proporciona un nombre, se genera automáticamente un nombre.
  
  Por ejemplo, modeldeployment20200108222435.
8. (Opcional) Introduzca una descripción (límite de 400 caracteres) para el despliegue del modelo.
9. (Opcional) En Configuración por defecto, introduzca una clave de variable de entorno personalizada y el valor correspondiente. Seleccione + Clave de entorno personalizada adicional para agregar más variables de entorno.
10. En la sección Modelos, seleccione Seleccionar para seleccionar un modelo activo para desplegar en el catálogo de modelos.
  
  Busque un modelo mediante el compartimento y el proyecto por defecto o seleccionando Usar OCID y buscando el modelo introduciendo su OCID.
  
  Seleccione el modelo.
  
  Seleccione Enviar.
  
  Importante
  
  Los artefactos de modelo que superen los 400 GB no están soportados para el despliegue. Seleccione un artefacto de modelo más pequeño para el despliegue.
11. (Opcional) Cambie la unidad de computación seleccionando Cambiar unidad. A continuación, siga estos pasos en el panel Seleccionar cálculo.
  
  Seleccione un tipo de instancia.
  
  Seleccione una serie de formas.
  
  Seleccione una de las unidades de computación admitidas en la serie.
  
  Seleccione la unidad que mejor se adapte a cómo desea utilizar el recurso.
  
  Para cada OCPU, seleccione hasta 64 GB de memoria y un total máximo de 512 GB. La cantidad mínima de memoria permitida es de 1 GB o un valor que coincida con el número de OCPU, cualquiera que sea mayor.
  
  Si utiliza máquinas virtuales ampliables, conmute Burstable.
  En Utilización de base por OCPU, seleccione el porcentaje de OCPU que normalmente desea utilizar. Los valores soportados son 12,5% y 50%.
  
  Seleccione Seleccionar unidad.
12. Introduzca el número de instancias en las que el despliegue replicará el modelo.
13. Seleccione Red personalizada para configurar el tipo de red.
  
  Seleccione la VCN y la subred que desea utilizar para el recurso (trabajo o sesión de libro de notas).
  
  Si no ve la VCN o la subred que desea utilizar, seleccione Cambiar compartimento y, a continuación, seleccione el compartimento que contiene la VCN o la subred.
  Nota
  
  Se permite cambiar de red por defecto a red personalizada. Si se selecciona una red personalizada, no se puede cambiar a la red por defecto.
14. Seleccione una de las siguientes opciones para configurar el tipo de punto final:
  
  Public endpoint: acceso a datos en una instancia gestionada desde fuera de una VCN.
  
  Private endpoint: punto final privado que desea utilizar para el despliegue del modelo.
  
  Si ha seleccionado Private endpoint, seleccione Private Endpoint en Punto final privado en Data Science.
  Seleccione Cambiar compartimento para seleccionar el compartimento que contiene el punto final privado.
15. (Opcional) Si configura el acceso o predice el registro, en la sección Registro, seleccione Seleccionar y, a continuación, siga estos pasos:
  
  Para los logs de acceso, seleccionar un compartimento, un grupo de logs y un nombre de log.
  
  Para los logs de predicción, seleccionar un compartimento, un grupo de logs y un nombre de log.
  
  Seleccione Enviar.
16. (Opcional) Seleccione Mostrar opciones avanzadas para agregar etiquetas.
  
  (Opcional) Seleccione el modo de servicio para el despliegue del modelo, ya sea como punto final HTTPS o mediante un flujo de servicio de Streaming.
  
  (Opcional) Seleccione el ancho de banda del equilibrio de carga en Mbps o utilice el valor por defecto de 10 Mbps.
  
  Consejos para el equilibrio de carga:
  
  Si conoce el tamaño de carga útil común y la frecuencia de solicitudes por segundo, puede utilizar la siguiente fórmula para calcular el ancho de banda del equilibrador de carga que necesita. Le recomendamos que agregue un 20 % adicional para tener en cuenta los errores de estimación y el tráfico pico esporádico.
  
  (Tamaño de carga útil en KB) * (Estimación de solicitudes por segundo) * 8/1024
  
  Por ejemplo, si la carga útil es de 1024 KB y realiza una estimación de 120 solicitudes por segundo, el ancho de banda del equilibrador de carga recomendado sería (1024 * 120 * 8 / 1024) * 1,2 = 1152 Mbps.
  
  Recuerde que el tamaño máximo de carga útil soportado es de 10 MB cuando se trata de cargas útiles de imágenes.
  
  Si el tamaño de carga útil de la solicitud es mayor que el ancho de banda asignado del equilibrador de carga definido, la solicitud se rechaza con el código de estado 429.
  
  (Opcional) Seleccione Usar una imagen de contenedor personalizada e introduzca lo siguiente:
  
  Repositorio en <tenancy>: repositorio que contiene la imagen personalizada.
  
  Imagen: imagen personalizada que se va a utilizar en el despliegue del modelo en tiempo de ejecución.
  
  CMD: se ejecutan más comandos cuando se inicia el contenedor. Agregue una instrucción por cuadro de texto. Por ejemplo, si el valor de CMD es ["--host", "0.0.0.0"], transfiera --host en un cuadro de texto y 0.0.0.0 en otro. No utilice comillas al final.
  
  Punto de entrada: uno o más archivos de punto de entrada que se van a ejecutar cuando se inicie el contenedor. Por ejemplo, /opt/script/entrypoint.sh. No utilice comillas al final.
  
  Puerto de servidor: puerto en el que se está ejecutando el servidor web que sirve la inferencia. El valor por defecto es 8080. El puerto puede ser cualquier cosa entre 1024 y 65535. No utilice los puertos 24224, 8446 y 8447.
  
  Puerto de comprobación del sistema: puerto en el que recibe el contenedor HEALTHCHECK. El valor predeterminado es el puerto del servidor. El puerto puede ser cualquier cosa entre 1024 y 65535. No utilice los puertos 24224, 8446 y 8447.
  
  (Opcional) En la sección Etiquetas, agregue una o más etiquetas a <resourceType>. Si tiene permisos para crear un recurso, también tiene permisos para aplicar etiquetas de formato libre a ese recurso. Para aplicar una etiqueta definida, debe tener permisos para utilizar el espacio de nombres de la etiqueta. Para obtener más información sobre el etiquetado, consulte Etiquetas de recursos. Si no está seguro de si aplicar etiquetas, omita esta opción o pregunte a un administrador. Puede aplicar etiquetas más tarde.
17. Haga clic en Crear.

Puede utilizar la CLI de OCI para crear un despliegue de modelo como en este ejemplo.

Despliegue el modelo con:

oci data-science model-deployment create \
--compartment-id <MODEL_DEPLOYMENT_COMPARTMENT_OCID> \
--model-deployment-configuration-details file://<MODEL_DEPLOYMENT_CONFIGURATION_FILE> \
--project-id <PROJECT_OCID> \
--category-log-details file://<OPTIONAL_LOGGING_CONFIGURATION_FILE> \
--display-name <MODEL_DEPLOYMENT_NAME>

Utilice este archivo de configuración JSON de despliegue de modelo:

{
      "deploymentType": "SINGLE_MODEL",
      "modelConfigurationDetails": {
        "bandwidthMbps": <YOUR_BANDWIDTH_SELECTION>,
        "instanceConfiguration": {
          "subnetId": <YOUR_SUBNET_ID>,
          "instanceShapeName": "<YOUR_VM_SHAPE>"
        },
        "modelId": "<YOUR_MODEL_OCID>",
        "scalingPolicy": {
            "instanceCount": <YOUR_INSTANCE_COUNT>,
            "policyType": "FIXED_SIZE"
         }
     }
 }

Si está especificando una configuración de entorno, debe incluir el objeto environmentConfigurationDetails como en este ejemplo:


{
  "modelDeploymentConfigurationDetails": {
    "deploymentType": "SINGLE_MODEL",
    "modelConfigurationDetails": {
      "modelId": "ocid1.datasciencemodel.oc1.iad........",
      "instanceConfiguration": {
        "subnetId": <YOUR_SUBNET_ID>,
        "instanceShapeName": "VM.Standard.E4.Flex",
        "modelDeploymentInstanceShapeConfigDetails": {
          "ocpus": 1,
          "memoryInGBs": 16
        }
      },
      "scalingPolicy": {
        "policyType": "FIXED_SIZE",
        "instanceCount": 1
      },
      "bandwidthMbps": 10
    },
    "environmentConfigurationDetails" : {
      "environmentConfigurationType": "OCIR_CONTAINER",
      "image": "iad.ocir.io/testtenancy/image_name:1.0.0",
      "entrypoint": [
        "python",
        "/opt/entrypoint.py"
      ],
      "serverPort": "5000",
      "healthCheckPort": "5000"
    },
    "streamConfigurationDetails": {
      "inputStreamIds": null,
      "outputStreamIds": null
    }
  }
}

(Opcional) Utilice este archivo de configuración JSON de registro:

{
    "access": {
      "logGroupId": "<YOUR_LOG_GROUP_OCID>",
      "logId": "<YOUR_LOG_OCID>"
    },
    "predict": {
      "logGroupId": "<YOUR_LOG_GROUP_OCID>",
      "logId": "<YOUR_LOG_OCID>"
    }
}

(Opcional) Utilícelo para utilizar un contenedor personalizado:

oci data-science model-deployment create \
--compartment-id <MODEL_DEPLOYMENT_COMPARTMENT_OCID> \
--model-deployment-configuration-details file://<MODEL_DEPLOYMENT_CONFIGURATION_FILE> \
--project-id <PROJECT_OCID> \
--category-log-details file://<OPTIONAL_LOGGING_CONFIGURATION_FILE> \
--display-name <MODEL_DEPLOYMENT_NAME>

Utilice la operación CreateModelDeployment para crear un despliegue de modelo con redes personalizadas. Defina el ID de subred como se describe en la documentación de la API de Configuración de instancias.

Documentación de Oracle Cloud Infrastructure

Usar redes personalizadas