Documentación de Oracle Cloud Infrastructure

Creación de un pipeline OpenSearch

Cree un pipeline OpenSearch para ingerir datos de log en un cluster OpenSearch con Data Prepper.

Nota

Los nombres de índice OpenSearch deben seguir estas reglas:
  • Todas las letras deben estar en minúscula.
  • Los nombres no pueden comenzar con un guion bajo ( _ ) o guion (-).
  • Los nombres no pueden contener espacios, comas ni ninguno de los siguientes caracteres: :, ", *, +, /, \, |, ?, #, >, <
  • El nombre del índice puede contener una expresión de preparación de datos.
Importante

Después de crear un pipeline de ingesta de datos en un cluster OpenSearch, solo puede suprimir el cluster si primero ha suprimido todos sus pipelines de ingesta de datos.
    1. En la página de lista Pipelines, seleccione Crear pipeline. Si necesita ayuda para buscar la página de lista, consulte Listado de pipelines OpenSearch.
    2. En el panel Crear pipeline, introduzca la siguiente información:
      • Nombre de pipeline: introduzca el nombre del pipeline.
      • Compartimento: seleccione en la lista el compartimento que contiene el pipeline.
      • Etiquetas: aplique las etiquetas al pipeline que desee. Consulte Visión general de Tagging.
    3. En YAML, seleccione una de las siguientes opciones de pipeline:
      • Extraer: seleccione esta opción para extraer datos periódicamente de orígenes externos. A continuación, seleccione una de las opciones de Tipo de origen correspondientes:
        • Almacenamiento de objetos.
        • Kafka. Si selecciona esta opción, deberá proporcionar información de configuración de red más adelante en el proceso de creación del pipeline.
      • Push: seleccione esta opción para recibir datos a través de un punto final de ingesta. A continuación, seleccione una de las opciones de Tipo de origen correspondientes:
        • HTTP
        • Logs de OpenTelemetry
        • Métricas de OpenTelemetry
        • Rastreo OpenTelemetry
    4. Seleccione Generar YAML.
      Se genera un esquema por defecto en el cuadro YAML de pipeline. Aquí puedes personalizarlo para satisfacer tus necesidades.

      Para conocer las configuraciones de YAML de Object Storage y coordinación de origen, consulte YAML de Object Storage y coordinación de origen.

      Para conocer las configuraciones de Kafka YAML, consulte Kafka YAML.

    5. En Configuración de hardware, introduzca la siguiente información:
      • Recuento de nodos: introduzca el número de nodos entre 1 y 10.
      • OCPU: introduzca el número de OCPU entre 1 y 32.
      • Memoria (GB): introduzca la cantidad de miembros en gigabytes entre 8 y 1024.
    6. En Network Configuration, tenga en cuenta lo siguiente:
      Esta configuración solo es necesaria para el servicio OCI Streaming privado y los pipelines Kafka y Push autogestionados. Para el servicio público OCI Streaming, seleccione ninguno.

      Si el origen necesita una conexión inversa, debe configurar los pipelines OpenSearch con una conexión inversa para extraer los datos del origen de datos que reside en la subred. El aprovisionamiento de conexión inversa es totalmente automático.

      Introduzca la siguiente información:

      • Red virtual en la nube en <compartment>: seleccione en la lista la red virtual de la nube (VCN) en el compartimento especificado que desea.
      • Subred en <compartment>: seleccione en la lista la subred de la VCN en el compartimento especificado que desea.
      • Grupo de Seguridad de Red: seleccione en la lista el Grupo de Seguridad de Red que desee.
      Nota

      La siguiente configuración solo es necesaria para el servicio de transmisión de OCI privado y Kafka autogestionado. En caso de Public OCI Streaming Service, no seleccione ninguno.
      • Puntos finales de conexión inversa: introduzca la dirección IP del punto final que desea utilizar para la conexión inversa.
      • Nombre de dominio: introduzca el nombre de dominio completo (FQDN) del origen. Por ejemplo:
        streaming.us-phoenix-1.oci.oraclecloud.com:9092
    7. Seleccione Ejecutar en seco para validar las configuraciones proporcionadas.
      Una vez que se haya realizado correctamente, puede continuar con la creación real del pipeline.
    8. Seleccione Crear.

  • Utilice el comando oci opensearch pipeline create y los parámetros necesarios para crear un pipeline:

    oci opensearch pipeline create --compartment-id compartment_id --data-prepper-configuration-body yaml --display-name display_name 
--subnet-id subnet_id --memory-gb memory_gb --node-count node_count --ocpu-count ocpu_count --pipeline-configuration-body yaml [OPTIONS]

    data-prepper-configuration-body es la configuración del preparador de datos en formato YAML. El comando acepta la configuración del preparador de datos como una cadena o dentro de un archivo .yaml. Si proporciona la configuración como una cadena, cada línea nueva debe identificarse con ".".

    pipeline-configuration-body es la configuración de pipeline en formato YAML. El comando acepta la configuración de pipeline como una cadena o dentro de un archivo .yaml. Si proporciona la configuración como una cadena, cada línea nueva debe identificarse con ".".

    Para obtener una lista completa de parámetros y valores para los comandos de la CLI, consulte la Referencia de comandos de la CLI.

  • Ejecute la operación CreateOpensearchClusterPipeline para crear un pipeline.