Documentation Oracle Cloud Infrastructure

Création d'un pipeline OpenSearch

Créez un pipeline OpenSearch pour inclure les données de journal dans un cluster OpenSearch avec Data Prepper.

Remarque

Les noms d'index OpenSearch doivent respecter les règles suivantes :
  • Toutes les lettres doivent être en minuscules.
  • Les noms ne peuvent pas commencer par un trait de soulignement (_) ou un trait d'union (-).
  • Les noms ne peuvent pas contenir d'espaces, de virgules ou l'un des caractères suivants : :, ", *, +, /, \, |, ?, #, >, <
  • Le nom d'index peut contenir une expression de préparateur de données.
Important

Une fois que vous avez créé un pipeline d'inclusion de données dans un cluster OpenSearch, vous ne pouvez supprimer le cluster que si vous avez d'abord supprimé tous ses pipelines d'inclusion de données.
    1. Sur la page de liste Pipelines, sélectionnez Créer un pipeline. Si vous avez besoin d'aide pour trouver la page de liste, reportez-vous à Liste des pipelines OpenSearch.
    2. Dans le panneau Créer un pipeline, entrez les informations suivantes :
      • Nom du pipeline : entrez le nom du pipeline.
      • Compartiment : sélectionnez le compartiment qui contient le pipeline dans la liste.
      • Balises : appliquez les balises voulues au pipeline. Reportez-vous à Présentation de Tagging.
    3. Sous YAML, sélectionnez l'une des options de pipeline suivantes :
      • Extraire : sélectionnez cette option pour extraire périodiquement des données de sources externes. Ensuite, sélectionnez l'une des options de type de source correspondantes :
        • Object Storage,
        • Kafka. Pour sélectionner cette option, vous devez fournir des informations de configuration réseau ultérieurement dans le processus de création de pipeline.
      • Transmettre : sélectionnez cette option pour recevoir des données via une adresse d'inclusion. Ensuite, sélectionnez l'une des options de type de source correspondantes :
        • HTTP
        • OpenTelemetry Journaux
        • OpenTelemetry Mesures
        • OpenTelemetry Trace
    4. Sélectionnez Générer YAML.
      Un schéma par défaut est généré dans la zone Pipeline YAML. Ici, vous pouvez le personnaliser pour répondre à vos besoins.

      Pour les configurations YAML de coordination d'objets et de source, reportez-vous à YAML de coordination d'objets et de source.

      Pour les configurations YAML Kafka, reportez-vous à YAML Kafka.

    5. Sous Configuration matérielle, entrez les informations suivantes :
      • Nombre de noeuds : entrez le nombre de noeuds compris entre 1 et 10.
      • OCPU : entrez le nombre d'OCPU compris entre 1 et 32.
      • Mémoire (Go) : entrez la quantité de membres en gigaoctets comprise entre 8 et 1024.
    6. Sous Configuration réseau, notez les points suivants :
      Cette configuration est uniquement requise pour le service OCI Streaming privé et les pipelines Kafka et Push autogérés. Pour le service OCI Streaming public, sélectionnez Aucun.

      Si la source a besoin d'une connexion inverse, vous devez configurer les pipelines OpenSearch avec une connexion inverse pour extraire les données de la source de données résidant dans votre sous-réseau. Le provisionnement de la connexion inverse est entièrement automatique.

      Saisissez les informations suivantes :

      • Réseau cloud virtuel dans <compartiment> : sélectionnez le réseau cloud virtuel (VCN) dans le compartiment indiqué de votre choix dans la liste.
      • Sous-réseau dans <compartiment> : sélectionnez le sous-réseau vers le VCN dans le compartiment spécifié souhaité dans la liste.
      • Groupe de la sécurité réseau : sélectionnez le groupe de la sécurité réseau souhaité dans la liste.
      Remarque

      La configuration suivante est uniquement requise pour le service OCI Streaming privé et la Kafka autogérée. Dans le cas du service OCI Streaming public, sélectionnez Aucun.
      • Adresses de connexion inverse : entrez l'adresse IP de l'adresse à utiliser pour la connexion inverse.
      • Nom de domaine : entrez le nom de domaine qualifié complet de la source. Par exemple :
        streaming.us-phoenix-1.oci.oraclecloud.com:9092
    7. Sélectionnez Essayer l'exécution pour valider les configurations fournies.
      Une fois que vous avez réussi, vous pouvez poursuivre la création du pipeline.
    8. Sélectionnez Create (Créer).

  • Utilisez la commande oci opensearch pipeline create et les paramètres requis pour créer un pipeline :

    oci opensearch pipeline create --compartment-id compartment_id --data-prepper-configuration-body yaml --display-name display_name 
--subnet-id subnet_id --memory-gb memory_gb --node-count node_count --ocpu-count ocpu_count --pipeline-configuration-body yaml [OPTIONS]

    data-prepper-configuration-body est la configuration de pré-préparateur de données au format YAML. La commande accepte la configuration du préparateur de données en tant que chaîne ou dans un fichier .yaml. Si vous indiquez la configuration sous forme de chaîne, chaque nouvelle ligne doit être échappée avec ".".

    pipeline-configuration-body est la configuration de pipeline au format YAML. La commande accepte la configuration de pipeline sous forme de chaîne ou dans un fichier .yaml. Si vous indiquez la configuration sous forme de chaîne, chaque nouvelle ligne doit être échappée avec ".".

    Pour obtenir la liste complète des paramètres et des valeurs des commandes de la CLI, reportez-vous à Référence des commandes de la CLI.

  • Exécutez l'opération CreateOpensearchClusterPipeline pour créer un pipeline.