Oracle Cloud Infrastructure-Dokumentation

OpenSearch-Pipeline erstellen

Erstellen Sie eine OpenSearch-Pipeline, um Logdaten mit Data Prepper in ein OpenSearch-Cluster aufzunehmen.

Hinweis

Die Indexnamen OpenSearch müssen den folgenden Regeln entsprechen:
  • Alle Buchstaben müssen Kleinbuchstaben sein.
  • Namen dürfen nicht mit einem Unterstrich ( _ ) oder Bindestrich (-) beginnen.
  • Namen dürfen keine Leerzeichen, Kommas oder eines der folgenden Zeichen enthalten: :, ", *, +, /, \, |, ?, #, >, <
  • Der Indexname kann einen Data Prepper-Ausdruck enthalten.
Wichtig

Nachdem Sie eine Datenaufnahmepipeline in einem OpenSearch-Cluster erstellt haben, können Sie das Cluster nur löschen, wenn Sie zuerst alle zugehörigen Datenaufnahmepipelines gelöscht haben.
    1. Wählen Sie auf der Listenseite Pipelines die Option Pipeline erstellen aus. Wenn Sie Hilfe beim Suchen der Listenseite benötigen, finden Sie weitere Informationen unter OpenSearch-Pipelines auflisten.
    2. Geben Sie im Bereich Pipeline erstellen die folgenden Informationen ein:
      • Pipelinename: Geben Sie den Namen der Pipeline ein.
      • Compartment: Wählen Sie in der Liste das Compartment aus, das die Pipeline enthält.
      • Tags: Wenden Sie Tags auf die gewünschte Pipeline an. Siehe Überblick über Tagging.
    3. Wählen Sie unter YAML eine der folgenden Pipelineoptionen aus:
      • Pull: Wählen Sie diese Option aus, um Daten regelmäßig aus externen Quellen abzurufen. Wählen Sie als Nächstes eine der entsprechenden Optionen unter Quelltyp aus:
        • Object Storage.
        • Kafka. Wenn Sie diese Option auswählen, müssen Sie später im Pipelineerstellungsprozess Netzwerkkonfigurationsinformationen angeben.
      • Push: Wählen Sie diese Option aus, um Daten über einen Aufnahmeendpunkt zu empfangen. Wählen Sie als Nächstes eine der entsprechenden Optionen unter Quelltyp aus:
        • HTTP
        • OpenTelemetry Logs
        • OpenTelemetry-Metriken
        • OpenTelemetry-Trace
    4. Wählen Sie YAML generieren aus.
      Im Feld Pipeline-YAML wird ein Standardschema generiert. Hier können Sie es an Ihre Bedürfnisse anpassen.

      Informationen zu Object Storage- und Quellkoordinations-YAML-Konfigurationen finden Sie unter Object Storage und Quellkoordination YAML.

      Informationen zu Kafka-YAML-Konfigurationen finden Sie unter Kafka YAML.

    5. Geben Sie unter Hardwarekonfiguration die folgenden Informationen ein:
      • Knotenanzahl: Geben Sie die Anzahl der Knoten zwischen 1 und 10 ein.
      • OCPUs: Geben Sie die Anzahl der OCPUs zwischen 1 und 32 ein.
      • Arbeitsspeicher (GB): Geben Sie die Anzahl der Elemente in Gigabyte zwischen 8 und 1024 ein.
    6. Beachten Sie unter Netzwerkkonfiguration Folgendes:
      Diese Konfiguration ist nur für den privaten OCI Streaming-Service und die selbstverwalteten Kafka- und Push-Pipelines erforderlich. Wählen Sie für den öffentlichen OCI Streaming-Service keine Option aus.

      Wenn die Quelle eine Reverse-Verbindung benötigt, müssen Sie die OpenSearch-Pipelines mit einer Reverse-Verbindung so konfigurieren, dass die Daten aus der Datenquelle in Ihrem Subnetz abgerufen werden. Das Reverse Connection Provisioning erfolgt vollautomatisch.

      Geben Sie folgende Informationen ein:

      • Virtuelles Cloud-Netzwerk in <Compartment>: Wählen Sie in der Liste das virtuelle Cloud-Netzwerk (VCN) im angegebenen Compartment aus, das Sie möchten.
      • Subnetz in <Compartment>: Wählen Sie in der Liste das Subnetz für das VCN im angegebenen Compartment aus, das Sie möchten.
      • Netzwerksicherheitsgruppe: Wählen Sie die gewünschte Netzwerksicherheitsgruppe aus der Liste aus.
      Hinweis

      Die folgende Konfiguration ist nur für den privaten OCI Streaming Service und das selbstverwaltete Kafka erforderlich. Wählen Sie im Fall des öffentlichen OCI Streaming Service keine Option aus.
      • Reverse Connection Endpoints: Geben Sie die IP-Adresse des Endpunkts ein, den Sie für die Reverse Connection verwenden möchten.
      • Domainname: Geben Sie den vollqualifizierten Domainnamen (FQDN) Ihrer Quelle ein. Beispiel:
        streaming.us-phoenix-1.oci.oraclecloud.com:9092
    7. Wählen Sie Probelauf aus, um die angegebenen Konfigurationen zu validieren.
      Nachdem Sie erfolgreich waren, können Sie mit der eigentlichen Pipelineerstellung fortfahren.
    8. Wählen Sie Erstellen aus.

  • Verwenden Sie den Befehl oci opensearch Pipeline create und die erforderlichen Parameter, um eine Pipeline zu erstellen:

    oci opensearch pipeline create --compartment-id compartment_id --data-prepper-configuration-body yaml --display-name display_name 
--subnet-id subnet_id --memory-gb memory_gb --node-count node_count --ocpu-count ocpu_count --pipeline-configuration-body yaml [OPTIONS]

    data-prepper-configuration-body ist die Daten-Prepper-Konfiguration im YAML-Format. Der Befehl akzeptiert die Daten-Prepper-Konfiguration als Zeichenfolge oder innerhalb einer .yaml-Datei. Wenn Sie die Konfiguration als Zeichenfolge angeben, muss jede neue Zeile mit "." maskiert werden.

    pipeline-configuration-body ist die Pipelinekonfiguration im YAML-Format. Der Befehl akzeptiert die Pipelinekonfiguration als Zeichenfolge oder innerhalb einer .yaml-Datei. Wenn Sie die Konfiguration als Zeichenfolge angeben, muss jede neue Zeile mit "." maskiert werden.

    Eine vollständige Liste der Parameter und Werte für CLI-Befehle finden Sie in der CLI-Befehlsreferenz.

  • Führen Sie den Vorgang CreateOpensearchClusterPipeline aus, um eine Pipeline zu erstellen.