Oracle Cloud Infrastructureドキュメント

OpenSearchパイプラインの作成

OpenSearchパイプラインを作成して、データ・プリッパーを含むOpenSearchクラスタにログ・データを収集します。

    1. 「パイプライン」リスト・ページで、「パイプラインの作成」を選択します。リスト・ページの検索に関するヘルプが必要な場合は、OpenSearchパイプラインのリストを参照してください。
    2. 「パイプラインの作成」パネルで、次の情報を入力します:
      • パイプライン名: パイプラインの名前を入力します。
      • コンパートメント: パイプラインを含むコンパートメントをリストから選択します。
      • タグ: 任意のタグを目的のパイプラインに適用します。タグ付けの概要を参照してください。
    3. 「YAML」で、次の「ソース・タイプ」オプションのいずれかを選択します:
      • オブジェクト・ストレージ。
      • Kafka. Selecting this option requires you to provide networking configuration information later in the pipeline creation process.
    4. 「YAMLの生成」を選択します。
      デフォルトのスキーマは、「パイプラインYAML」ボックス内に生成されます。ここでは、ニーズに合わせてカスタマイズできます。

      オブジェクト・ストレージおよびソース調整YAML構成については、オブジェクト・ストレージおよびソース調整YAMLを参照してください。

      Kafka YAML構成については、Kafka YAMLを参照してください。

    5. 「ハードウェア構成」で、次の情報を入力します。
      • ノード数: 1から10の間のノード数を入力します。
      • OCPU: 1から32までのOCPU数を入力します。
      • メモリー(GB): 8から1024までのメンバー量をギガバイト単位で入力します。
    6. (Kafkaソース・タイプのみ)「ネットワーク構成」で、次の点に注意してください:
      この構成は、プライベートOCIストリーミング・サービスおよび自己管理Kafkaにのみ必要です。パブリックOCIストリーミング・サービスの場合は、noneを選択します。

      ソースに逆接続が必要な場合は、OpenSearchパイプラインを逆接続で構成して、サブネットに存在するデータ・ソースからデータをプルする必要があります。リバース接続のプロビジョニングは完全に自動化されています。

      次の情報を入力します::

      • <compartment>のVirtual Cloud Network: リストから、指定したコンパートメントの仮想クラウド・ネットワーク(VCN)を選択します。
      • <compartment>のサブネット: リストから、指定したコンパートメント内のVCNへのサブネットを選択します。
      • ネットワーク・セキュリティ・グループ: リストから必要なネットワーク・セキュリティ・グループを選択します。
      • 逆接続エンドポイント: 逆接続に使用するエンドポイントのIPアドレスを入力します。
      • ドメイン名: ソースの完全修飾ドメイン名(FQDN)を入力します。たとえば:
        streaming.us-phoenix-1.oci.oraclecloud.com:9092
      ノート

      この構成は、プライベートOCIストリーミング・サービスおよび自己管理Kafkaにのみ必要です。パブリックOCIストリーミング・サービスの場合は、何も選択しないでください。
    7. 「ドライ・ラン」を選択して、指定された構成を検証します。
      成功したら、実際のパイプラインの作成を続行できます。
    8. 「作成」を選択します。

  • パイプラインを作成するには、oci opensearch pipeline createコマンドと必要なパラメータを使用します:

    oci opensearch pipeline create --compartment-id compartment_id --data-prepper-configuration-body yaml --display-name display_name 
--subnet-id subnet_id --memory-gb memory_gb --node-count node_count --ocpu-count ocpu_count --pipeline-configuration-body yaml [OPTIONS]

    data-prepper-configuration-bodyは、YAML形式のデータ・プリッパー構成です。このコマンドは、データ・プリッパー構成を文字列として、または.yamlファイル内で受け入れます。構成を文字列として指定する場合は、新しい各行を「.」でエスケープする必要があります。

    pipeline-configuration-bodyは、YAML形式のパイプライン構成です。このコマンドは、パイプライン構成を文字列として、または.yamlファイル内で受け入れます。構成を文字列として指定する場合は、新しい各行を「.」でエスケープする必要があります。

    CLIコマンドのパラメータおよび値の完全なリストは、CLIコマンド・リファレンスを参照してください。

  • CreateOpensearchClusterPipeline操作を実行してパイプラインを作成します。