OpenSearchパイプラインの作成

データ・プリッパーを使用してOpenSearchクラスタにログ・データを取り込むOpenSearchパイプラインを作成します。

• コンソール
• CLI
• API

• 1. 「パイプライン」リスト・ページで、「パイプラインの作成」を選択します。リスト・ページの検索に関するヘルプが必要な場合は、OpenSearchパイプラインのリストを参照してください。

  2. 「パイプラインの作成」パネルで、次の情報を入力します:

     • パイプライン名: パイプラインの名前を入力します。

     • コンパートメント: パイプラインを含むコンパートメントをリストから選択します。

     • タグ: 任意のタグを目的のパイプラインに適用します。タグ付けの概要を参照してください。

  3. 「YAML」で、次の「ソース・タイプ」オプションのいずれかを選択します。

     • オブジェクト・ストレージ

     • Kafka. Selecting this option requires you to provide networking configuration information later in the pipeline creation process.

  4. 「YAMLの生成」を選択します。

     デフォルト・スキーマは、「パイプラインYAML」ボックス内に生成されます。ここでは、ニーズに合わせてカスタマイズできます。

     オブジェクト・ストレージおよびソース・コーディネーションYAML構成については、オブジェクト・ストレージおよびソース・コーディネーションYAMLを参照してください。

     Kafka YAML構成については、Kafka YAMLを参照してください。

  5. 「ハードウェア構成」で、次の情報を入力します。

     • ノード数: 1から10までのノード数を入力します。

     • OCPU: 1から32までのOCPU数を入力します。

     • メモリー(GB): 8から1024までのメンバー量をギガバイト単位で入力します。

  6. (Kafkaソース・タイプのみ)「ネットワーク構成」で、次の点に注意してください:

     この構成は、プライベートOCIストリーミング・サービスおよび自己管理Kafkaでのみ必要です。パブリックOCIストリーミング・サービスの場合は、「なし」を選択します。

     ソースにリバース接続が必要な場合は、OpenSearchパイプラインをリバース接続で構成して、サブネットに存在するデータ・ソースからデータをプルする必要があります。逆接続のプロビジョニングは完全に自動です。

     次の情報を入力します:

     • <compartment>のVirtual Cloud Network: リストから、指定したコンパートメント内の仮想クラウド・ネットワーク(VCN)を選択します。

     • <compartment>のサブネット: リストから、指定したコンパートメント内のVCNのサブネットを選択します。

     • ネットワーク・セキュリティ・グループ: リストから必要なネットワーク・セキュリティ・グループを選択します。

     • 逆接続エンドポイント: 逆接続に使用するエンドポイントのIPアドレスを入力します。

     • ドメイン名: ソースの完全修飾ドメイン名(FQDN)を入力します。たとえば:

       streaming.us-phoenix-1.oci.oraclecloud.com:9092

     ノート
     
     

     この構成は、プライベートOCIストリーミング・サービスおよびセルフマネージドKafkaでのみ必要です。パブリックOCIストリーミング・サービスの場合は、何も選択しないでください。

  7. 「ドライ・ラン」を選択して、指定された構成を検証します。

     成功したら、実際のパイプライン作成を続行できます。

  8. 「作成」を選択します。

• パイプラインを作成するには、oci opensearch pipeline createコマンドと必要なパラメータを使用します:

  oci opensearch pipeline create --compartment-id compartment_id --data-prepper-configuration-body yaml --display-name display_name 
  --subnet-id subnet_id --memory-gb memory_gb --node-count node_count --ocpu-count ocpu_count --pipeline-configuration-body yaml [OPTIONS]

  data-prepper-configuration-bodyは、YAML形式のデータ・プリッパー構成です。このコマンドは、データプリッパー構成を文字列として、または.yamlファイル内で受け入れます。構成を文字列として指定する場合は、新しい各行を「.」でエスケープする必要があります。

  pipeline-configuration-bodyは、YAML形式のパイプライン構成です。このコマンドは、パイプライン構成を文字列として、または.yamlファイル内で受け入れます。構成を文字列として指定する場合は、新しい各行を「.」でエスケープする必要があります。

  CLIコマンドのパラメータおよび値の完全なリストは、CLIコマンド・リファレンスを参照してください。

• CreateOpensearchClusterPipeline操作を実行して、パイプラインを作成します。