Oracle Cloud Infrastructureドキュメント

Logstashを使用したOpenSearchクラスタへのデータの取込み

Logstashを使用して、ログ・データをOpenSearchクラスタに収集します。

Logstashは、様々なソースからデータを取り込み、処理および変換し、OpenSearchクラスタなどの宛先に送信できるデータ処理パイプラインです。

前提条件

このトピックで説明するステップに進む前に、次のタスクを完了してください。

LogStashのインストールと構成

  1. OpenSearch Ingest Tools (2.8)からLogstash OSS with OpenSearch Output Pluginをダウンロードし、ローカル・マシンにインストールします。これは現在、LinuxおよびMacOSベースのシステムでのみ使用できます。

  2. ダウンロードしたLogstash tarballを抽出し、Logstashディレクトリに移動します。

  3. Logstashディレクトリのconfigサブディレクトリにパイプライン構成ファイルlogstash.confを作成します。

    次に、ローカル・マシンからログ・ファイルを読み取り、ログ・データをOpenSearchクラスタに収集するパイプライン構成ファイルの例を示します。該当するテキストをクラスタの詳細に置き換えます。hostのクラスタのAPIエンドポイントを指定します。OpenSearchクラスタの詳細の取得を参照してください。userおよびpasswordには、OpenSearchクラスタのデータを収集するための十分な権限を持つユーザーを指定します。たとえば、クラスタの作成時に指定したロールベースのアクセス制御にプライマリ・ユーザー・アカウントを使用できます。「OpenSearchを使用した検索でのロールベースのアクセス制御」を参照してください。

    input {
  file{
    path => "/path/to/log/file/application.log"
    start_position => "beginning"
  }
}
 
filter{
  #Optional and can be empty
}
 
output {
  opensearch {
  hosts => "<cluster API endpoint>"
  user => "<cluster user>"
  password => "<cluster password>"
  index => "<index name>"
  ssl_certificate_verification => true
  }
}

  4. 次のコマンドを実行して、Logstashを起動します。

    bin/logstash -f config/logstash.conf

Logstashが起動すると、ファイル入力プラグインを使用してファイル・システムに新しいログが継続的に読み取られます。その後、LogstashはOpenSearch出力プラグインを使用して、新しいログ・データをOpenSearchクラスタに収集します。

クラスタのOpenSearchダッシュボードに接続して、indexに指定した名前の索引をパイプライン構成ファイルでチェックすることで、ログ・データがOpenSearchクラスタに収集されたことを確認できます。タスク6: OpenSearchダッシュボードへの接続およびOpenSearchダッシュボードのクイックスタート・ガイドを参照してください。