データ・フローの詳細

データ・フローSpark診断ログのロギング詳細。

リソース

アプリケーション

ログ・カテゴリ


API値(ID):	コンソール(表示名)	説明
all	診断	Apache Sparkフレームワーク(ドライバおよびエグゼキュータ)によって生成されたすべてのログが含まれます。

可用性

データ・フロー・ロギングは、商用レルムのすべてのリージョンで使用できます。

Spark診断ログは、データ・フロー・アプリケーション・レベルでのみ有効にでき、オーバーライドすることはできません。

データ・フロー・アプリケーションのロギングを有効にすると、新しいデータ・フロー実行発行のためにSpark診断ログがストリーミングされます。すでに受入済または進行中の実行は更新されません。

データ・フローSpark診断ログの内容


プロパティ	説明
specversion	ログのOracle Cloud Infrastructure Loggingスキーマ・バージョン。
type	`com.oraclecloud.{service}.{resource-type}.{category}`規則に従ったログ・カテゴリ。 com.oraclecloud.dataflow.run.driver com.oraclecloud.dataflow.run.executor
source	メッセージを生成したリソースの名前。
subject	イベントを生成した特定のサブリソース。
ID	このバッチ収集のソース一意識別子。
time	ファンクション出力が生成された、RFC 3339タイムスタンプ・フォーマットの時間。
oracle.logid	Oracle Cloud Infrastructure Loggingのログ・オブジェクトのOCID。
oracle.loggroupid	Oracle Cloud Infrastructure Loggingのログ・グループのOCID。
oracle.compartmentid	Oracle Cloud Infrastructure Loggingのログ・グループが存在するコンパートメントのOCID。
oracle.tenantid	テナントのOCID。
oracle.ingestedtime	ログ行がOracle Cloud Infrastructure Loggingによって収集された時間(RFC 3339タイムスタンプ形式)。
データ[i].id	このログ・イベントの一意の識別子。
データ[i].time	この特定のログ・エントリが生成された時刻。RFC 3339で指定されているフォーマットに準拠する必要があります。
data[i].data	ログ・イベントを表す空でないデータ。
data.data[i].level	ロギング・イベントのロギング・レベル。
data.data[i].message	イベントの詳細を説明するメッセージ。
data.data[i].opcRequestId	データ・フロー実行が送信され、createRunレスポンスに含まれるときに生成された一意のOracle割当てリクエストID。
data.data[i].runId	リソース(Sparkドライバまたはエグゼキュータ)がこのメッセージを生成したデータ・フロー実行のOCID。
data.data[i].thread	ロギング・イベントを生成したスレッドの名前。

データ・フローSpark診断ログの例

{
  "datetime": 1687551602245,
  "logContent": {
    "data": {
      "logLevel": "INFO",
      "message": "Execution complete.",
      "opcRequestId": "<unique_ID>",
      "runId": "ocid1.dataflowrun.oc1.ca-toronto-1.<unique_ID>",
      "thread": "shaded.dataflow.oracle.dfcs.spark.wrapper.DataflowWrapper"
    },
    "id": "<unique_ID>",
    "oracle": {
      "compartmentid": "ocid1.tenancy.oc1..<unique_ID>",
      "ingestedtime": "2023-06-23T20:20:06.974Z",
      "loggroupid": "ocid1.loggroup.oc1.ca-toronto-1.<unique_ID>",
      "logid": "ocid1.log.oc1.ca-toronto-1.<unique_ID>",
      "tenantid": "ocid1.tenancy.oc1..<unique_ID>"
    },
    "source": "Sample CSV Processing App",
    "specversion": "1.0",
    "subject": "spark-driver",
    "time": "2023-06-23T20:20:02.245Z",
    "type": "com.oraclecloud.dataflow.run.driver"
  },
  "regionId": "ca-toronto-1"
}

CLIの使用

データ・フローのSpark診断ロギングを有効にするコマンドの例は、Oracle Cloud Infrastructure LoggingのSpark診断ログの有効化を参照してください。

Oracle Cloud Infrastructureドキュメント