リファレンス

Apache Spark: Apache Sparkは、大量のデータ処理用の統合分析エンジンであり、ストリーミング、SQL、機械学習およびグラフ処理用の組込みモジュールが組み込まれています。

Sparkアプリケーション: Sparkアプリケーションは、Spark APIを使用して分散データ処理タスクを実行します。Sparkアプリケーションは、Java、Python、その他の複数の言語で記述できます。Sparkアプリケーションは、Sparkフレームワーク内で実行されるJARファイルなどのファイルです。

データ・フロー・アプリケーション: データ・フロー・アプリケーションは、Sparkアプリケーションと連携してSparkのバージョン、デフォルトのリソース・サイズ設定およびデフォルトのアプリケーション・パラメータを指定するテンプレートです。

データ・フローの実行:データ・フロー・アプリケーションの実行は複数回実行できます。それらの結果はそれぞれ、データ・フロー実行オブジェクトになります。リソースのサイズやパラメータは、オプションでユーザーが実行時にオーバーライドできます。データ・フロー実行では、統計およびログなど、アプリケーションの実行に関連する情報がトラッキングされます。

Spark UI: Spark UIはApache Sparkに含まれ、Sparkアプリケーションのデバッグおよび診断に重要なツールです。実行の許可ポリシーの対象となる、任意のデータ・フロー実行のSpark UIにアクセスできます。

Sparkログ: Sparkでは、デバッグおよび診断に役立つログ・ファイルが生成されます。各データ・フロー実行では、実行の認可ポリシーの対象となる、Spark UIまたはAPIを介してアクセスできるログ・ファイルが自動的に保存されます。