OCI Data Flowタスクの作成

データ統合のOCIデータ・フロー・タスクは、OCIデータ・フローに作成された既存のアプリケーションに関連付けられます。

OCIデータ・フロー・タスクを作成する前に、「必要なポリシーと設定」の説明に従って、データ統合でOCIデータ・フロー・タスクを操作するために必要なポリシー、設定および情報があることを確認してください。

OCI Data Flowタスクは、プロジェクトまたはフォルダに作成します。データ統合には、開始するための1つのデフォルト・プロジェクトが含まれています。別のプロジェクトまたはフォルダを作成するには、プロジェクトおよびフォルダを参照してください。

データ統合では、デフォルトでは、特定の時間にタスクの同時またはパラレル・タスク実行を設定できます。手動で開始された同時タスク実行を禁止するには、タスクの作成時に「タスクの同時実行の無効化」チェック・ボックスを選択します。同時タスク実行が許可されていない場合、非端末状態の進行中のタスク実行がすでにあると、タスクの実行リクエストは失敗します。

ノート

シェイプの使用に関する柔軟な考慮事項:

フレキシブル・シェイプを使用する場合(VM.Standard.E4など)。フレックス)ドライバ・ノードまたはエグゼキュータ・ノード(あるいはその両方)の場合、OCPUの数と必要なメモリー量をカスタマイズします。
フレキシブル・シェイプは、そのシェイプに使用できる特定の範囲のOCPU値を提供します。
シェイプに使用するOCPUの数によって、割り当てることができるメモリー値の範囲が決まります。
ドライバまたはエグゼキュータ・シェイプをパラメータ化する場合は、シェイプにOCPUおよびメモリーを構成する必要があります。OCPUおよびメモリーの値は、シェイプ・パラメータ値がフレキシブル・シェイプの場合にのみ使用されます。パラメータに非フレキシブル・シェイプが構成されている場合、OCPUおよびメモリー値は無視されます。

1. タスクを作成するプロジェクトまたはフォルダを開きます。
  
  プロジェクトまたはフォルダの詳細ページを開くステップは、プロジェクトの詳細の表示またはフォルダの詳細の表示を参照してください。
2. プロジェクトまたはフォルダの詳細ページで、「タスク」をクリックします。
3. 「タスク」セクションで、「タスクの作成」をクリックし、「OCIデータ・フロー」を選択します。
4. 「OCI Data Flowタスクの作成」ページで、名前およびオプションの説明を入力します。
  
  識別子は、名前に基づいてシステムによって生成される値です。この値は変更できませんが、タスクを作成して保存した後は識別子を更新できません。
5. このタスクの同時実行を禁止する場合は、「タスクの同時実行を無効化」チェック・ボックスを選択します。
6. (オプション)「プロジェクトまたはフォルダ」で、「選択」をクリックし、タスクを保存する別のプロジェクトまたはフォルダを選択します。
7. 最初にタスクを保存するには、次のいずれかのボタンをクリックします。
  
  作成: タスクを作成して保存します。タスクの作成と編集を続行できます。
  
  作成してクローズ: タスクを作成して保存し、ページを閉じ、プロジェクトまたはフォルダの詳細ページのタスク・リストに戻ります。
8. 次のいずれかのボタンをクリックして、作業中に定期的に保存します。
  
  保存: 前回の保存以降の変更をコミットします。保存後に編集を続行できます。
  
  保存してクローズ: プロジェクトまたはフォルダの詳細ページのタスク・リストに戻り、変更をコミットします。
  
  別名保存: 現在のタスクを上書きせずに、変更内容(最後の保存以降)をコミットしてコピーに保存します。コピーの名前を指定し、コピーのために別のプロジェクトまたはフォルダを選択することも、コピーを既存のタスクと同じプロジェクトまたはフォルダに保存することもできます。
9. 「OCI Data Flowアプリケーション」セクションで、「選択」をクリックし、次のステップに従って、このタスクが実行されるOCI Data Flowアプリケーションを選択します:
  
  「OCI Data Flowアプリケーションの選択」ページで、タスクに関連付けるアプリケーションが含まれるコンパートメントを選択します。
  
  「アプリケーション」リストで、アプリケーションを選択します。
  
  「選択」をクリックします。
  
  「OCIデータ・フロー・タスクの作成」ページに戻ります。
10. 「プロパティの構成」セクションで、「構成」をクリックして、選択したアプリケーションのプロパティを構成します。
  
  「構成」ページが表示されます。
  
  (オプション)「スカラー・パラメータ」セクションで、「引数」プロパティ・フィールドに引数の指定に使用するスカラー・パラメータを作成します。
  
  「スカラー・パラメータの追加」をクリックして、スカラー・パラメータを作成します。表示されるパネルで、名前と説明(オプション)を入力し、サポートされているタイプのリストからデータ型を選択します。選択したデータ型によっては、入力する他のフィールドがある場合があります。たとえば、VARCHAR型には「長さ」フィールドが含まれます。
  
  このスカラー・パラメータのデフォルト値を設定し、「追加」をクリックします。パネルが閉じ、完全な「構成」ページが再表示されます。
  
  スカラー・パラメータの作成後は、設計時または実行時にデフォルト値のみを変更できます。
  
  「スカラー・パラメータの表示」をクリックして、このタスクですでに作成され、使用できるスカラー・パラメータのリストを表示します。表示されるパネルで、使用するスカラー・パラメータの名前を書き留めます。
  
  次のプロパティ値を直接指定するか、プロパティを(デフォルト値で)パラメータ化します。このステップでアプリケーション・プロパティを明示的に構成しない場合は、OCI Data Flowアプリケーションで定義されているデフォルト値が使用されます。
  
  ドライバ・シェイプ: Sparkドライバ・ホストに使用するクラスタ・ノードのタイプを選択します。
  
  フレキシブル・シェイプが選択されている場合は、選択したシェイプに割り当てることができるOCPUの数およびメモリー量を選択します。OCPUの許容値は、選択したシェイプによって異なります。メモリーの許容値は、選択したOCPUの値によって異なります。
  
  エグゼキュータ・シェイプ: 各Sparkエグゼクティブ・ホストに使用するクラスタ・ノードのタイプを選択します。
  
  フレキシブル・シェイプが選択されている場合は、選択したシェイプに割り当てることができるOCPUの数およびメモリー量を選択します。OCPUの許容値は、選択したシェイプによって異なります。メモリーの許容値は、選択したOCPUの値によって異なります。
  
  エグゼクティブの数: OCI Data Flowアプリケーションの実行時に起動するSparkエグゼキュータ・クラスタ・ノードの数を入力します。
  
  引数: Java、PythonまたはScalaアプリケーションのメイン・クラスに渡す引数のカンマ区切りリストを入力します。
  
  フィールドにスカラー・パラメータを使用するには、パラメータに構文${PARAMETER_NAME}を入力するか、複数のパラメータを追加する場合はカンマ区切りリストを入力します。たとえば: ${PARAMETER_NAME1}, ${PARAMETER_NAME2}
  
  パラメータ化された引数値にスカラー・パラメータを使用する場合、「引数」プロパティはパラメータ化できません。プロパティをパラメータ化するには、フィールドのスカラー・パラメータを削除します。
  
  パラメータをプロパティ値に割り当てるには:
  
  プロパティの横にある「パラメータの割当て」をクリックします。
  
  ドライバまたはエグゼキュータ・シェイプをパラメータ化する場合は、シェイプにOCPUおよびメモリーを構成する必要があります。OCPUおよびメモリーの値は、シェイプ・パラメータ値がフレキシブル・シェイプの場合にのみ使用されます。パラメータに非フレキシブル・シェイプが構成されている場合、OCPUおよびメモリー値は無視されます。
  
  ノート
  
  スカラーパラメータを使用する場合は、Argumentsプロパティーをパラメータ化できません。プロパティをパラメータ化するには、フィールドの${PARAMETER_NAME}を削除し、「パラメータの割当て」をクリックします。
  
  「パラメータの割当て」ページで、次のいずれかを実行します。
  
  リストからパラメータを選択します。同じプロパティ・タイプのパラメータのみが、選択のためにリストに表示されます。
  
  「パラメータの追加」をクリックします。「パラメータの追加」パネルで、名前(識別子)とオプションの説明を入力します。次に、プロパティ・タイプに応じて、デフォルト値を選択するか、プロパティのデフォルト値を入力して「追加」をクリックします。追加されたパラメータは、「パラメータの割当て」ページで自動的に選択されます。
  
  「割当て」をクリックします。
  
  フレキシブル・シェイプのOCPUおよびメモリー値をパラメータ化すると、そのプロパティで許容可能な値の範囲内にない値を指定すると、データ統合によってエラー・メッセージが表示されます。パラメータを編集し、許容値のいずれかを入力します。
  
  (オプション)「Spark構成プロパティ」で、プロパティのキー・ペアを追加します。さらにキー・ペアを追加する必要がある場合は、「別のプロパティ」をクリックします。
  
  追加できるSpark構成プロパティは、選択したOCIデータ・フロー・アプリケーションのSparkバージョンによって異なる場合があります。サポートされているSparkプロパティを参照してください。
  
  OCIデータ・フロー・アプリケーション・プロパティおよびSparkプロパティの構成が終了したら、「完了」をクリックします。
  
  「OCIデータ・フロー・タスクの作成」ページに戻ります。
  
  「プロパティの構成」セクションで、割り当てたパラメータの数が「パラメータの表示」の横カッコ内に表示されます。
11. (オプション)「パラメータの表示」をクリックして、割り当てられたパラメータの確認、デフォルト・パラメータ値の編集、またはパラメータの削除を行います。
  
  「パラメータの表示」ページで、パラメータのデフォルト値を編集するか、パラメータの「アクション」メニュー()を使用してパラメータを削除します。パラメータを削除すると、そのパラメータに割り当てられている値がそのプロパティのデフォルト値になります。
12. (オプション)「タスクの検証」セクションで、「検証」をクリックしてプロパティ構成を確認します。
13. タスクの構成が終了したら、「作成して閉じる」または「保存して閉じる」をクリックします。
OCI Data Flowタスクをデータ統合のアプリケーションに公開した後で、タスクを実行するか、タスクを実行するようにスケジュールします。情報の公開については、データ統合アプリケーションへの公開を参照してください。
OCI data-integration task create-task-from-dataflow-taskコマンドと必要なパラメータを使用して、OCIデータ・フロー・タスクを作成します:
oci data-integration task create-task-from-dataflow-task [OPTIONS]
CLIコマンドのフラグおよび変数オプションの完全なリストは、コマンドライン・リファレンスを参照してください。
適切なリソース・サブタイプを指定してCreateTask操作を実行し、OCIデータ・フロー・タスクを作成します。

Oracle Cloud Infrastructureドキュメント

OCI Data Flowタスクの作成