OCIデータ・フロー・サービスのタスク実行構成の更新

OCIデータ・フロー・サービスで実行するように構成できるのは、データ統合で作成および公開する統合タスクのみです。

OCIデータ・フロー・サービスで実行するためのタスクの実行構成を更新する前に、必要なリソースおよびポリシーが作成されていることを確認してください。OCIデータ・フロー・サービスでタスクを実行するために必要な設定およびポリシーを参照してください。

データ統合では、タスクの作成時またはタスクの編集時に、タスクのOCI Data Flowサービス実行構成を更新します。

    1. 以下のいずれかを行います。
      • タスクを作成するプロジェクトまたはフォルダを開きます。
      • 編集するタスクが含まれるプロジェクトまたはフォルダを開きます。

      プロジェクトまたはフォルダの詳細ページを開くステップは、プロジェクトの詳細の表示またはフォルダの詳細の表示を参照してください。

    2. プロジェクトまたはフォルダの詳細ページで、「タスク」をクリックします。
    3. 「タスク」セクションで、次のいずれかを実行します。
      • タスクを作成するには、「タスクの作成」をクリックし、「統合」を選択します。

      • タスクを編集するには、タスクのアクション・メニュー(「アクション」メニュー)から「詳細の表示」を選択します。

      現在、OCIデータ・フロー・サービスで実行するように構成できるのは統合タスクのみです。

    4. 開いた作成または編集ページで、「構成の実行」セクションに移動します。

      デフォルトでは、「タスク実行サービス: OCIデータ統合サービス」というラベルで示されているように、データ統合で最初に作成するタスクはすべて、OCIデータ統合サービスで実行されるように構成されます。

      タスクがOCIデータ・フロー・サービスで実行されるように構成されている場合、ラベルはタスク実行サービス: OCIデータ・フロー・サービスです。

    5. 「構成の実行」セクションで、「編集」をクリックします。
    6. 「タスク実行構成の更新」ページで、次のいずれかのオプションを選択します。
      • OCI Data Integrationサービス: 固定デフォルト・リソースを使用して、データ統合でこのタスクを実行します。その他の構成は不要です。ステップ8に進みます。
      • OCIデータ・フロー・サービス: スケーラブル・リソースおよび動的割当てを使用して、データ・フロー・サービスでこのタスクを実行します。ステップ7に進み、実行構成を指定します。
    7. 次の選択を完了して、OCIデータ・フロー・サービスを使用するための実行プロパティを更新またはパラメータ化します。
      1. このタスクを実行するには、OCIデータ・フローのプールを選択します。
      2. (オプション)OCIデータ・フローでプライベート・エンドポイントを選択します。
      3. 「ログ・バケット・パス」で、OCI Data Flowアプリケーションの実行ログに使用するオブジェクト・ストレージ・バケットを選択します。

        タスクのOCIデータ・フロー・サービス実行構成を編集する初めての場合、かつバケットdis-df-system-bucketがオブジェクト・ストレージにすでに存在する場合、データ統合では、選択フィールドのoci://dis-df-system-bucket@<tenancy-name>で示されているように、そのバケットが自動的に選択されます。

      4. 「アーティファクト・バケット・パス」で、jarファイルやzipファイルなどのデータ統合実行ジョブ・アーティファクトに使用するオブジェクト・ストレージ・バケットを選択します。

        タスクのOCIデータ・フロー・サービス実行構成を編集する初めての場合、かつバケットdis-df-system-bucketがオブジェクト・ストレージにすでに存在する場合、データ統合では、選択フィールドのoci://dis-df-system-bucket@<tenancy-name>で示されているように、そのバケットが自動的に選択されます。

      5. (オプション)「アプリケーション・コンパートメント」で、データ・フロー・サービスでデータ統合サービス・タスクが実行されたときに作成されるOCIデータ・フロー・アプリケーションのコンパートメントを選択します。

        アプリケーション・コンパートメントが指定されていない場合は、データ統合アプリケーション・コンパートメントが使用されます。

      6. OCIデータ・フロー・ジョブに使用するワーカー(またはエグゼキュータ)の最小数を選択または入力します。

        デフォルトは1です。「最大ワーカー数」の値も1の場合、OCIデータ・フロー・ジョブの動的割当ては使用されません

      7. OCIデータ・フロー・ジョブに使用するワーカー(またはエグゼキュータ)の最大数を選択または入力します。

        デフォルトは1で、動的割当てが使用されないことを示します。OCIデータ・フロー・ジョブに動的割当てを使用する場合は、大きい値を指定します。この値は、「ワーカーの最小数」の値以上である必要があります。

      8. (オプション)「OCIデータ・フローSpark構成プロパティ」に、このタスクの実行に使用する1つ以上のSparkプロパティを入力します。

        Sparkプロパティはキーと値のペアです。必要に応じて、「別のプロパティ」をクリックして、キーと値のペアを追加します。

        追加できるSpark構成プロパティについては、サポートされているSparkプロパティを参照してください。

      9. (オプション)タスク実行プロパティを構成した後(6aを6hに設定)、構成済プロパティ値の下にある「パラメータ化」をクリックして、そのプロパティにパラメータを割り当てます。

        パラメータ化すると、データ統合によってString型のパラメータが追加され、そのプロパティに対して現在構成されている値にデフォルト・パラメータ値が設定されます。ラベル「パラメータ化」の後にパラメータ名が表示されます。例: パラメータ化: OCI_DF_POOL

        OCI Data Flowサービス実行構成プロパティのパラメータ名は、次のとおりです。

        タスク実行プロパティ パラメータ名
        Pool OCI_DF_POOL
        プライベート・エンドポイント OCI_DF_PRIVATE_ENDPOINT
        ログ・バケット・パス OCI_DF_LOG_BUCKET
        アーティファクト・バケット・パス OCI_DF_ARTIFACT_BUCKET
        アプリケーション・コンパートメント OCI_DF_APP_COMPARTMENT
        最小ワーカー数 OCI_DF_MIN_WORKERS
        最大ワーカー数 OCI_DF_MAX_WORKERS
        カスタムOCIデータ・フロー構成 OCI_DF_CUSTOM_OCI_DF_SPARK_CONFIG

        パラメータのアクションは次のとおりです。

        • 「編集」をクリックして、パラメータの説明を追加または編集します。パラメータ名とタイプは編集できません。パラメータの説明が追加されている場合は、設計時または実行時にパラメータ値を変更するためのヒントとしてパネルに表示されます。
        • プロパティをパラメータ化しない場合は、「削除」をクリックします。
      10. 「保存」をクリックします。
    8. タスクの作成または編集ページで、適切なボタンをクリックしてタスクを作成および保存します。
  • 統合タスクを更新するには、oci data-integration task update-integration-taskコマンドと必要なパラメータを使用します:

    oci data-integration task update-integration-task [OPTIONS]

    データ・ローダー・タスクを更新するには、oci data-integration task update-data-loader-taskコマンドと必要なパラメータを使用します:

    oci data-integration task update-data-loader-task [OPTIONS]

    CLIコマンドのフラグおよび変数オプションの完全なリストは、コマンドライン・リファレンスを参照してください。

  • タスクを更新するには、適切なリソース・サブタイプを指定してUpdateTask操作を実行します。