統合タスクの作成

• コンソール
• CLI
• API

• 1. タスクを作成するプロジェクトまたはフォルダを開きます。

     プロジェクトまたはフォルダの詳細ページを開くステップは、プロジェクトの詳細の表示またはフォルダの詳細の表示を参照してください。

  2. プロジェクトまたはフォルダの詳細ページで、「タスク」をクリックします。
  3. 「タスク」セクションで、「タスクの作成」をクリックし、「統合」を選択します。
  4. 「統合タスクの作成」ページで、次の基本情報を入力します:
     1. 「名前」および「識別子」フィールドに、必要な値を入力するか、このタスク(次のステップ)で選択したデータ・フローの名前に基づいて、データ統合によって値が自動的に入力されるようにします。

        データ統合でフィールドを自動的に入力する場合は、データ・フローを選択する前に値を変更または入力しないでください。選択したデータ・フローの名前に基づく値がフィールドに移入された後、値を変更できます。

        どちらの場合も、識別子は名前に基づいてシステムによって生成される値です。この値は変更できませんが、タスクを作成して保存した後は識別子を更新できません。

     2. (オプション)タスクの説明を入力します。
     3. このタスクの同時実行を禁止する場合は、「タスクの同時実行を無効化」チェック・ボックスを選択します。
     4. (オプション)「プロジェクトまたはフォルダ」で、「選択」をクリックし、タスクを保存する別のプロジェクトまたはフォルダを選択します。
  5. 「データ・フロー」セクションで、「選択」をクリックし、次のステップに従って、このタスクで実行するデータ・フローを選択します:
     1. 「データ・フローの選択」パネルで、次のいずれかのアクションを実行します:
        • 現在作業中のプロジェクトまたはフォルダに保存されているデータ・フローを選択します。
        • 別のプロジェクトまたはフォルダに保存されているデータ・フローを選択するには、現在のプロジェクトまたはフォルダ名の横にある「選択」をクリックします。表示される「Select project or folder」パネルでプロジェクトまたはフォルダを選択し、「Select」をクリックします。次に、使用可能なデータ・フローのリストからデータ・フローを選択します。
     2. 「選択」をクリックします。

        データ統合によって、選択したデータ・フローの検証が開始され、「統合タスクの作成」ページに戻ります。

        データ・フローにエラーまたは警告がある場合は、データ・フローの名前をクリックすると、データ・フローが新しいタブで開きます。エラーまたは警告を解決し、データ・フローを保存します。「統合タスクの作成」ページに戻ると、データ統合によってデータ・フローが自動的に再検証されます。

  6. 最初にタスクを保存するには、次のいずれかのボタンをクリックします。

     • 作成: タスクを作成して保存します。タスクの作成と編集を続行できます。

     • 作成してクローズ: タスクを作成して保存し、ページを閉じ、プロジェクトまたはフォルダの詳細ページのタスク・リストに戻ります。

  7. 次のいずれかのボタンをクリックして、作業中に定期的に保存します。

     • 保存: 前回の保存以降の変更をコミットします。保存後に編集を続行できます。

     • 保存してクローズ: プロジェクトまたはフォルダの詳細ページのタスク・リストに戻り、変更をコミットします。

     • 別名保存: 現在のタスクを上書きせずに、変更内容(最後の保存以降)をコミットしてコピーに保存します。コピーの名前を指定し、コピーのために別のプロジェクトまたはフォルダを選択することも、コピーを既存のタスクと同じプロジェクトまたはフォルダに保存することもできます。

  8. 「構成の実行」セクションで、次のいずれかを実行します:

     • デフォルトでは、データ統合で作成するすべてのタスクは、「タスク実行サービス: OCIデータ統合サービス」というラベルで示されているように、OCIデータ統合サービスで実行されるように構成されます。追加の構成は不要です。ステップ10に進みます。

     • OCIデータ・フロー・サービスでこのタスクを実行するには、「編集」をクリックします。

       ノート
       
       OCI Data Flowサービスの使用に必要なリソースおよびポリシーがすでに作成されていることを確認してください。OCIデータ・フロー・サービスでタスクを実行するために必要な設定およびポリシーを参照してください。

       前提条件が満たされている場合は、ステップ9に進んでタスクの実行構成を更新し、必要に応じて実行プロパティのパラメータを使用します。

  9. 「タスク実行構成の更新」ページで、「OCIデータ・フロー・サービス」をクリックします。次に、次の選択を完了して、OCIデータ・フローの実行プロパティを更新またはパラメータ化します。

     これらのステップは、OCIデータ・フロー・サービスでタスクを実行するために必要な設定およびポリシーの説明に従って前提条件タスクを満たした後にのみ実行する必要があります。

     1. このタスクを実行するには、OCIデータ・フローのプールを選択します。
     2. (オプション)OCIデータ・フローでプライベート・エンドポイントを選択します。
     3. 「ログ・バケット・パス」で、OCI Data Flowアプリケーションの実行ログに使用するオブジェクト・ストレージ・バケットを選択します。

        タスクのOCIデータ・フロー・サービス実行構成を編集する初めての場合、かつバケットdis-df-system-bucketがオブジェクト・ストレージにすでに存在する場合、データ統合では、選択フィールドのoci://dis-df-system-bucket@<tenancy-name>で示されているように、そのバケットが自動的に選択されます。

     4. 「アーティファクト・バケット・パス」で、jarファイルやzipファイルなどのデータ統合実行ジョブ・アーティファクトに使用するオブジェクト・ストレージ・バケットを選択します。

        タスクのOCIデータ・フロー・サービス実行構成を編集する初めての場合、かつバケットdis-df-system-bucketがオブジェクト・ストレージにすでに存在する場合、データ統合では、選択フィールドのoci://dis-df-system-bucket@<tenancy-name>で示されているように、そのバケットが自動的に選択されます。

     5. (オプション)「アプリケーション・コンパートメント」で、データ・フロー・サービスでデータ統合サービス・タスクが実行されたときに作成されるOCIデータ・フロー・アプリケーションのコンパートメントを選択します。

        アプリケーション・コンパートメントが指定されていない場合は、データ統合アプリケーション・コンパートメントが使用されます。

     6. OCIデータ・フロー・ジョブに使用するワーカー(またはエグゼキュータ)の最小数を入力します。

        デフォルトは1です。「最大ワーカー数」の値も1の場合、OCIデータ・フロー・ジョブの動的割当ては使用されません。

     7. OCIデータ・フロー・ジョブに使用するワーカー(またはエグゼキュータ)の最大数を入力します。

        デフォルトは1で、動的割当てが使用されないことを示します。OCIデータ・フロー・ジョブに動的割当てを使用する場合は、大きい値を指定します。この値は、「最小ワーカー数」の値以上である必要があります。

     8. (オプション)「OCIデータ・フローSpark構成プロパティ」に、タスク実行に使用する1つ以上のSparkプロパティを入力します。

        Sparkプロパティはキーと値のペアです。必要に応じて、「別のプロパティ」をクリックして、キーと値のペアを追加します。

        追加できるSpark構成プロパティについては、サポートされているSparkプロパティを参照してください。

     9. (オプション)タスク実行プロパティを構成した後(9aを9hに設定)、構成済プロパティ値の下にある「パラメータ化」をクリックして、そのプロパティにパラメータを割り当てます。

        パラメータ化すると、データ統合によってString型のパラメータが追加され、そのプロパティに対して現在構成されている値にデフォルト・パラメータ値が設定されます。ラベル「パラメータ化」の後にパラメータ名が表示されます。例: パラメータ化: OCI_DF_POOL

        パラメータ名は、次のとおりです。

        タスク実行プロパティ	パラメータ名
        Pool	OCI_DF_POOL
        プライベート・エンドポイント	OCI_DF_PRIVATE_ENDPOINT
        ログ・バケット・パス	OCI_DF_LOG_BUCKET
        アーティファクト・バケット・パス	OCI_DF_ARTIFACT_BUCKET
        アプリケーション・コンパートメント	OCI_DF_APP_COMPARTMENT
        最小ワーカー数	OCI_DF_MIN_WORKERS
        最大ワーカー数	OCI_DF_MAX_WORKERS
        カスタムOCIデータ・フロー構成	OCI_DF_CUSTOM_OCI_DF_SPARK_CONFIG

        パラメータのアクションは次のとおりです。

        • 「編集」をクリックして、パラメータの説明を追加または編集します。パラメータ名とタイプは編集できません。パラメータの説明が追加されている場合は、設計時または実行時にパラメータ値を変更するためのヒントとしてパネルに表示されます。
        • プロパティをパラメータ化しない場合は、「削除」をクリックします。
     10. 「保存」をクリックします。
  10. (オプション)選択したデータ・フローでパラメータが割り当てられている場合、次のステップに従ってデフォルト・パラメータ値を表示および変更します:
      1. 「パラメータの構成」セクションで、「構成」をクリックします。
      2. 「パラメータの構成」ページで、必要に応じてデフォルト値を変更します。

         デフォルト値を編集する場合は、次の制限を考慮してください。

         • BICCソースの増分抽出戦略が、データ統合システム・パラメータSYS.LAST_LOAD_DATEによって管理される日付を使用するように構成されている場合、設計時に日付値を変更することはできません。

         • BICCソースの増分抽出戦略が、追加したパラメータ化された最終抽出日を使用するように構成されている場合は、設計時および実行時に日付値を変更できます。

         • パラメータ化されたターゲット・データ・エンティティがマージ戦略を使用するように構成されている場合は、マージ・キーの選択を変更できます。

         • ステージングの場所を必要とするパラメータ化されたデータ・アセットの場合: そのデータ・アセットにデフォルト・ステージングの場所が指定されていないデータ・アセットを選択すると、データ統合によって警告通知が表示されます。通知が表示されたら、次のいずれかのオプションを選択します。
           • デフォルト・ステージングの場所を追加して、そのデータ・アセットを更新します。
           • デフォルトのステージングの場所を持つ別のデータ・アセットを選択します。

      3. 「構成」または「取消」をクリックします。
         「統合タスクの作成」ページに戻ります。
  11. (オプション)「タスクの検証」セクションで、「検証」をクリックしてパラメータ構成を確認します。

      エラーまたは警告がある場合は、「メッセージの表示」をクリックします。エラーがあれば、タスクを公開する前に解決します。

  12. タスクの構成が終了したら、「作成して閉じる」または「保存して閉じる」をクリックします。

  統合タスクをデータ統合のアプリケーションに公開した後で、タスクを実行するか、タスク実行をスケジュールします。必要に応じて、統合タスクをOCIデータ・フローに公開することもできます。公開情報については、タスク公開を参照してください。

• 統合タスクを作成するには、oci data-integration task create-integration-taskコマンドと必要なパラメータを使用します:

  oci data-integration task create-integration-task [OPTIONS]

  CLIコマンドのフラグおよび変数オプションの完全なリストは、コマンドライン・リファレンスを参照してください。

• 適切なリソース・サブタイプを指定してCreateTask操作を実行し、統合タスクを作成します。