Oracle Cloud Infrastructureドキュメント

パイプラインの作成

データ統合のプロジェクトまたはフォルダにパイプラインを作成します。パイプラインとは、タスクやアクティビティを1つ以上の順序で接続したり、最初から最後に並行してデータ処理を編成するための設計時リソースです。

データ統合には、開始するための1つのデフォルト・プロジェクトが含まれています。他のプロジェクトまたはフォルダを作成するには、プロジェクトおよびフォルダを参照してください。

パイプラインに公開済タスクおよび設計時タスクを追加できます。公開済タスクは、現在のワークスペース内の任意のアプリケーション、同じコンパートメント内の別のワークスペースまたは別のコンパートメントから実行できます。

OCIデータ・フロー・サービスで実行するように構成されたタスクからの受信パラメータを構成する場合は、OCI_DF_LOG_BUCKETおよびOCI_DF_ARTIFACT_BUCKETのデフォルト・パラメータ値を編集する場合は、次の形式を使用します: oci://<bucket-name>@<tenancy-name>

    1. パイプラインを作成するプロジェクトまたはフォルダを開きます

      プロジェクトまたはフォルダの詳細ページを開くステップは、プロジェクトの詳細の表示またはフォルダの詳細の表示を参照してください。

    2. プロジェクトまたはフォルダの詳細ページで、「パイプライン」をクリックします。
    3. 「パイプライン」セクションで、「パイプラインの作成」をクリックします。

      データ統合では、デザイナがタブに表示されます。「演算子」パネルおよび「プロパティ」パネルが開き、開始演算子と終了演算子がキャンバスに配置されます。これらの演算子の詳細は、「開始演算子と終了演算子」を参照してください。

    4. 「プロパティ」パネルの「詳細」タブで、パイプラインの名前と説明(オプション)を入力します。

      識別子は、名前に基づいてシステムによって生成される値です。この値は変更できませんが、パイプラインを作成して保存した後は、識別子を更新できません。

    5. (オプション)「プロジェクトまたはフォルダ」フィールドで、「選択」をクリックし、パイプラインを保存する別のプロジェクトまたはフォルダを選択します。
    6. パイプライン演算子を「演算子」パネルからキャンバスにドラッグして、パイプラインを設計します。

      タスクまたは式の演算子を複製するには、演算子アイコンを右クリックして「複製」を選択します。次に、複製された演算子を選択し、「プロパティ」パネルで識別子を変更します。

      複製処理を使用する場合は、次の制限を考慮してください。

      • 複製処理は、開始、終了およびマージ演算子には使用できません。

      • 元の演算子が他の演算子に接続されている場合、接続は複製された演算子にコピーされません。

      • 元の演算子で前の演算子からの出力が構成されている場合、出力構成は複製された演算子にコピーされません。

    7. パイプラインを初めて保存するには、次のいずれかのボタンをクリックします。
      • 作成: パイプラインを作成して保存します。引き続きデザイナでパイプラインを作成および編集できます。
      • 作成してクローズ: パイプラインを作成して保存し、デザイナを閉じ、プロジェクトまたはフォルダの詳細ページの「パイプライン」リストに戻ります。

      次のボタンのいずれかをクリックして、デザイナでの作業中に定期的に保存します。

      • 保存: 前回の保存以降の変更をコミットします。保存後に編集を続行できます。
      • 保存してクローズ: プロジェクトまたはフォルダの詳細ページの「パイプライン」リストに戻り、変更をコミットします。
      • 別名保存: 現在のパイプラインを上書きせずに、変更内容(最後の保存以降)をコミットしてコピーに保存します。コピーの名前を指定し、コピーのために別のプロジェクトまたはフォルダを選択することも、コピーを現在のパイプラインと同じプロジェクトまたはフォルダに保存することもできます。
    8. 「プロパティ」パネルの「構成」タブで、タスク演算子の構成および終了演算子のルールを完了します。
    9. パイプラインの「プロパティ」パネルの「パラメータ」タブで、パイプライン・パラメータを表示および編集します。
    10. パイプラインを検証して、実行時に問題が発生する可能性のある警告またはエラーがないか確認します。デザイナ・ツールバーで、「検証」をクリックします。

      「データ統合」に「グローバル検証」パネルが表示されます。警告またはエラーが見つかった場合は、問題のリストで識別子名をクリックすると、その警告またはエラーのある演算子がキャンバスにフォーカスされます。

    11. パイプラインでの作業が終了したら、「作成して閉じる」または「保存して閉じる」をクリックします。
    パイプラインを実行するには、パイプライン・タスクを作成します。「パイプライン・タスクの作成」を参照してください。

  • パイプラインを作成するには、oci data-integration pipeline createコマンドと必要なパラメータを使用します:

    oci data-integration pipeline create [OPTIONS]

    CLIコマンドのフラグおよび変数オプションの完全なリストは、コマンドライン・リファレンスを参照してください。

  • CreatePipeline操作を実行して、パイプラインを作成します。