モデル・デプロイメント

AIクイック・アクションを使用してモデルをデプロイするには、次のステップに従います。

モデル・デプロイメントの作成

モデル・デプロイメントは、モデル・エクスプローラで「デプロイ準備完了」タグを使用して、または微調整されたモデルを使用して、基礎モデルから作成できます。AIクイック・アクションでモデル・デプロイメントを作成する場合、OCIデータ・サイエンス・サービスの管理対象リソースであるOCIデータ・サイエンス・モデル・デプロイメントを作成します。モデルは、OCIでHTTPエンドポイントとしてデプロイできます。

データ・サイエンス・モデル・デプロイメントを使用するには、必要なポリシーが必要です。モデル・デプロイメントのコンピュート・シェイプを選択できます。ロギングを設定して、モデル・デプロイメントを監視できます。ロギングはオプションですが、モデル・デプロイメントのエラーのトラブルシューティングに役立つことを強くお薦めします。ロギングを有効にするために必要なポリシーが必要です。ログの詳細は、モデル・デプロイメント・ログを参照してください。「拡張」オプションでは、デプロイするインスタンス数およびLoad Balancer帯域幅を選択できます。

モデルのデプロイの詳細およびヒントは、GitHubのモデルのデプロイメントを参照してください。

    1. モデル・エクスプローラにナビゲートします。
    2. デプロイするモデルのモデル・カードを選択します。
    3. 「デプロイ」を選択して、モデルをデプロイします。
      「モデルのデプロイ」ページが表示されます。
      1. デプロイメントに名前を付けます。
      2. コンピュート・シェイプを選択します。
      3. オプション: ログ・グループを選択します。
      4. オプション: 予測およびアクセス・ログを選択します。
      5. オプション: プライベート・エンドポイントを選択します。
        ノート

        プライベート・エンドポイントは、モデル・デプロイメント・リソースの前提条件として作成する必要があります。

        モデル・デプロイメントのプライベート・エンドポイント機能は、OC1レルムでのみ有効です。その他のレルムの場合は、データ・サイエンスのサービス・リクエストを作成します。

      6. 「拡張オプションの表示」を選択します。
      7. インスタンス数を更新し、Load Balancerの帯域幅を更新します。
      8. オプション: 「推論コンテナ」で、推論コンテナを選択します。
      9. オプション: 「推論モード」を選択します。
      10. 「デプロイ」を選択します
    4. 「AIクイック処理」で、「デプロイメント」を選択します。
      モデル・デプロイメントのリストが表示されます。ステップ3で作成したデプロイメントの場合は、「ライフサイクルの状態」「アクティブ」になるまで待ってから、それをクリックして使用します。
    5. スクロールして「推論ウィンドウ」を表示します。
    6. 「プロンプト」にテキストを入力して、モデルをテストします。
    7. (オプション)必要に応じてモデル・パラメータを調整します。
    8. 「生成」をクリックします。
      「レスポンス」に出力が表示されます。
  • AIクイック処理CLIコマンドのパラメータおよび値の完全なリストは、AIクイック処理CLIを参照してください。

  • このタスクはAPIを使用して実行できません。

AIクイック処理でのモデル・デプロイメントの起動

CLIまたはPython SDKからAIクイック・アクションでモデル・デプロイメントを起動できます。

詳細は、GitHubのモデル・デプロイメントのヒントに関する項を参照してください。

モデル・アーティファクト

モデル・アーティファクトの検索場所。

モデルがモデル・デプロイメント・インスタンスにダウンロードされると、/opt/ds/model/deployed_model/<object_storage_folder_name_and_path>フォルダにダウンロードされます。