生成AIでのエンドポイントの管理
OCI生成AIカスタム・モデルを推論に使用するには、まずそのモデルのエンドポイントを作成する必要があります。プレイグラウンドで使用可能な事前トレーニング済モデルのエンドポイントを作成することもできます。
エンドポイントは、専用AIクラスタ上の指定されたポイントで、モデルがユーザー・リクエストを受け入れ、モデルの生成テキストなどのレスポンスを返信できます。ホスティング専用AIクラスタにエンドポイントを作成します。
ノート
- カスタム・モデルのアクティブ・エンドポイントを作成すると、モデルはプレイグラウンドのモデル・リストにリストされます。
- 各カスタム・モデルに複数のエンドポイントを含めることができます。
- 各ホスティング専用AIクラスタは、多数のエンドポイントをホストできます。専用AIクラスタの詳細ページで残りのエンドポイントの数を確認します。カスタム・モデルのエンドポイントする必要がなくなった場合は、そのエンドポイントを削除し、関連付けられた専用AIクラスタを使用して新しいエンドポイントをホストできます。
次のタスクを実行して、カスタム・モデルのエンドポイントを作成および管理できます: