生成AIのメトリック詳細
OCI生成AIリソースは、このサービスで提供されるメトリックを介してモニターできます。OCIモニタリング・サービスを使用して、カスタム問合せおよびアラームを作成し、これらのメトリックがアラーム指定トリガーを満たしたときに通知することもできます。
ホスティング専用AIクラスタ・メトリック
この項では、ホスティング専用AIクラスタのメトリックをリストします。ファインチューニング専用クラスタにはメトリックが表示されません。
| メトリック表示名 | 説明 |
|---|---|
| 使用率 | 時間の経過とともに割合として表示される専用AIクラスタの使用可能な容量 |
| 入力の合計数 | このホスティング専用AIクラスタのモデルが処理した入力トークンの数 |
| 出力の合計数 | このホスティング専用AIクラスタのモデルが処理した出力トークンの数 |
前述のメトリックは、ホスティング専用AIクラスタの詳細ページから取得できます。
エンドポイント・メトリック
この項では、生成AIのモデル・エンドポイントのメトリックをリストします。
| メトリック表示名 | 説明 |
|---|---|
| 合計処理時間 | コール終了までの合計処理時間 |
| コール数 | このエンドポイントでホストされているモデルが処理した入力トークンの数 |
| サービス・エラー数 | サービス内部エラーのあるコール数 |
| クライアント・エラー数 | クライアント側エラーのあるコール数 |
| 入力の合計数 | このエンドポイントでホストされているモデルが処理した入力トークンの数 |
| 出力の合計数 | このエンドポイントでホストされているモデルが処理した出力トークンの数 |
| コールの成功率 | 成功したコールを合計コール数で割った値 |
前述のメトリックは、エンドポイントの詳細ページから取得できます。
カスタム・クエリーのメトリック
モニタリング・サービスを使用して、生成AIクラスタおよびエンドポイント・メトリックのカスタム問合せおよびアラームを作成できます。
この項では、モニタリング・サービスを使用して生成AIメトリックのカスタム問合せを作成するために使用できるパラメータを示します。
| メトリック・パラメータ | 表示名 | 説明 |
|---|---|---|
ClientErrorCount |
クライアント・エラー数 | クライアント側エラーのあるコール数 |
InputTokenCount |
入力の合計数 | このリソースでホストされているモデルが処理した入力トークンの数 |
InvocationLatency |
合計処理時間 | このリソースでコールが終了する合計処理時間 |
OutputTokenCount |
出力の合計数 | このリソースでホストされているモデルが処理した出力トークンの数 |
ServerErrorCount |
サービス・エラー数 | サービス内部エラーのあるコール数 |
TotalInvocationCount |
コール数 | コール数 |
これらのカスタム問合せの作成方法のステップは、生成AIメトリックの問合せの作成を参照してください。