評価
AIクイック・アクションによるモデル・パフォーマンスの評価
デプロイ済モデルを使用すると、モデル評価を作成してそのパフォーマンスを評価できます。オブジェクト・ストレージからデータセットを選択するか、作業中のノートブックのストレージからデータセットをアップロードできます。ノートブックからデータセットをアップロードするには、まずノートブック・セッションがファイルをオブジェクト・ストレージに書き込むようにポリシーを設定する必要があります。モデル評価に実験名でラベルを付けることができます。既存の実験から選択するか、新しい実験を作成できます。BERTScore、BLEU Score、Perplexity Score、Text ReadabilityおよびROUGEは、モデル・パフォーマンスの測定に使用できる評価メトリックです。モデル評価結果をオブジェクト・ストレージに保存できます。モデル評価パラメータを設定できます。拡張オプションでは、評価のコンピュート・インスタンス・シェイプを選択し、オプションで停止シーケンスを入力できます。また、モデル評価でロギングを設定して監視することもできます。ロギングはオプションですが、評価によるエラーのトラブルシューティングに役立つことをお薦めします。ロギングを有効にするために必要なポリシーが必要です。ロギングの詳細は、「ログ」の項を参照してください。作成する前に、評価の構成およびパラメータをレビューできます。
「評価」タブに戻ると、モデルの評価が完了すると、評価ライフサイクルの状態がSucceededになります。評価結果を表示し、モデル評価レポートのコピーをローカル・マシンにダウンロードできます。
評価はARMベースのシェイプでは実行できません。
AIクイック処理CLIコマンドのパラメータおよび値の完全なリストは、AIクイック処理CLIを参照してください。
このタスクはAPIを使用して実行できません。