スキル品質レポート
スキル品質レポートを使用すると、スキルのすべてのバージョンにわたってインテントおよび発話の在庫をすばやく取得できます。
をクリックしてアクセス)を使用できます:
- 概要レポート – このレポートのメトリックおよびグラフでは、各スキルのインテントを、持っている発話数で分類することで、トレーニング・データのサイズと形状を迅速に評価できます。このレポートは、データ・セットが開発プロセス全体で増大するにつれて、インテントの数、インテント当たりの発話数および各発話の単語数が常にオラクルのガイドラインに準拠していることを確認するために使用できます。
- レポート – インテントは、範囲外またはラベルが誤っているために意図に不適切である可能性がある異常、発話、または適用可能である可能性がありますが、不適切であるため分類が困難である可能性があります。
スキル品質概要レポート
- スキルには2つ以上のインテントがありますが、推奨数の300インテントを超えていません。
- トレーニングは25,000発話を超えません。
- 各インテントには、少なくとも2つの発話があります(予測可能なトレーニングを提供するために推奨される最小発話数は12個です)。
- 発話の平均長は3語から30語です。
このレポートは、有効になっているインテントを追跡します。
概要レポートの使用方法
- インテント(総数)の棒グラフおよびメトリックを使用したトレーニング・データの概要ビュー。これには、スキルのすべてのバージョンにわたるインテントおよび発話の合計数が含まれます。棒グラフとメトリックを使用して、トレーニング・セットのバランスまたはバランスのとれた状態に関して、これらの合計が何を意味するかを確認できます。たとえば、レポートのグラフは、「最大インテント」と「最小インテント」の合計の格差とともに、両面トレーニング・セットを示している場合があります。この場合、最大インテントと最小インテントの間のギャップを埋めるためにデータを追加する必要があります。
メトリック 説明および使用方法 インテント スキルのすべてのバージョンのインテントの合計数。このメトリックを使用して、このスキルが推奨最大300インテントを超えたかどうかを確認します。 発話 すべてのインテントにわたる発話の合計数。このメトリックを使用して、トレーニング・セットの実際のサイズを確認します。 最大インテント 最も発話の多いインテント。この合計を「インテント当たりの平均発話」メトリックと比較します。 最小限の意図 発話数が最も少ないインテント。この合計がインテント当たりの平均発話をはるかに下回る場合は、発話を追加する必要がある場合があります。 インテント当たりの平均発話数 すべてのインテントで平均された発話の数。このメトリックを使用して、トレーニング・セットに十分なデータを提供しているかどうかを確認します。 平均の長さ トレーニング・セット全体の発話の長さ。このメトリックを「発話の平均長」メトリックと比較し、発話の単語数が高すぎるか低すぎるため、モデルに悪影響を及ぼすかどうかを調べます。 最小長 トレーニング・セット内の最短発話。このメトリックを使用して、トレーニング・セット内の発話の単語数が少なすぎる(3語未満)かどうかを確認します。これは、モデルのパフォーマンスに悪影響を及ぼす可能性があります。 最大長 トレーニング・セット内の最も長い発話。このメトリックを使用して、モデルのパフォーマンスに悪影響を及ぼす可能性のある長い発話(30語以上)を検索します。 回答インテント トレーニング・セット内の回答インテントの数。このメトリックを使用して、回答インテントの数を通常(またはトランザクション)インテントと比較します。 ノート
最小長、最大長、平均長のメトリックおよび関連する警告は、翻訳サービスを使用するスキルではなく、ネイティブ言語スキル用です。レポートでは、問題のある領域に警告のフラグが付けられます。警告の上にカーソルを置くと、診断メッセージが開き、問題のある発話または意図がインテントおよび発話ガイドラインのコンテキストに配置され、修正処理が提案されます。
これらのメッセージは、「インテントの問題」ペインにも表示されます。ヒント:
メトリックからアクセスされる警告メッセージには、「インテント」ページへのリンクが表示されます。 - 意図した単位でのトレーニング・セットの内訳。レポートには、言語別のインテント(多言語スキルの場合)、発話数、平均、最小および最大ワード長を示す表が含まれています。後者の3つの合計をトレーニング・セット全体のコンテキストで確認するには、「平均長」、「最小長」および「最大長」メトリックと比較します。
高レベルのメトリックと同様に、レポートは、問題のあるインテントに警告メッセージでフラグを付けます。問題内の警告
は、発話の長さの一部の側面でインテントが不足していることを示します。「平均発話長」、「単語の最大発話長」または「単語の最小発話長」列で対応する警告
をクリックすると、診断メッセージが開きます。「インテント」列のリンクをクリックすると、メッセージによって提示された修正処理をインテントに直接適用できます。
図intent-issues-table.pngの説明
スキル品質異常レポート
概要レポートと同様に、このレポートではインテントが発話別に分類されます。ただし、このレポートで集計された発話は、異常、発話は、範囲外であるかラベルが誤っているか、適用可能であるが一意である可能性があるため、意図に適していない可能性があります。異常により、特に新しいドメインをカバーするようにスキルを拡張した場合や、大規模なインテントを小さなインテントにパーティション化した場合、インテント間の境界がぼやけてしまうことがあります。
異常レポートの使用方法
このレポートでは、インテントが異常によってランク付けされるだけでなく、トレーニング・セット内の他の発話とどのように異なるかによって異常自体がランク付けされます。
図anomalies-intent-breakdown.pngの説明
このリスト内の異常は、重大度とインテントの両方でソートできます。異常をインテント別、発話の単語またはフレーズ別、および多言語スキルの言語別にフィルタできます。
発話がトレーニング・セットに属している場所(または該当する場合)を確認するには、リストの「類似の表示」をクリックして、類似発話レポートに表示します。
図の異常の説明-list.png
発話テスターで使用される類似発話レポートと同様に、このレポートでは、選択した発話に対してトレーニング・セット内の他の発話がランク付けされます。ただし、この場合、発話はテスト・フレーズではなく、すでにトレーニング・セット内にある異常な発話です。
図similar-utterance-report-anomalies.pngの説明
異常とレポート内の他の発話との関係に基づいて、発話が単に誤分類されているか、スキルに関連していないことがわかります。ただし、他の異常は、暗黙的なリクエストであるという点で他の発話に異常がある場合があります。他のトレーニング・データと同じ質問をしていますが、別の方法で質問しています。たとえば、「I can't log into my account」は、トレーニング発話が「I need to talk to a live agent」のようなより簡単なリクエストを中心にクラスタリングするエージェント転送インテントの異常として評価される場合があります。同様の発話を追加すると、モデルに深さが追加されます。
- レポートを実行します。
- 発話を選択し、「類似の表示」をクリックします。
- 「類似の表示」ダイアログで、インテントに対する発話を評価します。
- 発話がインテントに属している場合は、同様の発話を追加します。
- 発話の分類が誤っている場合は、別のインテントに割り当てます。
- 発話がトレーニング・セットに属していない場合は削除します。
- スキルを再トレーニングします。