コーパスの20%をインテントのテスト用に確保し、残りの80%をインテントのトレーニングに使用することをお薦めします。これら2つのセットは分けておき、テスト・ケースに組み込んだテスト発話が、スキルからはわからないようにしてください。

各インテントのデータ・セットに80/20の分割を適用します。この分割を行う前に発話をランダム化して、トレーニング・モデルで発話内の用語およびパターンに均等に重みが付けられるようにします。

発話テスターは、スキルの認識を確認する手段です。トレーニング・コーパスに含まれていないフレーズを入力して、インテント信頼度ランキングと返されたJSONを確認することで、インテントの作成がどの程度成功したかを調べることができます。このランキングは、ユーザー入力の解決に最適な候補をスキルで予測したもので、現時点での認識力を示します。

図utterance-tester-quick-test.pngの説明

発話テスターを使用すると、1回ごとの臨時にクイック・テストを実行したり、バージョンが異なるトレーニング・モデルではインテント解決を測定するためのテスト・ケースとして発話を組み込んだりすることができます。

1. 「発話のテスト」(左側)をクリックします。
2. スキルで複数のネイティブ言語がサポートされている場合は、テスト言語を選択します。このオプションを選択すると、発話が対応する言語バージョンのコーパスに追加されます。スキルのプライマリ言語はデフォルトで選択されています。
3. テキストの文字列を入力します。
4. 「テスト」をクリックしてから、ランキングおよび発話で検出されたエンティティ(ある場合)を確認します。
5. インテントの信頼度スコアをレビューします。(リストされている各インテントの進捗バーは、信頼度レベルを満たしている場合は緑色、満たしていない場合は赤色です)。
   スキルの上位ランクの候補が期待していたものと異なる場合は、次のいずれかまたは両方を実行した後にインテントの再トレーニングが必要になることがあります:

   • 入力したばかりの入力テキストでより適切な候補のコーパスを更新します。該当するインテントを選択し、「インテントに追加」をクリックします。

     注意:

     新しいテスト・フレーズを追加すると、トレーニング・データにどのように影響するかを検討します。テスト・フレーズを追加すると、再トレーニング後にこれに類似した発話の分類方法が変わる可能性があります。さらに、テスト・フレーズの追加によりテストが無効になります。これは、テスト・フレーズをトレーニング・セットに組み込むことで、テストの成功を確実にしているためです。トレーニング・データにテスト・フレーズを追加するかわりに、テスト・ケースとして保存する必要があります。

   • 「インテント」ページで、発話の編集()または削除を行うことができます。たとえば、FAQインテントは、これを構成する発話のスコープと言い回しが原因で、上位にランクされることがあります。ユーザーが一般的な質問をしたときにFAQを取得しないようにするには、コーパスを修正する必要があります。

   発話を追加、変更または削除したときには常にインテントを再トレーニングする必要があります。「要トレーニング」は、トレーニング・データを変更するたびに表示されます。

6. 意図したとおりにインテントが解決されない場合は、「JSON」ウィンドウを展開し、返されたJSON内で、一致したインテント、スコアおよび検出されたエンティティをレビューできます。
7. 「リセット」をクリアします。

各テストには発話と、解決が予想されるインテントがあり、これはラベル一致と呼ばれます。テスト・ケースには、一致するエンティティ値および発話に必要な言語を含めることもできます。スキルを開発しているときにテスト・ケースを実行し、後でスキルが本番であるときに、回帰テストにテスト・ケースを使用できます。後者の場合は、テスト・ケースを実行して、トレーニング・モデルの新リリースがインテント解決に悪影響を及ぼしているかどうかを確認できます。

会話テスターで作成するテスト・ケースと同様に、発話テスト・ケースはスキルの一部であり、各バージョンに引き継がれます。スキルを拡張した場合、拡張版はテスト・ケースを継承します。会話テスト・ケースがシナリオのテストを目的としているのに対して、発話テスト・ケースは会話の断片を個別にテストして、各発話が正しいインテントに解決されるようにすることを目的としています。

「類似の発話の表示」をクリックすると、テスト・フレーズがトレーニング・コーパスの発話とどのように類似しているかを確認できます。このツールでは、テスト・フレーズに対する発話の類似度、およびインテント間で発話が相互にどの程度類似しているかを示すことで、スキルのトレーニング・データに関する追加の視点が提供されます。このツールを使用して、他のインテントに属する発話に対するテスト・フレーズの類似性が、テスト・フレーズが予想どおりに解決されない理由であるかどうかを確認できます。テスト・フレーズと類似している場合、トレーニング・データが誤ったインテントに属している場所を指す場合もあります。

図similar-utterance-report-all-intents.pngの説明

このツールによって生成されるリストは、テスト・フレーズに最も近い20の発話(および関連するインテント)をランク付けします。理想的には、このリストの最上位の発話(テスト・フレーズに最も似たもの)は、テスト・フレーズをターゲットとするインテントに属します。予想されるインテントに属する最も近い発話がさらに停止している場合、リストのレビューによって、その理由に関するヒントがいくつか示される場合があります。たとえば、トランザクション・インテント発話をテストする場合、昨日転送した金額はいくらですか。、トップランクの発話も同様にトランザクション・インテントに属すると予想されます。ただし、このテスト発話が間違ったインテントに解決される場合、または信頼度レベルを下回って解決される場合、リストでは、他のインテントに属する類似の語句を持つ高位のランクの発話とより共通していることがわかる場合があります。たとえば、残高インテントのすべてのアカウントにいくらお金がありますか。は、トランザクション・インテントの低いランクの4月にいくら預入しましたか。発話よりもテスト発話に近い場合があります。

Trainer Tmでトレーニングされたスキルに対して生成されたリストにアクセスするには、発話テスターで「類似発話の表示」をクリックするか、「テスト・ケース」レポートをクリックします。

図like-utterances-tester.pngの説明

ノート

このツールは、Trainer Tmでトレーニングされたスキルにのみ使用できます(Htでトレーニングされたスキルには使用できません)。