コーパスの20%をインテントのテスト用に確保し、残りの80%をインテントのトレーニングに使用することをお薦めします。これら2つのセットは分けておき、テスト・ケースに組み込んだテスト発話が、スキルからはわからないようにしてください。

各インテントのデータ・セットに80/20の分割を適用します。この分割を行う前に発話をランダム化して、トレーニング・モデルで発話内の用語およびパターンに均等に重みが付けられるようにします。

発話テスターは、スキルの認識を確認するための手段です。トレーニング・コーパスに含まれていないフレーズを入力して、インテント信頼度ランキングと返されたJSONを確認することで、インテントの作成がどの程度成功したかを調べることができます。このランキングは、ユーザー入力の解決に最適な候補をスキルで予測したもので、現時点での認識力を示します。

図utterance-tester-quick-test.pngの説明

発話テスターを使用すると、個別テストのクイック・テストを実行したり、異なるバージョンのトレーニング・モデルでインテント解決を測定するためのテスト・ケースとして発話を組み込んだりすることができます。

1. 「発話のテスト」(左側)をクリックします。
2. スキルで複数のネイティブ言語がサポートされている場合は、テスト言語を選択します。このオプションを選択すると、発話が対応する言語バージョンのコーパスに追加されます。スキルのプライマリ言語はデフォルトで選択されています。
3. テキストの文字列を入力します。
4. 「テスト」をクリックしてから、ランキングおよび発話で検出されたエンティティ(ある場合)を確認します。
5. インテントの信頼度スコアをレビューします。(リストされている各インテントの進捗バーは、信頼度レベルを満たしている場合は緑色、満たしていない場合は赤色です)。
   スキルの上位ランクの候補が期待していたものと異なる場合は、次のいずれかまたは両方を実行した後にインテントの再トレーニングが必要になることがあります:

   • 入力したばかりの入力テキストでより適切な候補のコーパスを更新します。該当するインテントを選択し、「インテントに追加」をクリックします。

     注意:

     新しいテスト・フレーズを追加すると、トレーニング・データにどのように影響するかを検討します。テスト・フレーズを追加すると、再トレーニング後にこれに類似した発話の分類方法が変わる可能性があります。さらに、テスト・フレーズの追加によりテストが無効になります。これは、テスト・フレーズをトレーニング・セットに組み込むことで、テストの成功を確実にしているためです。テスト・フレーズをトレーニング・データに追加するかわりに、テスト・ケースとして保存する必要があります。

   • 「インテント」ページで、発話の編集()または削除を行うことができます。たとえば、FAQインテントは、これを構成する発話のスコープと言い回しが原因で、上位にランクされることがあります。ユーザーが一般的な質問をしたときにFAQを取得しないようにするには、コーパスを修正する必要があります。

   発話を追加、変更または削除したときには常にインテントを再トレーニングする必要があります。「要トレーニング」は、トレーニング・データを変更するたびに表示されます。

6. 意図したとおりにインテントが解決されない場合は、「JSON」ウィンドウを展開し、返されたJSON内で、一致したインテント、スコアおよび検出されたエンティティをレビューできます。
7. 「リセット」をクリックします

各テストには発話と解決予定のインテントがあり、これはラベル一致と呼ばれます。テスト・ケースには、一致するエンティティ値および発話に必要な言語を含めることもできます。スキルを開発しているときにテスト・ケースを実行し、後でスキルが本番のときに回帰テストにテスト・ケースを使用できます。後者の場合は、テスト・ケースを実行して、トレーニング・モデルの新リリースがインテント解決に悪影響を及ぼしているかどうかを確認できます。

会話テスターで作成するテスト・ケースと同様に、発話テスト・ケースはスキルの一部であり、各バージョンに引き継がれます。スキルを拡張した場合、拡張版はテスト・ケースを継承します。会話テスト・ケースがシナリオのテストを目的としているのに対して、発話テスト・ケースは会話の断片を個別にテストして、各発話が正しいインテントに解決されるようにすることを目的としています。

「類似の発話の表示」をクリックすると、テスト・フレーズとトレーニング・コーパスの発話の類似点を確認できます。このツールでは、発話がテスト・フレーズにどの程度似ているか、および拡張機能によって発話がインテント間で相互にどの程度似ているかを示すことで、スキルのトレーニング・データに関する追加の視点が提供されます。このツールを使用すると、テスト・フレーズが他のインテントに属する発話に類似していることが、テスト・フレーズが想定どおりに解決されない理由かどうかを確認できます。テスト・フレーズと類似している場合、トレーニング・データが間違ったインテントに属している場所を示すこともあります。

図similar-utterance-report-all-intents.pngの説明

このツールによって生成されるリストは、テスト・フレーズに最も近い20個の発話(および関連するインテント)をランク付けします。理想的には、このリストのトップランクの発話(テスト・フレーズに最も似ている発話)は、テスト・フレーズをターゲットとするインテントに属します。予想されるインテントに属するもっとも近い発話がさらに停止している場合、リストを確認すると、その理由に関するヒントがいくつか表示されることがあります。たとえば、トランザクション・インテント発話(昨日どのくらいのお金を振り替えたか)をテストする場合、トップランクの発話もトランザクション・インテントに属すると予想されます。ただし、このテスト発話が間違ったインテントに解決されている場合、または信頼度レベルを下回っている場合は、他のインテントに属する類似の表現を持つ高度にランク付けされた発話に共通していることがリストに示される場合があります。残高インテントのすべてのアカウントにどのくらいのお金がありますか?。たとえば、トランザクション・インテントの4月にどのくらい預入しましたか?の発話よりもテスト発話に近い場合があります。

You can access the list, which is generated for skills trained on Trainer Tm, by clicking View Similar Utterances in the Utterance Tester or from the Test Cases report.

図like-utterances-tester.pngの説明

ノート

このツールは、Trainer Tmでトレーニングされたスキルにのみ使用できます(Htでトレーニングされたスキルには使用できません)。