概要レポートには、テキストと音声の両方の会話について、次のKPIが含まれます

• 会話の合計数— 会話の合計数。完了、未完了および進行中の会話で構成されます。ステータスに関係なく、会話は1つ以上のダイアログ・ターンで構成できます。各ターンは、ユーザーとスキルの間の単一の交換です。
  ノート
  
  会話は従量制リクエストとは異なります。従量制の詳細は、Oracle PaaSおよびIaaS Universal Credit Serviceの説明を参照してください。
• 完了した会話– ユーザーの問合せに正常に回答することで終了した会話。終了フロー状態または終了フロー(暗黙的)が遷移として選択されている状態で終了する会話は、完了とみなされます。YAMLオーサリング・スキルでは、ダイアログ・フローのトラバーサルがreturn遷移で終了するか、insightsEndConversationプロパティがある状態で終了すると、会話は完了としてカウントされます。
  ノート
  
  このプロパティおよびreturn遷移は、ビジュアル・フロー・デザイナでは使用できません。
• 未完了の会話– ユーザーがスキルを中止したために完了しなかった会話、またはシステムレベルのエラー、タイムアウトまたは無限ループのためにユーザーが完了できませんでした。
• 進行中の会話– 進行中の会話(完了もタイムアウトもしていない会話)。このメトリックは、複数ターンの会話をトラッキングします。進行中の会話は、セッションが期限切れになるとタイムアウトになります。
• 会話に費やされた平均時間– スキルの会話すべての平均時間。
• 合計ユーザー数および一意のユーザー数– ユーザー・ベース・メトリック。これは、スキルを持つユーザー数およびこれらのユーザーのうち何人がユーザーを返しているかを示します。

音声対話で始まる会話は音声会話とみなされます。音声で開始されてもテキストで完了した会話は、切り替えられた会話とみなされます。他のすべての会話はテキストとみなされます。概要レポートには、標準メトリックに加えて、音声および切り替えられた会話に固有の次のメトリックが含まれています。 これらのメトリックを表示するには、「テキストと音声の操作を比較」を無効にし、「すべて」または「音声」のいずれかをモードとして選択します。

• 会話に費やされた平均時間– 音声会話の平均時間。
• 平均リアルタイム・ファクタ(RTF)–CPU時間に対するオーディオ入力の処理に要した時間の比率。たとえば、1秒のオーディオの処理にCPU時間が1秒かかる場合、RTFは1 (1/1)です。1秒のオーディオの処理に500ミリ秒の場合のRTFは.5または½です。処理がオーディオ入力より遅れないように、RTFを1未満にすることが理想的です。RTFが1を超える場合は、Oracle Supportに連絡してください。
• 平均音声レイテンシ – 発話の終わりを検出してから最終結果(またはトランスクリプション)を生成するまでの遅延(ミリ秒)。レイテンシが発生した場合は、Oracle Supportに連絡してください。
• 平均オーディオ時間– すべての音声会話の平均期間(秒単位)。
• 切り替えられた会話– 音声コマンドで開始されたが、対話を完了するためにテキストに切り替える必要があったスキルの会話の割合。このメトリックは、音声からテキストへの切替えに関連する複数の実行パスが存在したことを示します。
  
  
  図voice-metrics.pngの説明
  
  

選択した期間中に未完了の会話がある場合、合計数は次のエラー・カテゴリに分類されます:

• タイムアウト – 進行中の会話がアイドル状態になってから1時間を超えると、セッションが期限切れになり、タイムアウトがトリガーされます。
• システム処理エラー – システム処理エラーは、スキルではなくシステムによって処理されます。これらのエラーは、ダイアログ・フロー定義にエラー処理が組み込まれていない場合に発生します。
• 無限ループ – ダイアログ・フロー定義の不備(誤って定義された遷移など)によって、無限ループが発生する可能性があります。
• 取消済 - ユーザーが明示的に会話を取り消してスキルを終了した回数。

表のエラー・カテゴリまたはグラフのいずれかの部分をクリックすると、会話レポートにドリルダウンして、未完了の会話のコンテキストでこれらのエラーを確認できます。ここから会話レポートにアクセスすると、会話レポートの「結果」および「エラー」フィルタが「未完了」と選択したエラー・カテゴリに設定されます。たとえば、「無限ループ」をクリックすると、会話レポートは「未完了」および「無限ループ」でフィルタされます。レポートの「インテント」および「結果」フィルタは「すべて表示」に設定され、「ソート基準」フィールドは「最新」に設定されます。

次のメトリックを使用して、スキルが選択した時点のユーザー数を確認できます。レポートをチャネルおよび期間でフィルタしながら、「会話の合計数」メトリックに表示される累計と比較できます。ライブ・エージェント統合では、エージェントに転送された一意のユーザーの数を、ライブ・エージェント転送およびスキル処理された会話を含む合計会話数と比較できます。

• ユーザー数– スキルと対話したすべてのタイプのユーザー(セッション間で永続するチャネル割当IDを持つユーザー(一意のユーザー)、および自動的に割り当てられたIDが1つのセッションにのみ続くユーザー)の累積合計。
• 一意のユーザー数– スキルにアクセスしたユーザーのうち、一意のユーザーIDで識別されるユーザーの数。各チャネルには、IDをユーザーに割り当てる様々な方法があります。たとえば、Webチャネルを介してスキルとチャットするユーザーは、userIdフィールドに定義された値によって識別されます。スキル・テスターのテスト・チャネルでは、「リセット」をクリックしてチャット・セッションを終了するたびに、新しいユーザーIDが割り当てられます。
  一度割り当てると、これらの一意のIDはチャット・セッション間で保持されるため、ユーザーがスキルを再訪問しても、このメトリックで集計された一意のユーザー数は増加しません。カウントは、一意のIDで割り当てられた別のユーザーがユーザープールに追加された場合にのみ増加します。

  ヒント:

  ユーザーIDはチャネル内でのみ一意であるため(2つの異なるチャネルで同じIDを持つユーザーは2人のユーザーとしてカウントされ、1人としてカウントされません)、レポートをチャネルでフィルタ処理することでユーザー・ベースをよりよく理解できます。

スキルまたはデジタル・アシスタントと対話したことがないユーザーを追跡するには、「設定」→「構成」の「インサイト・ユーザー・メトリックの有効化」をオンにします。スキルに対してこの機能をオンに切り替える前に、ルーティングされたチャネルでなんらかのタイプのユーザーIDが割り当てられていることを確認してください。それ以外の場合は、この機能をオフのままにします(デフォルト・モード)。チャネルでユーザーIDが指定されない場合、デジタル・アシスタントは各チャット・セッションに新しいユーザーIDを割り当てます。これらのタイプのチャネルが使用されている場合にこの機能を有効にすると、新しいチャット・セッションごとに新しいユーザーが追加され、その結果、新しいエントリでユーザー表が膨張するため、レポートが偏ります。新しいユーザー・データはストレージから自動的にパージされないため、かわりにOracle Digital Assistant APIを使用する必要があります。新しいユーザー・データをパージするには、エクスポート・タスクPOSTリクエストの開始のペイロードに"purgeUserData": trueを含めます。

「会話のトレンド」チャートには、トランザクション・インテント(エージェント転送インテントを含む)および回答インテントについて次のものが表示されます:

• 完了– ユーザーが正常に完了した会話。終了フロー状態または終了フロー(暗黙的)が遷移として選択されている状態で終了する会話は、完了とみなされます。YAMLオーサリング・スキルでは、ダイアログ・フローのトラバーサルがreturn遷移で終了するか、insightsEndConversationプロパティがある状態で終了すると、会話は完了としてカウントされます。
  ノート
  
  このプロパティおよびreturn遷移は、ビジュアル・フロー・デザイナでは使用できません。
• 未完了 – ユーザーがスキルを中止したために完了しなかった会話、またはシステムレベルのエラー、タイムアウトまたはスキルの設計上の不具合のためにユーザーが完了できなかった会話。
• 進行中– 進行中の会話(完了もタイムアウトもしていない会話)。このメトリックは、複数ターンの会話をトラッキングします。

「インテント」棒グラフでは、会話を完了したトランザクションおよび回答のインテントだけでなく、未完了の会話の原因となったインテントも見つけることができます。このチャートを使用すると、これらのインテントの使用状況全体がユースケースを裏付けているかどうかを確認することもできます。たとえば、2次目的を提供するインテントに対して完了した会話の数は、1次インテントに対して完了した会話の数を上回っていますか。具体的に言うと、ピザのオーダー・スキルは、ほとんどのユーザーをライブ・エージェントにルーティングする"苦情の申立て"スキルになっていますか。

「最も人気のあるインテント」ワード・クラウドには、インテント棒グラフに対する付属ビューがあり、インテントの完了および未完了の会話の数が表示されます。最も頻繁に起動されるインテントをサイズおよび色で重み付けします。サイズは、指定された期間の呼出し回数を表します。

色は、インテント解決の成功のレベルを表します:

• 緑は、リクエストの解決の平均値が高く、指定した期間内で信頼度ウィン・マージンしきい値以上であることを表します。
• 黄色は、指定した期間内で平均として信頼度ウィン・マージンしきい値を満たさないインテント解決を表します。この色は、インテントの再トレーニングが必要であることの適切な指標です。
• 赤は、unresolvedIntent用に予約されています。これは、どのインテントにも一致しなかったが、コーパスに組み込むことができるかもしれないユーザー・リクエストのコレクションです。

「最も人気のあるインテント」ワード・クラウドは、インテントがユーザー・メッセージをどのように解決したかに関する詳細ビューへのゲートウェイです。キー・フレーズ・クラウドを使用したインテントのレビューと再トレーニングでは、「最も人気のあるインテント」ワード・クラウドからドリルダウンして、使用状況、ユーザー対話および再トレーニングに関する詳細を確認する方法について説明します。

コンテキストでフレーズによって表されるメッセージを表示するだけでなく、「再トレーニング」をクリックしてトレーニング・コーパスにメッセージ(またはキー・フレーズ内でグループ化されたメッセージ)を追加することもできます。

このオプションにより、実際のフレーズをトレーニング・コーパスに追加できるリトレーナが開きます。

「ユーザー評価」ドーナツ・チャートおよび「ユーザー・フィードバック」ワード・クラウドでは、コンポーネントによって収集された直接フィードバックおよびスコアが追跡されます。ダイアログが「ユーザー・フィードバック」状態に遷移すると、スキルによってユーザーに評価システムが表示され、オプションでフィードバックを入力する機能が提供されます。デフォルトでは、ユーザーは1から5の範囲を選択して、スキルとの対話を評価できます。ODAバージョン21.10以上では、フィードバック・コンポーネントはデフォルトで星評価システムです。以前のバージョンの場合、フィードバック・コンポーネントはリストとして表示されます。

評価ごとの会話数に比例する平均顧客満足度スコアは、ドーナツ・チャートの中央に表示されます。範囲の各数値の会話単位での個々の合計は、発生に応じて長さが異なるユーザー評価ドーナツ・チャートの円弧としてグラフ化されます。これらのアークの1つをクリックすると、スコアでフィルタされた会話レポートが開きます。

「ユーザー評価」グラフおよび「ユーザー・フィードバック」ワード・クラウドのデータを取得するには、一連の状態をダイアログ・フローに追加する必要があります。最初の状態は「ユーザー・フィードバック」状態です。この状態を追加するには、「ユーザー・メッセージング」→「ユーザー・フィードバック」を選択し、遷移タイプとして「次」を選択します。(YAMLフローでは、next遷移を使用してSystem.Feedback状態への明示的な遷移を設定する必要があります。)ダイアログ・フローは、ユーザーの反応を測るたびに、状態のユーザー・フィードバック・シーケンスに移行できます。たとえば、ユーザーがトランザクションを完了またはキャンセルした後などです。

「ユーザー・フィードバック」状態の後、そのabove、belowおよびcancel遷移に対応する状態を追加する必要があります。YAMLダイアログ・フローでは、これらの各状態にはreturn: done遷移があります。

これらの状態は、「しきい値」プロパティによって決定される評価の上限と下限に対応します。これらの状態は、ユーザー評価の受信を確認するユーザー・メッセージとして追加できます。 ユーザー・フィードバック・コンポーネントの出力をカスタマイズするには、「リソース・バンドル構成」ページからアクセスするフィードバック関連のリソース・バンドルを編集するか、リソース・バンドルCSVファイルでsystemComponent_Feedback_キーを編集します。

「カスタム・メトリックの設定」状態のセット全体で単一のユーザー・フィードバック関連ディメンションを定義することで、正、負およびスキップされたフィードバックの高レベル・ビューを取得できます。

これらのカスタム・メトリックの設定の各状態は、ユーザー・フィードバック・コンポーネントのabove、belowおよびcancel遷移アクションで指定された状態のいずれかに対応します。そのため、たとえば、「フィードバック・タイプ」というメトリックをカスタム・メトリック・レポートに追加する場合は、次のようにします。

1. 「カスタム・メトリックの設定」状態を、ユーザー・フィードバック・コンポーネントのabove、belowおよびcancel遷移アクションで指定された各状態の前に挿入します。
2. 状態ごとに、ディメンション名としてフィードバック・タイプを入力します。
3. 必要に応じて、遷移タイプ(Canceled、Positive、Negativeなど)に状態ごとに個別の値を追加します。フィードバック・データを記録するダイアログ・フローをインストゥルメントしたので、カスタム・メトリック・レポートの様々な値を問い合せることができます。

「カスタム・メトリックの設定」状態は、実行フロー内のエンティティ値またはアクティビティを追跡する任意の場所に追加できます。 ダイアログ・フローの構造およびユースケースに応じて、単一の「カスタム・メトリックの設定」状態内に複数のディメンションを定義することも、単一のダイアログ・フロー全体または複数のフローにまたがる複数の「カスタム・メトリックの設定」状態で定義することもできます。

ダイアログ・フロー定義の構成および複雑さによっては、追跡するエンティティ値が同じダイアログ・フロー内で解決されない場合があります。このような状況では、単一の「カスタム・メトリックの設定」状態ですべてのディメンションを定義できない場合があります。かわりに、ダイアログ・フロー定義の様々な部分(または異なるフロー全体)に「カスタム・メトリックの設定」状態を追加する必要があります。

「エクスポート」をクリックすると、独自のオフライン分析およびレポートに使用できるカスタム・メトリック・データがCSVファイルにダウンロードされます。CSVにダウンロードしたデータをディメンション値でフィルタできます。このダウンロードしたCSVには、次のフィールドがあります。

完了した会話の場合、レポートは、消費時間および訪問した状態の数に関する統計を使用して、ユーザーがこれらの会話を完了するためにトラバースした実行パスの数を示します。

完了した会話の詳細:

• 選択したインテントの実行パスをトレースするには、「パスの表示」をクリックします。これにより、インテントの完了した会話でフィルタされたパス・レポートが開きます。実行パスへのフォーカスを改善するために、関心のない状態をフィルタで除外できます。
  
  

  
  図initial-completed-intent-path.pngの説明

  
  
• インテントについて完了した会話のトランスクリプトを読み取るには、「会話の表示」をクリックします。これにより、インテントの完了した会話でフィルタされた会話レポートが開きます。
  
  

  
  図completed-conversations-report-from-intents.pngの説明

  
  

未完了の会話の場合、インテントの実行パスに沿って、「未完了状態」横棒グラフを使用して、これらの会話が終了した状態を識別できます。このチャートは、左側のナビゲーション・バーにリストされているトランザクション・インテントに対してレンダリングされ、状態(ダイアログ・フローで定義された状態)または会話の終了を示す内部状態(System.DefaultErrorHandlerなど)別に未完了の会話の分布がプロットされます。これを使用すると、ダイアログ・フローの状態が継続的な障害点であるかどうか、および理由(エラー、タイムアウトまたは不正なユーザー入力)を確認できます。このレポートには未完了パスのパスまたは速度は表示されません(これらはこのユーザー入力には適用されないため)。かわりに、棒グラフでは、どのインテントにも解決できなかったメッセージ、または解決できる可能性があった(システムがインテントを推測できる)が信頼度スコアが低いために解決できなかったメッセージの数に基づいて、各インテントがランク付けされます。 YAMLフローでは、最終状態が空(または暗黙的)遷移({})の場合、インサイトでは会話が不完全とみなされます。スキルがトランザクションを正常に処理した場合でも、インサイトは会話を未完了として分類し、最終状態をSystem.DefaultErrorHandlerとしてチャート化します。

インテントの未完了の会話の詳細:

• 「パスの表示」をクリックすると、選択したインテントの未完了の会話でフィルタされたパス・レポートが開きます。このパスの終了状態には、ダイアログで定義された状態、または会話の終了を示す内部状態(System.EndSession、System.ExpiredSession、System.MaxStatesExceededHandler、System.DefaultErrorHandlerなど)が含まれる場合があります。
  
  
  図incomplete-conversations-path-from-intent.pngの説明
  
  
• 失敗の原因となった会話のトランスクリプトにアクセスするには、「会話の表示」をクリックします。このオプションは、選択したインテントの未完了の会話でフィルタされた会話レポートを開きます。フィルタを適用することで、結果をさらに絞り込むことができます。たとえば、エラー条件でレポートをフィルタできます。
  
  

  
  図incomplete-conversations-from-intents-report.pngの説明

  
  

これらの未解決メッセージのパスおよび会話は、「パスの表示」および「会話の表示」で表示できますが、「リトレーナ」レポートを使用して未解決のメッセージにアクセスすることもできます。このレポートでは、トレーニング・データに追加できるかぎり評価できます。「再トレーニング」をクリックすると、未解決のメッセージでフィルタされたリトレーナ・レポートが開きます。

「パス」レポートには、問合せパラメータに従ってインテント実行パスがレンダリングされます。このレポートに、いずれかまたはすべてのインテントの完全実行パスと未完了実行パスの両方を問い合せたり、最終状態を選択してパスの長さを設定したり、二次的に重要な状態を除外して実行パスの一部を分離できます。たとえば、変数を設定したり、カスタム・メトリックのスキルを「フィラー」状態として計測する状態が調査の焦点から逸脱していると考えることができます。

問合せを入力すると、すべての実行フローがデフォルトでレンダリングされます。緑色の開始矢印は、各会話を開始するシステム状態であるSystem.BeginSessionを表します。System.Intentアイコンは、フィルタに応じて異なるインテントを表すことができます。フィルタとして選択した特定のインテントを参照することも、「すべて」(デフォルト設定)でレポートをフィルタするときに、スキルに定義されているすべてのインテントを表すこともできます。

不完全な会話の場合、パスは、会話を終了したエラーを表すSystem.ExpiredSession、System.MaxStatesExceededHandler、System.DefaultErrorHandlerなどの内部状態で終了することがあります。

最終状態をクリックすると、詳細パネルが開き、統計、エラー、警告および最終ユーザー・メッセージが表示されます。

レポートでは、空白である(またはプレーン・テキストではない)または予期しない入力が含まれている顧客メッセージについては「Nullレスポンス」が表示されます。ポストバック・アクションであるテキスト以外のレスポンスについては、最新のアクションのペイロードが表示されます。例:

{"orderAction":"confirm""system.state":"orderSummary"}

「会話の表示」をクリックすると、パスで問い合せた会話レポートが開き、トランスクリプトのコンテキスト内で会話を終了したメッセージを確認できます。

「音声メトリックの表示」をクリックすると、会話全体で平均される音声メトリックのサブセットが表示されます。これらのメトリックを個々の音声対話別に分類して表示するには、「会話の表示」をクリックしてアクセスする記録ビューの棒グラフ・アイコンをクリックします。

1. 「設定」→「一般」をクリックします。
2. 「PII匿名化の有効化」をオンにします。
3. 「エンティティの追加」をクリックして、インサイト・レポートおよびログで匿名化するエンティティ値を選択します。
   ノート
   
   匿名化された値は、選択したエンティティのPII値の匿名化を有効にした後にのみデータベースに保持されます。以前の会話には適用されません。インサイト・レポートまたはエクスポート・ファイルに選択した日付範囲によっては、PII値が実際のフォームと匿名フォームの両方に表示される場合があります。エクスポート・タスクを作成するときに、匿名化されていないPII値(スキルまたはデジタル・アシスタント設定で匿名化を有効にする前に発生した会話内の値を含む)に匿名化を適用できます。これらの匿名性は、エクスポートされたファイルにのみ適用され、データベースには保持されません。
   PII値の匿名化を中止する場合、または匿名をまったく使用しない場合は、対応するエンティティを選択し、「エンティティの削除」をクリックします。エンティティを削除すると、その後の会話について、インサイト・レポート全体に実際のPII値が表示されます。しかし、その匿名化された形式は、以前の会話のために残ります。
   ノート
   
   匿名化は永続的です(エクスポート・タスクによって適用される匿名化は、それにもかかわらず)。匿名化を有効にした後はPII値をリカバリできません。

スキルまたはデジタル・アシスタントのPII匿名化設定を有効にした場合:

• 選択したエンティティに対して認識されるPII値は、匿名で置き換えられます。これらの匿名性はデータベースに保持され、ログおよびインサイト・レポートのPII値を置き換えます。この匿名化は、「設定」で匿名化を有効にした後(前ではなく)に発生する会話に適用されます。
• エクスポート・タスクの「ファイル・オプションのPII匿名化の有効化」は、デフォルトで有効になっており、「設定」で選択したエンティティに認識されるPII値が、PII匿名化が設定される前に発生した会話に適用されるようにします。PII匿名化より前の会話へのエクスポート中に適用される匿名が、エクスポート・ファイルにのみ存在します。元のPII値は、データベース、インサイト・ログおよびインサイト・レポートに残ります)。
• 「ファイルのPII匿名化の有効化」をオフにすると、「設定」で選択したエンティティに対して認識されたPII値のみが匿名化されます。ログ・ファイルには、匿名化設定がスキルまたはデジタル・アシスタントに対して有効になった後に発生した会話の匿名が含まれます。以前の会話は、元の未変更の発話として、PII値がそのまま表示されます。そのため、エクスポート・タスクの日付範囲の一部が匿名化より前である場合、エクスポート・ファイルには匿名化された会話と匿名化されていない会話の両方が含まれることがあります。
  ノート
  
  エクスポート・タスクにリリース22.04より前に発生した匿名化された会話が含まれている場合、エクスポート・タスクに対して「ファイルのPII匿名化の有効化」を選択すると、エクスポート・ファイルで22.04より前の会話に適用された匿名が変更されるか、または再匿名化されます。エクスポートされたファイル内の匿名が、22.04より前のエクスポート・ファイルの匿名またはインサイト・レポートに表示される匿名と一致しません。

スキルまたはデジタル・アシスタントのPII匿名化設定を無効化または構成しない場合:

• エクスポート・タスクの「ファイルのPII匿名化の有効化」オプションは、PII値を含むすべての元の未変更の発話がエクスポート・ファイルに含まれるように、デフォルトで無効になります。
• 「ファイルのPII匿名化の有効化」を選択すると、PII値は、デフォルトのエンティティであるPERSON、EMAIL、URLおよびNUMBERに対してのみ、エクスポートされたファイルで匿名化されます。PII値は、データベース、ログおよびインサイト・レポートに残ります。

ユーザー・メッセージをトレーニング・コーパスに追加する際は、次のいくつかの点に注意する必要があります:

• ユーザー入力を追加できるのは、公開済バージョンではなく、スキルのドラフト・バージョンに属するトレーニング・コーパスのみです。
• トレーニング・コーパスにすでに存在している、またはリトレーナを使用してすでに追加したユーザー入力は追加できません。

リトレーナを使用してトランザクション・インテントまたは回答インテントを更新するには:

1. 公開済スキルは更新できないため、新しいデータをコーパスに追加するには、ドラフト・バージョンを作成する必要があります。

   ヒント:

   「すべてのバージョンの比較」 をクリックするか、「最新のみ表示」トグルをオフに切り替えて、スキルのドラフト・バージョンと公開済バージョンの両方にアクセスします。
   スキルの公開済バージョンをレビューしている場合は、スキルのドラフト・バージョンを選択します。
   
   
   
   
2. スキルのドラフト・バージョンで、必要に応じてフィルタを適用し、「検索」をクリックします。
3. ユーザー・メッセージを選択し、「インテントの選択」メニューからターゲット・インテントを選択します。スキルによって複数のネイティブ言語がサポートされている場合は、「言語の選択」メニューから言語を選択して、言語に適したトレーニング・セットに追加できます。

   ヒント:

   個々のインテントに発話を追加することも、複数のインテントを選択してから、表の左上にある「追加先」メニューからターゲット・インテントと、必要に応じて言語を選択することもできます。返されたすべてのリクエストをインテントに追加する場合は、「発話」(表の右上にある)を選択してから、「追加先」メニューからインテントと言語を選択します。
4. 「例の追加」をクリックします。
5. スキルを再トレーニングします。
6. スキルを再公開します。
7. 新しいスキルでデジタル・アシスタントを更新します。
8. 概要レポートでメトリックに対する一定期間の変更をモニターし、スキルの様々なバージョンを比較して、新しいバージョンがスキルの全体的な成功に実際に加わったかどうかを確認します。再トレーニング・プロセスを繰り返すと、新しいバージョンごとにスキルの応答性が向上します。たとえば、Oracle Service Cloudチャットと統合されたスキルの場合、再トレーニングは、エスカレーションの下降トレンドをもたらし、これは、エージェント・ハンドオフ・インテントの使用状況の下降トレンドによって示されます。

ジョブを作成すると、「データ製造ジョブ」ページに表示されます。このページでは、リンクを共有してクラウド・ワーカーにジョブを配布できます。

1. 「エクスポート」ページを開き、「+エクスポート」をクリックします。
2. レポートの名前を入力し、日付範囲を入力します。
3. 「エクスポートされたファイルのPII匿名化の有効化」をクリックして、個人識別可能情報(PII)値をエクスポートされたファイルの匿名に置き換えます。これらの匿名が存在するのは、スキル設定でPIIが有効になっていない場合のみです。この場合も、匿名の値ではなくPII値はデータベースに保存され、エクスポートされたインサイト・ログおよびインサイト・レポート全体(会話レポート、リトレーナ、ワード・クラウドのキー・フレーズなど)に表示されます。スキル設定でPIIが有効になっている場合、ログおよびインサイト・レポートには匿名が含まれます。
   ノート
   
   スキルまたはデジタル・アシスタント設定に対して有効になっているPII匿名化は、エクスポート・ファイルで匿名化され、エクスポート・ファイル内の匿名化の整合性にも貢献するPII値を考慮します。
4. 「エクスポート」をクリックします。
5. タスクが正常に終了したら、「完了」をクリックしてCSV (エクスポートが多いCSV)のZIPをダウンロードします。スキル・レベルのエクスポートCSVの名前は、B_で始まります。デジタル・アシスタント・レベルのエクスポートのファイル名は、D_で始まります。

図insights-export-dialog.pngの説明

多くの場合に注目する必要があるフィールドを次に示します。エクスポート・ログのフィールドでは、すべてのフィールドについて説明します。エクスポートされたインサイト・データのフィルタでは、データをソートするいくつかのアプローチについて説明します。

• BOT_NAMEには、スキルの名前またはデジタル・アシスタントの名前が含まれます。この列を使用して、ダイアログがデジタル・システムからスキルに(およびスキル間で)どのようにルーティングされるかを確認できます。
• CHANNEL_SESSION_IDには、チャネル・セッションIDが含まれます。このIDを3列目のCHANNEL_IDと組み合せて使用すると、セッションに対してある種の一意識別子を作成できます。セッションは失効または終了する可能性があるため、この識別子を使用してセッションが変化したかどうかを確認できます。
• TIMESTAMPは、イベントが発生した順序すなわちシーケンスを示します。通常は、この列でソートします。
• USER_UTTERANCEおよびBOT_RESPONSEには、スキルとユーザー間の実際の会話が含まれます。TIMESTAMPでソートすると、簡単に、これらの2つのフィールドによってユーザー・メッセージとスキル・メッセージが交互に表示されるようになります。

  USER_UTTERANCE列では発話が重複している場合があります。これは、ユーザーが同一インスタンスで実行をテストしているときに発生する可能性がありますが、会話の別の部分で発話が使用されているという理由で発生する可能性の方が高いと考えられます。

• COMPONENT_NAME、CURR_STATEおよびNEXT_STATEを使用してダイアログ・フローをデバッグできます。

通常、イベントの順序を表示するために、TIMESTAMP列でログをソートします。スキル・ユーザーの会話など他の視点から表示するには、システム生成の内部状態で列をフィルタできます。一般的なフィルタリング方法は次のとおりです。

• スキルおよびデジタル・アシスタントの会話の分類 – デジタル・アシスタントとその登録済スキルの両方のデータがエクスポートに含まれている場合、BOT_NAMEフィールドの内容がわかりにくいことがあります。様々なスキルの間やスキルとデジタル・アシスタントの間で、会話が任意に動いているように見えるためです。ダイアログを正しい順序(およびコンテキスト)で表示するには、TIMESTAMP列を昇順で使用します。
• 会話の区切りの確認 – System.BeginSessionフィールドといずれかの終了状態を使用して、会話の開始と終了を探します。会話はSystem.BeginSession状態で始まります。次のいずれかの終了状態で終了します:
  • System.EndSession
  • System.ExpiredSession
  • System.MaxStatesExceededHandler
  • System.DefaultErrorHandler
• 実際のユーザー・スキル会話のレビュー – USER_UTTERANCE列とBOT_RESPONSE列の内容を分離するには、CURR_STATE列をシステム生成状態System.MsgReceivedおよびSystem.MsgSentでフィルタします
  ノート
  
  テキスト・メッセージ以外のレスポンス(エンティティの解決状態からのレスポンス)では、スキル出力は、改行文字で結合されたレスポンスの一部になります。
  ユーザーとスキルのダイアログの一部が、USER_UTTERANCE列とBOT_RESPONSE列で繰り返される場合があります。ユーザー・テキストが繰り返されるのは、ユーザー入力を必要としない自動遷移があるときです。スキル・レスポンスが繰り返されるのは、次の状態が終了状態のいずれか(System.EndSessionまたはSystem.DefaultErrorHandler)である場合です。
• ユーザーとスキルのダイアログを含むダイアログ・フロー実行のみをレビュー – 内部トランザクションを表示するか、テキスト・メッセージ以外のみを表示するには、CURR_STATE列でSystem.MsgReceived状態およびSystem.MsgReceived状態をフィルタによって除外する必要があります(ダイアログのみを表示するのとは反対の方法です)。
• セッションの識別 – CHANNEL_SESSION_IDとSESSION_ID (隣合っている)の値を比較します。

スキルについてエクスポートされたCSVには、次のフィールドが含まれます。