デジタル・アシスタントに関するインサイト
それぞれのデジタル・アシスタントについて、使用パターンに関する開発者指向のアナリティクスであるインサイト・レポートを表示できます。
メトリックをユーザー・セッション・レベルと会話レベルの両方で追跡できます。ユーザー・チャット・セッションは、ユーザーがデジタル・アシスタントに連絡すると開始され、ユーザーがチャット・ウィンドウをクローズしたとき、またはチャネル構成で指定されたチャット・セッションの失効後に終了します。「メトリック」フィルタを使用して、会話レポートとチャット・セッション・レポートを切り替えることができます。
図da-conversation-sessions-toggle.pngの説明
インサイトは、ソースのチャット・セッションを追跡します。この場合、デジタル・アシスタントの構成員スキルではなく、チャット・セッションを開始したデジタル・アシスタントです。ユーザーがデジタル・アシスタントに直接接続するため、スキルはチャット・セッション・トラッキングとは関係ありません。
進行中のチャット・セッションは、リリース21.12より後に期限切れになります。
デジタル・アシスタントのチャット・セッション・メトリック
- 開始されたセッション数– デジタル・アシスタントによって開始されたチャット・セッションの合計数。
- 終了– チャット・ウィンドウを閉じるユーザーが明示的に終了した、またはチャネル構成で指定された期間より後に期限切れになったチャット・セッションの数。
ノート
進行中のセッションは、リリース21.12より後に期限切れになります。スキル・テスターを介して開始されたセッションは、24時間の非アクティブ後に期限切れになります。現在、Oracle Digital Assistant Native Client SDK for Webでは、チャット・ウィンドウを閉じてセッションを終了する機能がサポートされています。 - アクティブ– チャット・ウィンドウが開いたままであるか、まだタイムアウトしていないため、アクティブなままのチャット・セッション。
- セッション当たりの平均ユーザー・レスポンス– デジタル・アシスタントによって開始されたセッションの合計数にわたるユーザーからの平均レスポンス数。ユーザーが質問をしたり、デジタル・アシスタントに返信したり、それと対話するたびに、レスポンスとしてカウントされます。
- セッション・トレンド– アクティブ、終了および開始されたセッションの比較。これらのメトリックはドーナツ・チャートで互いに比例して表示され、終了したセッションとアクティブ・セッションの合計が開始されたセッションの合計数と比較されます。トレンド折れ線グラフでは、これらのメトリックの数が日付別にプロットされます。
デジタル・アシスタントの会話メトリック
デジタル・アシスタントのインサイト・レポートでは、次のことがわかります:
- 指定した期間における、デジタル・アシスタントから開始された会話の数とその完了率。
- デジタル・アシスタントに登録されたスキルの人気度。各スキルへのトラフィックによって決まります。
これらのレポートには、「設定」 
の「一般」ページにある「インサイトの有効化」が「オン」に切り替えられると、データが表示されます。レポートにアクセスするには、デジタル・アシスタントを開き、左側のナビゲーション・バーで
を選択します。
また、各インテントがコールされた頻度(およびそれらのコールの完了率)やユーザーがスキル内でたどったパスなどを示す、個別スキルに関する詳細なレポートを表示することもできます。インサイトを参照してください。
レポート・タイプ
- 概要 - このダッシュボードを使用して、チャネル別と期間別の音声およびテキストの会話の合計数をすばやく確認します。レポートのメトリックでは、完了、未完了および進行中の会話の数ごとにこの合計が分けられます。また、このレポートでは、棒グラフとワード・クラウドでスキルのトランザクションおよび回答のインテントの使用状況をランク付けすることで、スキルがどのように会話を完了したか、またはどのように完了に失敗したかが示されます。
- 会話 - セッションの呼出し中に発生した会話のトランスクリプトが表示されます。この会話のプレーン・テキスト・バージョンを読み、デジタル・アシスタントのスキル・ルーティングおよびインテント解決のコンテキスト内でレビューすることもできます。
- イベント - デジタル・アシスタント内のスキルにリレーされた外部イベントのメトリックおよびグラフ、および外部サーンに送信されたアウトバウンド・イベントが表示されます。
- リトレーナ - これは、スキル・レベルのリトレーナに相当するものです。ここでは、デジタル・アシスタントからフローするライブ・データを使用して、登録済スキルのインテント解決を改善します。
- エクスポート - Oracle Digital Assistantによって収集されたインサイト・データのCSVファイルをダウンロードできます。CSVからカスタム・インサイト・レポートを作成できます。
「概要」のメトリックとグラフの確認
をクリックして、次のレポートにアクセスします。
- 完了 – デジタル・アシスタントを介してルーティングされ、個々のスキルによって完了された会話の数。終了フロー状態または終了フロー(暗黙的)が遷移として選択されている状態で終了する会話は、完了とみなされます。YAMLオーサリング・スキルでは、ダイアログ・フローのトラバーサルが
return遷移で終了するか、insightsEndConversationプロパティがある状態で終了すると、会話は完了としてカウントされます。ノート
このプロパティおよびreturn遷移は、ビジュアル・フロー・デザイナでは使用できません。 - 未完了 – ユーザーがスキルを中止したために完了しなかった会話、またはシステムレベルのエラー、タイムアウトまたはスキルの設計上の不具合のためにユーザーが完了できなかった会話。
- 進行中 – まだ進行中のスキル会話(デジタル・アシスタントによって開始された会話)の数。このメトリックを使用して、複数ターンの会話をトラッキングします。進行中の会話は、セッションが期限切れになると、未完了の会話になります。
- 一致なし - デジタル・アシスタントが登録済スキルのいずれもユーザー・メッセージに一致させることができなかった回数。
- 取消済 - ユーザーが「取消」と入力してスキルを終了した回数。
- ヘルプ - ヘルプ・システム・インテントが起動された回数。
デジタル・アシスタントに対してインサイトが無効になっている場合、いずれかのメンバー・スキルに対してインサイトが有効になっていれば、完了の数は増加し続けます。それにもかかわらず、「インサイトの有効化」をオンに切り替えるまで、デジタル・アシスタント固有のヘルプおよび一致メトリックについてログに記録されるデータはありません。
図da-insights-overview.pngの説明 - 言語: サポートされている言語別のスキルごとの会話数をグラフで表示します。
- パフォーマンス: スキル別の会話数を示します。
「トレンド」ビューには、選択した期間における完了した会話のグラフが表示されます。
- スキル- 「サマリー」ビューには、特定の期間にスキルによって処理された会話の数が表示されます。進捗バーにカーソルを置くと、合計のうち完了した会話の数を確認できます。
図da-insights-skills-summary.pngの説明選択した期間中にスキルがバージョニングされている場合は、「トラフィック」グラフを使用して会話のバージョン別分布を確認できます。スキルをクリックすると、このグラフが開きます。このグラフは、選択した期間にスキルによって処理された会話の合計数に関して、スキルの各バージョンによって処理された会話の量を示しています。「トラフィック」グラフの各円弧は、スキルのバージョンを表し、その長さとそれに付随する割合は、処理した会話の量を示します。これらの各アークのホバー・テキストは、会話数に関する割合を示します。たとえば、この数値を分解して、特定のバージョンのスキルに対して起動されるインテントに関してこの数が何を意味するかを確認するには、円弧をクリックしてスキル・レベルのインサイトにドリルダウンします。選択した期間中に未完了の会話がある場合、合計数は次のエラー・カテゴリに分類されます:- タイムアウト – 進行中の会話がアイドル状態になってから1時間を超えると、セッションが期限切れになり、タイムアウトがトリガーされます。
- システム処理エラー – システム処理エラーは、スキルではなくシステムによって処理されます。これらのエラーは、ダイアログ・フロー定義にエラー処理が組み込まれていない場合に発生します。
- 無限ループ – ダイアログ・フロー定義の不備(誤って定義された遷移など)によって、無限ループが発生する可能性があります。
- 取消済 - ユーザーが明示的に会話を取り消してスキルを終了した回数。
「会話」レポートの表示
エクスポートされたスプレッドシートをフィルタするかわりに、会話レポートを使用して、デジタル・アシスタントの様々なスキルへのチャットのルーティングを追跡したり、途中で呼び出されたインテントを確認したりできます。
このレポートは、チャネルとスキルの両方でフィルタでき、セッションID (チャネル上のユーザーのセッションID)で会話を時系列順にリストし、会話のトランスクリプトを「ユーザー・メッセージ」列と「スキル・レスポンス」列に表示します。セッションIDは、クライアントがチャネルに接続し、会話に参加したスキルのすべてのデータが含まれる場合に作成されます。このIDは、アクティビティが24時間存在しない場合には失効しますが、クライアントが会話を続行しても失効することはありません。
図da-conversations-report.pngの説明
会話レポートに適用できる「表示」および「スキル」フィルタでは、「ユーザー・メッセージ」および「スキル・レスポンス」列または「会話の表示」モードで表示される会話トランスクリプトの内容は変更されません。
ODAリトレーナの適用
顧客入力によってトレーニング・データを更新することで、登録済スキルのインテント解決を改善できます。このような入力の一部がどのスキルにも解決されなかったり、間違ったスキルにルーティングされたりする可能性があります。リトレーナは、このユーザー入力を評価し、トレーニング・データに有用な追加であると考える場合はスキルに追加するのに役立ちます。
図da-retrainer.pngの説明
デフォルトでは、リトレーナはNoMatchフィルタを適用して、デジタル・アシスタントに登録されているどのスキルとも一致しなかったすべてのユーザー・メッセージを返します。レポートには、これらの返されたフレーズごとに、ランキング上位2つのスキル、それらを分離するウィン・マージン、および横向きの棒グラフによって対照的な信頼スコアが表示されます。
- 登録済スキルをフィルタ処理します。たとえば、デジタル・アシスタント内の特定のスキルと一致したすべてのフレーズをフィルタ処理したり、NoMatchを適用してどのスキルとも一致しなかったフレーズを表示したりすることができます。
- 発話を選択します。
- 発話についてスキルのドラフト・バージョンを選択します。ドラフト・バージョンが存在しない場合は、作成します。スキルを選択できない場合、そのスキルでネイティブの複数言語サポートが使用されています。このケースでは、ここでスキルを更新できません。かわりにスキル・レベルのリトレーナを使用する必要があります。
- インテントを選択しますフレーズを発話としてトレーニング・コーパスに追加すると、そのフレーズを再トレーニングのために選択することはできなくなります。
- スキルによって複数のネイティブ言語がサポートされている場合は、「言語」メニューから言語を選択して、言語に適したトレーニング・セットに発話を追加できます。
ノート
このオプションは、ネイティブにサポートされているスキルでのみ使用できます。 - スキルを再トレーニングします。
- スキルを再公開します。
- デジタル・アシスタントを最新バージョンのスキルで更新します。
PII匿名化
スキル・レベルのインサイトと同様に、匿名化を個人識別可能情報(PII)の値に適用できます。デジタル・アシスタント・レベルでは、匿名化はデジタル・アシスタントで処理される会話に適用されます。デジタル・アシスタント・レベルで有効になっている匿名化は、スキルには拡張されません。スキルに対して匿名化が有効になっているが、デジタル・アシスタントに対しては有効になっていない場合、スキルの会話のみが匿名化され、その逆も同様です。完全に匿名化された会話の場合、匿名化をデジタル・アシスタントとそのスキルに別々に適用する必要があります。
- PERSON
- NUMBER
- 電子メール
- 電話番号
- URL
PII匿名化の有効化
- 「設定」→「一般」をクリックします。
- 「PII匿名化の有効化」をオンにします。
- 「エンティティの追加」をクリックして、インサイト・レポートおよびログで匿名化するエンティティ値を選択します。
ノートエンティティの匿名化を中止する場合、または匿名をまったく使用しない場合は、エンティティを選択して「エンティティの削除」をクリックします。エンティティを削除すると、そのエンティティが以前に匿名化された形式で表示されていても、そのエンティティはインサイト・レポートおよび後続の会話のインサイト・レポート全体に表示されます。
選択したエンティティの匿名化された値は、匿名化を有効にした後にのみ保持されます。以前の会話には適用されません。インサイト・レポートまたはエクスポート・ファイルに選択した日付範囲によっては、エンティティ値が実際のフォームと匿名フォームの両方に表示される場合があります。エクスポート・タスクの作成時に、匿名化を匿名化以外の値に適用できます。これらの匿名性は、エクスポートされたファイルにのみ適用され、データベースには保持されません。ノート
匿名化は永続的です(エクスポート・タスクによって適用される匿名化は、それにもかかわらず)。匿名化を有効にした後は、実際の値をリカバリできません。
エクスポート・タスクの作成
インサイト・レポートで別の視点が必要な場合は、エクスポートされたインサイト・データから独自のレポートを作成できます。このデータはCSVファイルにエクスポートされます。このファイルの内容をソートするスクリプトを記述できます。
- 「エクスポート」ページを開き、「+エクスポート」をクリックします。
- レポートの名前を入力し、日付範囲を入力します。
- 「エクスポートされたファイルのPII匿名化の有効化」をクリックして、匿名化されていない値をエクスポートされたファイル内の匿名に置き換えます。これらの匿名が存在するのは、デジタル・アシスタント設定でPIIが有効になっていない場合のみです。これらはデータベースに永続化されず、ログまたは会話レポートに表示されません。このオプションは、デジタル・アシスタントの匿名化を設定するたびにデフォルトで有効になります。
- 「エクスポート」をクリックします。
- タスクに成功したら、「完了」をクリックしてCSVのZIPをダウンロードします。
ノート
デジタル・アシスタントのCSVファイルには、そのデジタル・アシスタントを介して直接コールされるスキルのデータが含まれます。デジタル・アシスタント・コンテキスト外でコールされるスキルのデータは、このファイルに含まれません。
図insights-export-dialog.pngの説明
エクスポート・タスクが1,048,000行を超える行を返すときに、データが一連のCSVに分散されることがあります。このような場合は、ZIPファイルに一連のZIPファイルが格納され、それぞれにCSVが格納されます。
デジタル・アシスタントのライブ・エージェント・メトリック
インサイトのレポートは、そのスキルおよびライブ・エージェント・ハンドラを通じて、エンド・ユーザー、スキルおよびライブ・エージェント間のすべての通信をカバーします。これは、DA (エージェント)の会話では当てはまりません。ここでは、チャットがライブ・エージェントに転送されるまで、インサイトが会話のみをカバーします。DA as Agentの会話に関する完全なレポートを作成するには、Oracle Fusion Service Analyticsを使用します。
デジタル・アシスタントのライブ・エージェント会話メトリック
- 会話の合計数– 選択した期間およびチャネルについてデジタル・アシスタントによってルーティングされた会話の合計数。この合計には、ライブ・エージェント・リクエストの有無にかかわらず会話が含まれます。
- ライブ・エージェントによって処理される会話– ライブ・エージェントに対するリクエストを含む、デジタル・アシスタントによってルーティングされる会話の合計数。
- ODAによって処理された会話– ライブ・エージェント・リクエストが行われなかったためにデジタル・アシスタントまたはそのスキルによって処理された会話(完了または未完了)の合計数。
- ODAによって解決された会話– ライブ・エージェント・リクエストなしで完了(終了状態に達)したデジタル・アシスタントによってルーティングされた会話の数。
- ライブ・エージェントの待機中に破棄された会話 - デジタル・アシスタントによってルーティングされた会話の数で、ライブ・エージェントに一度も渡されなかった会話の数。会話は、ユーザーがライブ・エージェントと接続しなかった場合(会話を離れた場合やタイムアウトになった場合など)に放棄されたとみなすことができます。
- 偏向– ライブ・エージェントから逸脱した会話の割合。これは、ODAによって解決された会話の集計を(デジタル・アシスタントによって処理された)会話の合計数で除算して計算されます。
イベント・インサイト
デジタル・アシスタントに、外部ソースからのイベントの受信と外部ソースへのイベントの公開の両方を行うためのスキルが含まれている場合、イベント・インサイトのチャートおよびグラフを使用して、これらのインバウンドおよびアウトバウンド・イベントの量を監視できます。
インバウンド・イベント
- インバウンド・メッセージの合計数– スキルが受信したイベントの集計。エラーのあるインバウンド・イベントもこの合計に含まれます。これらのレポートで追跡されるイベントは、イベントJSONオブジェクトに反映されるユースケースによって異なります。インバウンド・イベントの内容はこのオブジェクトによって提供されるため、イベントがユーザーによって行われた繰返しの順序を表す場合があります。この場合、スキルとユーザーの交換ではなく、以前の会話の結果です。たとえば、ユーザーが過去の注文を確認して「再注文」をタップすると、スキルはイベントを受信し、ユーザーに確認メッセージを送信します。インサイトの観点では、これらの繰返しオーダーを表す「インバウンド・メッセージの合計数」メトリックの集計が、概要レポートで完了した会話の数と同様に増分されます。会話レポートを見ると、これらの繰返し順序はユーザー・セッションID (
useridイベント・コンテキスト属性)によって集計されます。 - エラーのあるインバウンド・イベント・メッセージの数– エラーのためにユーザー通知メッセージにならないインバウンド・イベントの集計。通常、これらは、イベント・ペイロードがスキーマに準拠していないために発生した検証エラー、イベントを消費するスキルの構成の問題、またはイベント自体の構成です。
- インバウンド・イベント・ソースの数– インバウンド・イベントを開始するソースの数。
- インバウンド・メッセージのトレンド– 時間の経過とともにインバウンド・メッセージ(エラーのあるメッセージを含む)の量。
- インバウンド・メッセージの内訳– イベント・ソース別のインバウンド・イベント(エラーのあるイベントを含む)の合計。
ヒント:
インバウンド・イベント・ソースのユーザーフレンドリな名前を作成するには、それらのユーザー定義リソース・バンドルを作成します。 - エラーのあるインバウンド・メッセージ– 通知イベントが発生したインバウンド・イベントとエラーのあるインバウンド・イベントの比較。
送信イベント
アウトバウンド・イベントは、インバウンド・イベントがないと存在しません。
- アウトバウンド・メッセージの合計数– デジタル・アシスタントに登録されたスキルによって公開されたイベントの集計。
- アウトバウンド・メッセージのトレンド– 一定期間の公開済イベントの量。
- アウトバウンド・メッセージの内訳– ソース別のアウトバウンド・メッセージの内訳。リリース22.10では、アプリケーション・イベントのみが追跡されます。
- イベント配布– 公開されたイベントの頻度。
ヒント:
イベント名のユーザー定義リソース・バンドルを作成することで、ワード・クラウド内のイベントのわかりやすい名前を作成できます。