シナリオ分岐の条件が重複し、選択した項目と異なる回答が返る
質問を追加した際に既存の分岐条件と重複すると、利用者が選んだ項目とは別のシナリオへ進み、意図しない回答が返されます。公開後に初めて判明します。
GENZ, Inc.
テスト外注をご検討の方へ
チャットボットの
テスト外注をご検討の方へ
チャットボットの回答精度と連携を第三者が検証
リリース可否の判断材料となるテスト計画・検証範囲・合否基準を、GENZが第三者の視点で設計し、報告書まで提供します。
支援事例
支援実績5,000件以上
チャットボットツールでよくある不具合
チャットボットの不具合は、シナリオの分岐条件や連携設定、表示環境の差異から起きます。公開後に利用者の画面で初めて表面化するものが多く、リリース前にどの経路と条件を検証したかで、発見できる範囲が変わります。
シナリオ分岐の
想定外の言い回しに、無関係な回答が最上位で出る
質問一覧にない言い回しで入力されると、関連度の低い回答が最上位に表示されます。誤った案内が利用者へ返され、苦情につながるおそれがあります。
受付時間外に有人チャットへ引き継がれ、会話が無応答のまま終了する
引き継ぎの受付時間と判定処理が一致していないと、オペレーター不在の時間帯に有人チャットへ接続され、利用者の会話が応答のないまま切断されます。
連携の遅延で応対記録が残らないまま会話が終わる
問い合わせ管理システムとの連携が遅延すると、会話終了までに応対記録が登録されず、履歴のない問い合わせが発生し、原因を調査できません。
スマートフォンのブラウザで入力欄が隠れ、選択肢の最終行を操作できない
パソコンのブラウザでは確認できても、スマートフォンではキーボードの表示で入力欄や選択肢が隠れ、操作を完了できない場合があります。
残存した不具合により生じる問題
検証項目の不足や合否基準の不在で見落とされた不具合は、公開後に誤回答として表面化し、修正の優先順位づけと費用の説明責任が担当者へ残ります。
静的テスト（レビュー）でおさえるべき観点
チャットボットのテストは実行だけでなく、実行前のレビューで防げる不具合があります。シナリオ定義書・連携定義書・会話ログの保管要件・合否基準・画面設計書について、照合の観点を整理します。
分岐条件の重複を見落とすと、意図しない回答が選ばれて誤回答が利用者へ表示され、公開後の修正と回帰テストの負荷が運用部門へ発生します。
シナリオ定義書と質問一覧の照合で、分岐条件の重複と欠落を確認
シナリオ定義書と質問一覧を照合し、分岐条件の重複と欠落を確認します。運用中に追加された質問が既存の分岐と重なると、意図しない回答が選ばれ、誤回答として表面化するおそれがあります。
確認する資料
- シナリオ定義書
- 質問一覧
- 分岐条件表
連携項目の不整合を見落とすと、問い合わせ管理システムへの連携が失敗し、有人対応への引き継ぎができず、問い合わせの取りこぼしが発生します。
連携定義書と連携先の項目定義の照合で、必須項目と桁数の不整合を確認
連携定義書と問い合わせ管理システム側の項目定義を照合し、必須項目の有無と桁数を確認します。送受信する項目の定義が一致しないと、連携先で受け付けられず、引き継ぎ処理が失敗します。
確認する資料
- 連携定義書
- API定義
- 項目定義表
保管要件との不一致を見落とすと、会話ログの保管期間や削除の運用を説明できず、システム監査の指摘につながるおそれがあります。
会話ログの保管要件と設計書の照合で、保管期間と削除条件を確認
会話ログの保管要件と設計書を照合し、保管期間と削除の条件を確認します。個人情報を含む会話ログの取り扱いが要件と一致しないと、システム監査で指摘され、資料作成の追加作業が発生します。
確認する資料
- 保管要件書
- ログ設計書
- 削除手順書
合否基準の未定義を見落とすと、リリース判断の根拠を示せず、品質保証部門の審査で差し戻しが繰り返され、公開時期が遅れます。
要件定義書と合否基準の照合で、リリース判断に使う基準値を確認
要件定義書と合否基準を照合し、リリース判断に使う基準値が定義されているかを確認します。自動生成の回答は同一入力で同一出力が保証されないため、一致判定以外の合否基準がないと審査が止まります。
確認する資料
- 要件定義書
- 合否基準書
- テスト計画書
入口ごとの表示差異を見落とすと、特定の経路で質問を入力できない状態のまま公開され、利用者からの苦情として判明します。
画面設計書と表示要件の照合で、入口ごとの表示と入力支援を確認
画面設計書と表示要件を照合し、Webサイト・社内ポータルなど入口ごとの表示と入力支援を確認します。経路ごとの差異を確認しないと、特定の入口で質問が入力できない不具合を見落とします。
確認する資料
- 画面設計書
- 表示要件書
- 入口一覧
- 入力仕様書
動的テストの設計・実行のポイント
ユニットテストから受け入れテストまで、段階ごとに確認対象と合否基準を分けることで、リリース判断の材料が揃います。
STEP 01
ユニットテスト分岐と境界値の確認が中心です
どう確かめるか
ユニットテストでは、分岐条件と入力文字数の境界値をデシジョンテーブルで確認する
分岐条件と入力文字数の境界値を対象に、デシジョンテーブルへ条件と期待結果を整理します。選択肢の組み合わせと上限・下限の文字入力を網羅し、意図しない回答が選ばれないことを確認します。
- 01分岐条件をデシジョンテーブルへ整理する
- 02入力文字数の境界値で回答を確認する
- 03選択肢の組み合わせを網羅して確認する
OUTPUT分岐条件の確認表
STEP 02
統合テスト連携先との授受を確認します
どう確かめるか
問い合わせ管理システムとの連携を定義書に沿って確認する
問い合わせ管理システム・CRMとの連携は、API定義の形式・認証方式・同期の契機を定義書と照合します。有人チャットへの引き継ぎでは、受付時間帯と待ち行列の扱いを検証します。
- 01API定義と認証方式を定義書と照合する
- 02有人チャットへの引き継ぎ動作を検証する
- 03問い合わせ管理システムへの登録を確認する
OUTPUT連携確認の結果一覧
STEP 03
システムテスト正常系と異常系を実行します
どう確かめるか
システムテストでは、想定質問一覧による応答の確認と異常系のテスト観点を実行する
想定質問一覧を入力して応答内容を確認し、あわせて異常系のテスト観点を実行します。生成回答は同一入力に同一出力が保証されないため、許容範囲を定めた合否基準で判定します。
- 01想定質問一覧で応答内容を確認する
- 02異常系のテスト観点を実行する
- 03生成回答の合否基準で判定する
OUTPUT応答確認の結果記録
STEP 04
受け入れテスト運用の視点で合否を判断します
どう確かめるか
受け入れテストでは、運用シナリオと回帰テストでリリース判断の材料を整える
公開後の運用を想定した質問追加・文言修正のシナリオを検証し、既存シナリオへの影響を回帰テストで確認します。結果と残存リスクを整理し、リリース判断の材料として提出します。
- 01運用シナリオで質問追加・修正を検証する
- 02回帰テストで既存機能への影響を確認する
- 03結果と残存リスクを判断材料にまとめる
OUTPUTリリース判断の材料
GENZが代行するチャットボットツールのテスト
固定費を抱えない人日単位のアサイン、監査にも使える独立した検証の記録、育成期間なしに活かせる専門ノウハウなど、第三者へのアウトソースには複数のメリットがあります。
OUTSOURCING RATIONALE
THIRD-PARTY VERIFICATION
01
必要な時に必要な分だけ
人日単位のアサインで固定費を抱えず、繁忙期に増減できます。
02
独立した視点で品質を底上げ
独立した検証で偏りを排し、監査に使える客観的な記録を残せます。
03
専門ノウハウを即戦力で
JSTQB認定エンジニアが在籍し、対象領域固有の検証知見を育成期間なしに活用できます。
専門知識を持ったテストエンジニアが、第三者の視点でテストするメリット
- リリース前のテスト範囲と項目を設計から委託できます
- 第三者の視点で合否基準と検証範囲を判断材料にできます
- 手順と記録で応答の正しさを説明できる状態になります
- 回帰テストで既存シナリオのデグレードを抑えられます
設計書の読み込みから始める第三者検証
チャットボットの検証は、定義書と質問一覧の読み込みから始めます。構築主体と検証主体を分けた第三者検証として、GENZがテスト設計から報告書の納品までを担い、リリース判断と監査対応に使える記録を残します。
定義書と質問からテスト設計へ
シナリオ定義書と質問一覧を読み込み、回答分岐や連携処理ごとに検証項目へ展開します。応答の良否を再現できる手順と記録に置き換えます。
検証範囲と合否基準を定める
自動応答は期待値との一致だけで判定できないため、許容する回答の幅と合否基準を第三者の視点で定め、リリース判断の材料とします。
既存のテスト管理手順に合わせて実施
お使いのテスト管理手順と不具合票の様式に合わせて実施します。既存の運用を変えずに検証結果を載せられるため、受け入れ側の作業は増えません。
報告書と証跡を納品
実施結果は報告書として納品し、テスト実施の過程で記録が残る形にします。システム監査で求められる証跡を別途作り直す必要がありません。
ご相談から納品までの流れ
チャットボットの検証は、初回のご相談から報告書の納品まで順に進めます。各工程の成果物は次のとおりです。
ヒアリングと検証範囲の確認
対象のチャットボットの構成と連携要件を伺い、合否基準の所在を確認します。
テスト設計と見積もりのご提示
確認した範囲でテスト項目を設計し、工程と成果物の見積もりをご提示します。
テスト実施と不具合の共有
テストを実施し、検出した不具合を不具合票で随時共有します。
報告書の納品と再確認
結果を報告書として納品し、審査や監査への提出に使える形で証跡を整理します。
テスト設計から委託できます
チャットボットツールの検証範囲と優先順位をGENZへご相談ください
チャットボットの検証項目と合否基準が固まっていなくても、ご相談いただけます。お持ちの要件と質問一覧をもとに、テスト範囲の整理、優先順位づけ、必要工数の考え方をお示しします。