閲覧権限のない社内文書の内容が回答に含まれる
検索対象の範囲と閲覧権限の設定の組み合わせを誤ると、権限のない文書の内容が回答文に含まれる事象が起こりえます。
GENZ, Inc.
GENZの第三者検証
社内生成AIアプリを
GENZの第三者検証
社内生成AIアプリを第三者の視点でテストします
社内生成AIアプリの公開前に、検証範囲を説明できる状態にします。テスト設計から報告までを第三者の視点で担い、検証した範囲と未検証の範囲を区別します。
支援事例
支援実績5,000件以上
社内生成AIアプリでよくある不具合
社内生成AIアプリでは、検索対象の文書登録・閲覧権限の設定・既存システムとの連携の組み合わせに起因する不具合が起こります。期待値を単一の文字列へ固定できない対象だからこそ、起きうる不具合を先に押さえます。
閲覧権限の
改訂前の旧版の社内規定を根拠に回答が生成される
社内規定の改訂後に旧版の文書が検索対象へ残ると、古い規定を根拠とした回答が生成され、利用者が誤った内容で業務を進めてしまいます。
根拠とした社内文書の出典が回答に表示されない
回答の根拠となった文書名や箇所が表示されないと、利用者は回答内容を確認する術を持たず、誤りに気づかないまま回答を使い続けてしまいます。
文書の追加・差し替え後に、以前は回答できた質問が回答できなくなる
文書の追加・差し替えで検索結果の構成が変わり、以前は正しく答えられた質問に回答できなくなります。追加部分だけの確認では検知できません。
業務システムとの連携で、誤った照会キーのまま結果が返される
接続先の業務システムへ渡す照会キーが誤ったまま処理が進むと、別の案件やクライアントの情報が結果として返され、回答文へ含まれてしまいます。
残存した不具合により生じる問題
公開前に確認を終えられないまま運用を始めると、不具合は社内の利用場面で表面化します。残存した不具合による問題を、業務と経営の順で整理します。
静的テスト（レビュー）でおさえるべき観点
社内生成AIアプリは、動かす前の設計情報を照合するだけで見つかる不備が多く残ります。権限・文書・プロンプト・接続先・異常条件の各点を、実行前のレビューで確認します。
放置した場合、組織改編や権限変更のたびに閲覧権限のない文書の内容が回答へ含まれる事象が起き、情報の取り扱い規程への違反として調査対象になります。
権限グループと文書範囲の対応表を、組織の構成と照合する
権限グループごとに閲覧可能な文書範囲を対応表へ落とし、実際の部署・役職の構成と照合します。組織改編後に古い権限が残ったままでは、権限のない文書が回答へ含まれる事象につながります。
確認する資料
- 権限対応表
- 組織図
- 権限設定画面
放置した場合、改訂前の規定内容で回答し続け、利用部門が誤った手続きで業務を進める状態に気づけません。
検索対象文書の一覧を、社内規定の改訂履歴と照合する
検索対象に登録した文書の一覧を、社内規定・マニュアルの改訂履歴と照合します。廃止された版が残っていると古い内容で回答し、登録漏れがあると「該当文書がないのに答える」挙動を見逃します。
確認する資料
- 文書一覧
- 改訂履歴
- 登録設定画面
放置した場合、回答の形式や出典の有無が利用者ごとに異なり、「答えが違う」という指摘の原因がプロンプトか文書かを切り分けられません。
プロンプトの指示文を、回答の形式要件と出典の提示規則と照合する
プロンプトの指示文を、回答の形式要件と出典の提示規則と照合します。形式や出典の指定が指示文へ反映されていないと、部署ごとに回答の体裁がばらつき、指摘の切り分けが難しくなります。
確認する資料
- 指示文
- 形式要件
- 出典規則
放置した場合、接続先から権限外の項目を取得する構成のままリリースされ、判明時点で接続の停止と設定のやり直しが発生します。
API定義の取得項目を、業務で必要な項目と権限の範囲と照合する
既存業務システムと接続する構成では、API定義で取得する項目を業務上必要な項目と権限の範囲と照合します。必要項目の過不足や、接続先の権限を超えた取得を、実装前の定義の段階で検出します。
確認する資料
- API定義書
- 業務項目一覧
- 権限範囲表
放置した場合、基盤側の失敗時に画面が応答を返さず、利用者が不具合と判断して窓口へ集中し、安定化作業の負荷が増えます。
異常系の定義を基盤の遅延・失敗条件と照合する
基盤側の遅延・失敗・回答不能の条件を列挙し、それぞれの場合に画面へ返す挙動の定義と照合します。失敗時の定義がないと、利用者には回答の遅延と不具合の区別が付かず、窓口への指摘が増えます。
確認する資料
- 異常条件一覧
- 画面遷移図
- エラー表示定義
- タイムアウト設定
動的テストの設計・実行のポイント
社内生成AIアプリの検証は、権限設定・検索経路・回答品質・更新後の回帰の順に分けて設計し、各段で確認する範囲を定義します。
STEP 01
ユニットテスト権限と検索対象の組み合わせを対象とする
どう確かめるか
権限グループごとの検索範囲を、境界値を含む条件でユニットテストする
部署・役職ごとの閲覧権限と検索対象の組み合わせを対象に、権限がある文書とない文書の境界値を含む条件で検索の可否を確認します。権限のない文書の内容が回答文へ含まれないことを確かめます。
- 01部署・役職ごとの権限パターンを洗い出し、検索対象との組み合わせを一覧化する
- 02権限がある文書・ない文書の境界値となる条件をテスト項目へ落とす
- 03権限のない文書の内容が回答へ含まれないことを確認する
OUTPUT権限ごとの検索可否
STEP 02
統合テスト検索から回答表示までの経路を対象とする
どう確かめるか
社内文書の検索から基盤への生成依頼までを、統合テストで経路ごとに確認する
質問の入力から社内文書の検索、基盤モデルへの生成依頼、回答の表示までの経路を統合テストで確認します。既存システムと接続する構成では、接続先の認証と取得データ項目も対象に含めます。
- 01入力・検索・生成依頼・表示の各経路で期待する動作を定義する
- 02接続先システムの認証と取得データ項目の設定どおりの動作を確認する
- 03検索対象に該当文書がない場合の応答の挙動を確認する
OUTPUT経路ごとの応答確認
STEP 03
システムテスト業務の質問群への回答を対象とする
どう確かめるか
業務の質問群を用いたシステムテストで、回答と出典の表示を確認する
利用部門の質問を集めた質問群を用いてシステムテストを実施し、回答の内容と出典の表示を確認します。期待値を単一の文字列へ固定せず、回答が満たすべき条件を観点として定義して判定します。
- 01利用部門から質問を収集し、部署・用途別の質問群として整理する
- 02回答が満たすべき条件を観点として定義し、判定基準を文書化する
- 03回答文と出典の表示が規定やマニュアルの内容と一致するかを確認する
OUTPUT回答と出典の妥当性
STEP 04
回帰テスト文書更新・基盤更新後の回答を対象とする
どう確かめるか
文書の差し替えと基盤の更新を想定した回帰テストで、既存の回答を再確認する
文書の差し替え・追加と基盤の更新を契機に回帰テストを実施し、以前正しく答えていた質問の回答が変わっていないかを確認します。確認範囲が追加部分へ縮まないよう、対象を事前に定義します。
- 01文書の差し替え・追加と基盤更新の契機ごとに回帰テストの範囲を定義する
- 02更新前に採取した回答の記録と更新後の回答を比較する
- 03回答が変わった質問について、変更の妥当性を利用部門と確認する
OUTPUT更新後の回答の一貫性
GENZが代行する社内生成AIアプリのテスト
固定費を抱えない人日単位のアサイン、監査にも使える独立した検証の記録、育成期間なしに活かせる専門ノウハウなど、第三者へのアウトソースには複数のメリットがあります。
OUTSOURCING RATIONALE
THIRD-PARTY VERIFICATION
01
必要な時に必要な分だけ
人日単位のアサインで固定費を抱えず、繁忙期に増減できます。
02
独立した視点で品質を底上げ
独立した検証で偏りを排し、監査に使える客観的な記録を残せます。
03
専門ノウハウを即戦力で
JSTQB認定エンジニアが在籍し、対象領域固有の検証知見を育成期間なしに活用できます。
専門知識を持ったテストエンジニアが、第三者の視点でテストするメリット
- 検索範囲と権限の組み合わせを網羅したテスト項目書を作成できます
- 揺れる出力の合否基準を品質保証部門へ説明できる形で定義できます
- 差し替え後の回帰テストの範囲を、自社で再実施できる形で残せます
- 検証範囲の宣言と結果の記録を監査で説明できる形で整理して残せます
検証範囲を宣言できる形で残すGENZのテスト支援
社内生成AIアプリのテストで求められるのは、どこまでを確かめ、どこを対象外としたかを説明できる状態です。GENZは第三者の視点でテスト設計から報告までを担い、検証範囲と未検証範囲を区別した記録を残します。
テスト設計から組み立てる
出力が揺れる対象は文面の一致で判定できません。満たすべき条件を観点として定義し、合否の置き方を品質保証部門へ説明できる形で設計します。
更新も接続追加も検証範囲に含める
社内文書の検索範囲と閲覧権限の組み合わせ、既存業務システムとの接続まで検証対象に含めます。差し替え後は回帰テストの範囲を定義します。
既存の開発・QA体制に並行して導入
開発の進行と並行してテストを実施します。ベンダーの構築範囲と情報システム部門の担当範囲の双方を対象に、進め方を変えずに導入できます。
結果と証跡を報告する
テストの結果と検証範囲を報告書として整理し、付議の場と事後の調査の双方で参照できる形で残します。監査対応に用いる証跡の管理まで担います。
ご相談から納品までの流れ
社内生成AIアプリの構成と公開範囲を確認し、テスト設計から実施、報告書の納品までを担います。
構成と公開範囲のヒアリング
社内文書の登録範囲や権限設定、公開対象の部門を伺い、対象を整理します。
テスト設計と見積もりのご提示
テスト項目の観点案と、範囲・期間・成果物を示した見積もりをご提示します。
テストの実施と結果の共有
合意した項目に沿ってテストを実施し、途中経過を含めて結果を共有します。
報告書の納品と修正後の再確認
結果と検証範囲を報告書へまとめて納品し、修正後の回答を再度確認します。
社内生成AIアプリの検証ご相談窓口
社内生成AIアプリの検証範囲と優先順位から、GENZへご相談ください
「どこまで確かめたか」を付議の場で説明できる状態づくりを支援します。相談では、検証範囲と優先順位の切り分け、既存の開発体制と並行して実施できる範囲を整理してお返しします。