検知シナリオを変えるたび、確認範囲を担当者の経験で線引きしている
検知シナリオを変更するたび、他への影響をどこまで確認するかが定まらず、担当者の経験で線引きしています。
GENZ, Inc.
検証範囲の迷いへ
改修後の
検証範囲の迷いへ
改修後のAML、検知漏れは増えていませんか
AMLソフトウェアの改修のたびに、確認範囲を手作業で決めていませんか。GENZは導入済みの製品を替えず、回帰テストの設計と証跡の作成を受け取ます。
支援事例
支援実績5,000件以上
AMLシステム改修で現場がつまずくこと
AMLシステムの改修では、製品機能の正否とは別に、自行の取引データと組み合わせた挙動の妥当性が問われます。この検証が属人化したままだと、リリース判定のたびに根拠をつくりなおす状態が続きます。
検知シナリオを
誤検知を減らす調整をすると、検知漏れが増えていないかの確認手段がない
誤検知を減らす調整で検知漏れが増える懸念があり、比較すべき正解データが手元にないため確認できません。
ベンダーの自社テストは製品機能まで、自行データとの組み合わせは範囲外
ベンダーは契約範囲の機能テストを完了させますが、自行データとの組み合わせは範囲外として扱われます。
テスト結果が表計算やメールに散在し、監査のたびに再整理している
テスト結果が表計算ファイル・メール・議事録に散在し、監査のたびに一連の手続として再整理しています。
本番稼働後に表面化し、原因の切り分けに時間がかかる
本番稼働後に初めて事象が表面化し、原因が実装・設定・データのどこにあるかの切り分けに時間がかかります。
検証が足りないまま動かし続けると、何が起きるか
AMLシステムの検証が不足したまま運用を続けると、検知漏れ、誤検知の増加、説明根拠の喪失という形でリスクが現れます。
AMLソフトウェア検証の確認範囲
AMLソフトウェアの検証では、どこまで確認すれば足りるかを担当者の経験ではなく、あらかじめ定めた範囲で判断できる状態にすることが課題の解消につながります。本節では確認すべき範囲を整理します。
この確認を行わないままリリースすると、閾値の境界にある取引が検知も非検知も意図と逆に判定され、検知漏れや誤検知が本番で初めて表面化するおそれがあります。
検知シナリオと閾値が、境界の値でも意図どおり判定されるか
検知シナリオと閾値は、自行の取引や商品体系に合わせてパラメータとして設定されます。閾値ちょうどの金額の取引を発生させ、境界の値でも意図どおり検知と非検知が分かれるかを確かめます。
確認する資料
- テスト計画書
- 期待結果一覧
- 実施記録
比較の範囲が定まらないままでは、変更の影響を受けた他シナリオの異常を見落とし、「検知漏れが増えていない」と説明する根拠を判定会議で示せなくなるおそれがあります。
改修していないシナリオの検知結果が、変更の前後で変わっていないか
あるシナリオを変更したとき、変更していない他のシナリオの検知結果が前後で変わっていないかを突き合わせます。比較の対象と範囲を決めておけば、回帰テストの線引きがその場の判断に左右されません。
確認する資料
- 比較結果表
- 差分一覧
- 実施記録
連携データの欠損に気づかないまま運用を続けると、監視対象から外れた取引が蓄積し、あとから届出漏れとして判明した場合に追加調査と是正の費用が発生するおそれがあります。
情報系・取引系からの連携データが、欠けも崩れもなく届いているか
情報系・取引系システムから届くデータに、欠損や形式の崩れがないかを確認します。連携データが欠けたままでは、検知シナリオが正しくてもアラートが出ない取引が生じるため、入力の時点で確かめます。
確認する資料
- 連携件数表
- 突合結果表
- 実施記録
リスト更新の反映を確かめないままでは、照合対象が最新でない状態が続き、要注意人物との取引を見逃すおそれがあります。
制裁リストの更新が、表記のゆれを含めて照合へ反映されているか
外部配信の制裁リスト・要注意人物リストの更新が、照合処理へ反映されているかを確認します。氏名の表記ゆれや旧字体を含むケースで照合を試し、更新適用のたびに判定が変わらないことを確かめます。
確認する資料
- 適用履歴
- 照合結果表
- 実施記録
更新前後の判定を比較しないままでは、検知件数の増減が改修の意図した結果か副作用かを切り分けられず、原因調査が実装・設定・データのどこに遡るべきか定まらないおそれがあります。
モデルや基盤を更新したあとも、同じ入力から同じ判定が返るか
パッケージのバージョンアップやパッチ適用の前後で、同じ入力から同じ判定が返るかを検証します。判定が変わった場合は、意図した改修の結果か副作用かを切り分けられるよう、期待結果を記録に残します。
確認する資料
- 期待結果一覧
- 比較結果表
- 切り分け記録
- 実施記録
判定会議と内部監査に、そのまま出せる記録を残す
記録がメールや表計算に分散していては、判定会議の根拠になりません。GENZはそのまま提出できる記録づくりから整理します。
STEP 01
現行の検知と改修をうかがう既存のシナリオと今回の改修内容を確認します
どう確かめるか
テスト計画書に、確認する範囲と確認しない範囲を明記する
ベンダーが担保するのは製品機能の動作で、自行データでの検知の妥当性は対象が異なります。計画書に確認する範囲としない範囲を明記し、稟議での回答材料にします。
- 01現行の検知シナリオと閾値の設定値を一覧で確認します
- 02今回の改修で変わる箇所と変わらない箇所を整理します
- 03情報系・勘定系とのデータ連携の構成と経路を把握します
OUTPUTテスト計画書一式
STEP 02
検証範囲とテスト観点・データを設計するベンダーの検証と重複しない範囲を線引きします
どう確かめるか
実施記録を、検知結果の差分が追える形で残す
改修の前後で同じテストデータを流し、シナリオごとの検知件数と内容の差分を記録します。増減が意図した変更かを、手続として一連で追える形でひとつの記録に残します。
- 01ベンダーの自社テストと重複しない検証範囲を定めます
- 02改修の影響が及ぶシナリオから回帰テストの対象を選びます
- 03擬似の取引データとテスト観点を用途ごとに設計します
OUTPUT検証の実施記録一式
STEP 03
テストを実施し、検知結果の差分を記録する改修前後の検知件数と内容を突き合わせます
どう確かめるか
検出事象を、実装・設定・データのどの層の話かで整理して報告する
原因が実装・パラメータ設定・連携データのどこにあるかで、切り分けの担い手が変わります。検出した事象を層ごとに記録すると、異常時の調査が遡るべき先を報告書で示せます。
- 01検知シナリオごとに計画に沿ってテストを実施します
- 02改修の前後で検知件数と検知内容の差分を突き合わせます
- 03検出した事象を実装・設定・データの層ごとに分けます
OUTPUT検出事象の整理表
STEP 04
報告し、次の改修に活かす形へ整える判定と監査に使える形式にしてお渡しします
どう確かめるか
報告書を、業務主管と管掌役員の双方が読める粒度でまとめる
業務主管が確認したい誤検知の傾向と、管掌役員が判断に使う検証の網羅性は、必要な粒度が異なります。報告書は両者が同じ資料から判断できる構成にまとめ、リリース可否を仰ぐ場に備えます。
- 01業務主管と管掌役員が読める粒度の報告書を作成します
- 02計画・実施記録・不具合対応を一連で追える形に整えます
- 03次回の改修でそのまま使える検証記録として保管します
OUTPUT判定会議向け報告書
AMLソフトウェアの検証に取り組んだお客様の声
固定費を抱えない人日単位のアサイン、監査にも使える独立した検証の記録、育成期間なしに活かせる専門ノウハウなど、第三者へのアウトソースには複数のメリットがあります。
OUTSOURCING RATIONALE
THIRD-PARTY VERIFICATION
01
必要な時に必要な分だけ
人日単位のアサインで固定費を抱えず、繁忙期に増減できます。
02
独立した視点で品質を底上げ
独立した検証で偏りを排し、監査に使える客観的な記録を残せます。
03
専門ノウハウを即戦力で
JSTQB認定エンジニアが在籍し、対象領域固有の検証知見を育成期間なしに活用できます。
専門知識を持ったテストエンジニアが、第三者の視点でテストするメリット
- シナリオ変更ごとの回帰範囲が、根拠つきで決まるようになりました
- 監査で求められた記録を、その日のうちに提示できるようになりました
- 誤検知の調整で検知漏れが増えていないと役員へ説明できました
- ベンダーのテスト範囲外の空白を、発注の型として埋められました
AMLソフトウェアの検証でご用意しているメニュー
シナリオ改修のたびに発生する検証工程を、テストの専門会社として引き受けます。回帰テストの範囲設計から実施、記録の管理まで、監査や判定会議にそのまま提出できる形でお渡しします。
シナリオ改修に伴う回帰テストの設計と実施
変更箇所と影響が及ぶ既存シナリオを洗い出し、確認すべき範囲を第三者の設計として整理します。範囲の根拠はテスト計画書の形に残します。
大規模システムの網羅的テスト設計
取引の監視や照合など複数の領域にまたがる場合も、シナリオの組み合わせを漏れなく設計します。大規模システムのテスト設計を担います。
第三者として計画から報告まで一貫実施
製品ベンダーとは別の立場で、計画の取りまとめから実施、報告書の作成まで一貫して担います。ご担当者様は進行の確認に専念いただけます。
監査対応を想定したテスト証跡の管理
テスト計画書・実施記録・報告書を成果物として管理し、内部監査の点検や判定会議への上程に使える記録として残します。
お問合せからご報告までの流れ
AMLソフトウェアの検証は、お問合せから範囲の確定、契約、実施、報告までの順に進めます。
フォームまたはお電話でのお問合せ
まずは改修計画と検証したい範囲の概要をお聞かせください。
ヒアリングと範囲のすり合わせ
検知シナリオと閾値、対象データを確認し、検証範囲の切り分けを決めます。
お見積のご提示とご契約の締結
確定した範囲で費用と工数を提示し、データの取り扱い条件を含めて契約します。
テストの実施と検証結果のご報告
計画に沿って実施し、計画書・実施記録・報告書を追跡できる形で納品します。
AMLソフトウェアの検証相談
AMLソフトウェアの検証について、まずは現状の体制からご相談ください
現行の製品を替えずに、更改やシナリオ改修のたびに必要な検証だけを外部へ切り出せます。ご相談では、対象となるテスト範囲と必要工数の見通しを整理してお返しします。