パターンが意図した配信比率どおりに出ていない
配信比率を均等に設定したつもりでも、条件の記述順や優先順位の影響で特定のパターンへ偏って配信され、比較の前提が崩れることがあります。
GENZ, Inc.
第三者による検証
ABテストの
第三者による検証
ABテストの配信と計測を、実装者とは別の目で確認
パターンは意図どおり出し分けされ、数値は正しく計測されているか。GENZは実装主体から独立した立場で実機を確認し、説明できる証跡として残します。
支援事例
支援実績5,000件以上
ABテストツールの運用で見過ごされやすい不具合
ABテストツールは設定どおりに動いているように見えても、公開後に確認してみると出し分け・計測・表示の各段で小さな不具合が潜んでいることがあります。ここでは、運用のなかで見過ごされやすい不具合を挙げます。
パターンが
計測タグの重複で同じ行動が二重に記録される
既存の解析タグとテスト用のタグが同じ行動を拾うと、申込やクリックが重複して記録され、集計値が実態からかけ離れてしまいます。
書き換え前の元表示が一瞬見えて指標がゆがむ
書き換えの処理が遅れると、訪問者には元の表示が一瞬見えてから切り替わります。離脱や操作の乱れとして計測値に表れ、判定がゆがむおそれがあります。
除外条件が効かず対象外の利用者にも表示される
社内からのアクセスや対象外ページを除外する設定が効いていないと、比較の対象に含めたくない利用者の行動まで混ざり、結果の解釈を誤ります。
一部の端末やブラウザだけ変更が反映されていない
自分の端末では正しく表示されても、別のOSやブラウザでは変更が反映されていないことがあり、気づかないまま配信を続けてしまうおそれがあります。
確かめないまま運用を続けた場合に起きること
確かめないまま運用を続けると、誤った数値で改修を採否し、表示崩れが申込機会を奪い、データの扱いを説明できなくなります。三つに分けて見ます。
第三者の視点で確かめるときの観点
第三者の視点で確かめる観点は、設定どおりに配信され、判定の根拠をあとから説明できる状態にあるかに置きます。公開前の受け入れから運用段階の集計までに積み残されやすい論点を、対象ごとに整理します。
仮説と変更箇所がずれたまま配信を続けると、得られた結果が何の検証だったかを説明できず、次の施策への判断材料として使えなくなります。
仮説とテスト設計が対応しているかを読み合わせる
ツール画面の仮説文と実際に作られたパターンを読み合わせ、変更した要素が仮説の効果を測れる配置かを確かめます。仮説と変更箇所がずれたままでは、有意差が出ても何を評価した結果かを説明できません。
確認する資料
- 仮説シート
- パターン仕様書
- 変更箇所一覧
出し分け条件の設定漏れがあると、意図しない訪問者にテストパターンが表示され、本番サイトの表示崩れや計測値の混在につながるおそれがあります。
出し分け条件とセグメント定義の対応を確かめる
出し分け条件・除外条件・配信比率の設定値と、対象ページのURL構造やセグメント定義を照合します。設定が正しく見えても、URLの揺れやタグの設置状況で、意図した訪問者に届かないことがあります。
確認する資料
- 出し分け条件表
- 除外条件一覧
- 配信比率設定
計測定義のずれを照合しないまま集計を進めると、判定値と集計値の食い違いが毎回発生し、照合作業が個別の手間として積み上がります。
計測イベントと解析側の集計定義のずれを洗い出す
ツール側が計測するイベントと、解析ツール側の集計定義を項目ごとに照合します。重複計測や条件の差異が残ると、判定値と自社の集計値が食い違い、どちらを根拠に採否を決めるかで止まります。
確認する資料
- イベント定義書
- 集計条件一覧
- 照合結果表
停止条件が曖昧なままだと、データが足りない段階で採否を迫られ、差が出ていない数字を根拠に改修の判断を進めてしまいます。
テスト配信の停止条件とデータの蓄積状況を確認する
停止条件と配信期間中のデータの蓄積状況を確認します。十分なデータが集まる前に打ち切る設定や、期間中に条件を変更した記録が残らない運用では、判定そのものが成立しません。
確認する資料
- 停止条件設定
- 配信期間記録
- 条件変更履歴
確認の記録が残っていないと、ツール更改やサイト改修の際に、どの設定が何を根拠に置かれたかを誰も説明できない状態に至ります。
同じ判定をあとから再現できる記録が残るかを見る
公開判断と採否の根拠が、第三者があとから追える記録として残っているかを見ます。確認した環境や条件、結果が残っていなければ、同じ判定を確かめなおす手段がなく、説明責任の場面で根拠を示せません。
確認する資料
- 公開判断記録
- 確認環境一覧
- 採否の根拠資料
- 判定ログ
ABテストツールのテスト外注で引き受ける範囲
GENZが引き受けるのは、施策としてのABテストではなく、設定どおりに動き正しく計測されているかを確かめる検証です。
STEP 01
対象と範囲のすり合わせ対象のテスト設定と環境を特定します
どう確かめるか
配信条件とパターンの動作が設定どおりかの確認
出し分け条件と除外条件、配信比率、停止条件が、設定したとおりに機能するかを実際の配信環境で確かめます。意図しないパターンが表示される設定のずれを、公開前に洗い出します。
- 01検証対象となるテスト設定と計測タグの洗い出しと一覧化
- 02現在の配信経路とタグの設置方法についてのヒアリング
- 03検証に含める範囲と除外する範囲の線引きの合意形成
OUTPUT対象範囲と観点の整理表
STEP 02
テスト設計と観点の整理確認観点を条件と環境の軸で分解します
どう確かめるか
複数のブラウザと端末の組み合わせでの表示確認
ご担当者様の端末だけでなく、複数のブラウザと端末の組み合わせで表示を確認します。一部の環境でパターンが反映されない、レイアウトが崩れるといった見落としを、実機で検出します。
- 01出し分け条件ごとの確認観点の洗い出しと優先順位づけ
- 02確認対象とするブラウザと端末の組み合わせ範囲の設定
- 03計測イベントと解析ツール側の照合先データの対応付け
OUTPUT不具合一覧と再現手順
STEP 03
実機での実行と不具合の起票検出した不具合は再現手順付きで起票します
どう確かめるか
ABテストツールと解析ツールの計測値の整合の確認
ツール側の判定値と解析ツール側の集計値が一致するかを照合します。計測の重複や集計条件のずれで数字が食い違う場合は、原因の切り分けまで行い、計測値の確からしさを確かめます。
- 01本番相当の環境での実機操作によるパターン表示の確認
- 02出し分け条件ごとの配信動作と計測値の記録と突き合わせ
- 03検出した事象の発生条件の切り分けと再現手順の記録
OUTPUT環境別の確認結果一覧
STEP 04
報告と残る課題の引き渡し社内で引き継ぐ範囲を明示して納めます
どう確かめるか
確認した結果と判定の根拠の整理と報告書の作成
確認した内容、判定の根拠、検出した不具合と再現手順を、第三者が読み返せる形で報告書にまとめます。公開判断やツール更改の際に、何をどこまで確かめたかを説明できる状態を残します。
- 01検証結果と判定の根拠の報告書へのとりまとめと提出
- 02未解決の事項と運用面に残るリスクの洗い出しと明示
- 03社内運用へ引き継ぐ確認手順の整理と担当者への共有
OUTPUT証跡付きの検証報告書
検証を担当する体制と外部に委ねて得られること
固定費を抱えない人日単位のアサイン、監査にも使える独立した検証の記録、育成期間なしに活かせる専門ノウハウなど、第三者へのアウトソースには複数のメリットがあります。
OUTSOURCING RATIONALE
THIRD-PARTY VERIFICATION
01
必要な時に必要な分だけ
人日単位のアサインで固定費を抱えず、繁忙期に増減できます。
02
独立した視点で品質を底上げ
独立した検証で偏りを排し、監査に使える客観的な記録を残せます。
03
専門ノウハウを即戦力で
JSTQB認定エンジニアが在籍し、対象領域固有の検証知見を育成期間なしに活用できます。
専門知識を持ったテストエンジニアが、第三者の視点でテストするメリット
- 実装者とは別の目で確認でき、判定の土台が固まります
- 確認の記録が残り、採用理由をあとから説明できます
- 外部に委ねる範囲と費用の輪郭を先に把握できます
- ツール更改時も確認手順を引き継ぎ、作り直しを防げます
対応するツールと対象面の範囲
ABテストはWebサイトだけでなく、モバイルアプリやメールなど複数の面で実施されます。GENZの検証は、出し分けの設定がどの経路で配信されているかを最初に確認し、面ごとの計測の受け渡しまでを対象に含めます。
Webサイトでの画面要素の出し分け
訪問者に表示されるパターンが、設定した条件と配信比率どおりに出し分けされるかを、実際の閲覧条件を模した操作で確認します。
アプリ内での表示内容の出し分け
アプリ内の出し分けでは、対象とする端末とOSの組み合わせを定めたうえで、意図したパターンが表示されるかを検証します。
タグマネージャーを経由した配信
タグマネージャー経由の配信では、他のタグとの干渉で発火が欠けたり重複したりしていないかを確認します。
解析ツールへの計測の受け渡し
ABテストツールから解析ツールへ計測値が正しく渡っているかを照合し、判定の入力となる数値のずれを洗い出します。
お問合せから検証を開始するまでの流れ
ABテストの外部検証をご依頼いただく際の、お問合せから検証開始までの流れをご説明します。
お問合せと現在のテスト状況の共有
現状のテスト実施状況を伺い、対象範囲のたたき台を整理します。
検証対象範囲の確認とお見積の提示
確認対象の画面と計測箇所を合意し、範囲に応じたお見積を提示します。
検証計画の合意と実施前の準備
検証項目の優先順位と実施日程を決め、閲覧用アカウントを準備します。
実機での検証の開始と結果のご報告
合意した計画に沿って実機での検証を始め、結果は証跡を添えて順次ご報告します。
無料の相談で、確認の範囲が見えます
ABテストの配信と計測が意図どおりか、第三者の目で確かめませんか
ご相談では、対象サイトの配信経路と出し分け条件を伺い、GENZが検証の範囲と優先順位、必要な工数の目安まで整理してお返しします。稟議の材料としてそのまま使える形で残します。