在庫切れや取り扱い終了の商品がレコメンド枠に出てしまう
推薦結果の算出と在庫更新がずれると在庫切れ商品が枠に出続けます。正常に返した記録が残るため、異常終了を拾う仕組みをすり抜けて並び続けます。
GENZ, Inc.
EC事業部
EC事業部門向け
レコメンドシステムのソフトウェアテスト
枠ごとに条件どおりの商品が出るかを、会員属性や行動履歴、在庫ごとの期待結果を仕様に起こし、実際の表示と突き合わせて判定します。
支援事例
支援実績5,000件以上
レコメンドシステムでよくある不具合
レコメンドシステムの不具合は、枠の設定と配信、推薦結果の取得、描画の各所で起き、ずれた段階で現れ方が変わります。多くは警告ではなく枠に並ぶ商品の姿で、売り場を見る側の目に留まります。
在庫切れや
購入した直後の同じ商品が別の枠でも繰り返し出る
除外条件は枠ごとの設定のため、連携が正常でも漏れた枠では購入済みが消えません。一つの枠の確認では気づけず、画面を移る利用者が先に見つけます。
対象外の会員へ年齢制限のある商品が推薦される
年代区分とセグメント定義がずれると、対象外の会員へ年齢制限の商品が出ます。運用側の画面には現れず、表示された利用者の指摘によって気づくこととなります。
A/B配信の振り分けが設定した比率どおりにならない
A/B配信では、判定と計測がずれると、表示が他方の群の結果として記録され、比較に使えなくなります。配信比率の確認では見えません。
セール時に応答が遅れてレコメンド枠が空白のまま表示される
アクセス集中で推薦結果の取得が間に合わず、レコメンド枠だけが空白で描画されます。負荷がかかったときにしか起きず、平常時は再現しません。
残存した不具合により生じる問題
レコメンドシステムの不具合は監視や管理画面に現れず、影響を受ける側で先に見つかり、損失は顧客の見え方や施策判断、運用へ広がります。
静的テスト（レビュー）でおさえるべき観点
GENZの静的テストでは、レコメンドシステムの設計書や設定の記述から不備を洗い出します。枠に出る商品の決定や除外へ直結する5つの観点を、業務側の取決めと連携先の運用条件へ照合します。
出し分け
枠ごとの表示ロジックと表示条件を出し分けの意図へ照合
レビューでは、枠ごとの表示ロジックと表示条件を、出し分けの意図へ一つずつ照合します。狙いの異なる枠へ同じ並びの条件だけが書かれた設計書は、意図とのずれとして記録へ残ります。
確認する資料
- 枠の設計書
- 表示条件の一覧
- 出し分けの方針
除外条件
除外ルールと優先ルールの条件を商品属性と在庫の値へ照合
見るのは、商品マスタの属性と在庫の値の実際の入り方です。その入り方と、除外ルールと優先ルールの条件を照らし合わせます。入り方は基幹側の登録運用で決まるため、項目の定義だけで合否は決まりません。
確認する資料
- 商品マスタ定義
- 在庫更新の仕様
- 除外ルール一覧
履歴利用
パーソナライズの出し分けを社内で定めた行動履歴の利用範囲へ照合
照合の軸は、会員セグメントの判定へ使う行動履歴の種類と保持期間です。社内で定めた利用範囲を外れた履歴が判定へ混ざっていないかは、配信を待たず設定の記述の側から確認できます。
確認する資料
- 履歴利用の規定
- 保持期間の規定
- セグメント定義
効果測定
A/B配信の振り分け比率と計測の定義を効果測定の設計へ照合
A/B配信では、振り分けの単位や群を固定する期間、成果と数える指標の定義を、比較で答えたい問いの設計と突き合わせます。単一の指標だけで判定していないかも併せて見ます。
確認する資料
- 配信設計書
- 指標の定義書
- 計測の設計書
データ連携
商品と在庫の連携仕様と更新頻度を基幹側の運用条件へ照合
商品情報や在庫、購入履歴は基幹側からレコメンドシステムへ連携されます。連携仕様と反映頻度は基幹側の更新タイミングへ突き合わせますが、遅れの許容範囲を決めるのは業務側の取決めです。
確認する資料
- 連携仕様書
- 更新頻度の一覧
- 基幹側運用手順
- 反映遅延の規定
動的テストの設計・実行のポイント
推薦結果はベンダー提供のレコメンドエンジンで算出されますが、枠と条件は社内で詰め、実行できるテストケースへ具体化します。
STEP 01
判定できる範囲を仕分ける条件で判定できる範囲だけを公開前の基準に置く
どう確かめるか
合否を判定できる範囲と統計的にしか評価できない範囲を分けて設計する
設計前に、合否を判定できる範囲と統計的にしか評価できない範囲を仕分けます。条件で判定できる範囲だけを公開前の合否基準に置き、推薦の当たり外れは計測で見ます。
- 01合否を判定できる範囲と統計でしか評価できない範囲を先に仕分ける
- 02条件で判定できる範囲だけを公開前の合否基準として置く
- 03推薦の当たり外れは配信後の計測で見る対象として切り離す
OUTPUT範囲の仕分け一覧
STEP 02
確認用データを固定する同じ出力を作り直せる状態を先に用意しておく
どう確かめるか
確認用の会員と商品データを設計して同じ出力を作り直せる状態にする
推薦が入れ替わると再現できないため、確認用会員と商品データを固定し、どの会員のどの画面にどの商品が出るべきかを先に決めておけば、修正後も同じ条件で確かめ直せます。
- 01確認用の会員と商品データを固定して出力を作り直せるようにする
- 02どの会員のどの画面にどの商品が出るべきかを先に決めておく
- 03修正の後も同じ条件で表示を確かめ直せる状態を保っておく
OUTPUT確認用データ定義
STEP 03
条件の組み合わせを網羅する規則ごとに期待結果を定めて漏れなく検証する
どう確かめるか
除外と優先の条件の組み合わせをデシジョンテーブルテストで網羅する
除外ルールと優先ルールは組み合わせが膨らむため、デシジョンテーブルテストで規則ごとに期待結果を定めて検証します。時間を超える分は確認できる範囲の宣言に置き換えます。
- 01除外ルールと優先ルールの組み合わせを規則ごとに書き出す
- 02デシジョンテーブルテストで規則ごとの期待結果を定めて検証する
- 03時間を超える分は確認できる範囲の宣言へ置き換えて残す
OUTPUTデシジョンテーブル
STEP 04
負荷と表示崩れを確かめる間に合わない場合の切り替わりまで見て確かめる
どう確かめるか
繁忙期を想定した負荷のもとで枠の応答と端末ごとの表示崩れを確かめる
負荷テストでは推薦結果の取得から枠の描画までの時間を計測し、間に合わなければ空白か代替表示に切り替わるかを検証します。併せて、端末とOSごとに枠内の配置崩れを実機で確認します。
- 01繁忙期を想定した負荷のもとで枠の応答までの時間を計測する
- 02間に合わない場合に空白か代替表示へ切り替わるかを検証する
- 03端末とOSごとに枠内の配置崩れを実機で確かめて記録する
OUTPUT負荷と実機の記録
私たちGENZが、このようなソフトウェアテストを代行します
固定費を抱えない人日単位のアサイン、監査にも使える独立した検証の記録、育成期間なしに活かせる専門ノウハウなど、第三者へのアウトソースには複数のメリットがあります。
OUTSOURCING RATIONALE
THIRD-PARTY VERIFICATION
01
必要な時に必要な分だけ
人日単位のアサインで固定費を抱えず、繁忙期に増減できます。
02
独立した視点で品質を底上げ
独立した検証で偏りを排し、監査に使える客観的な記録を残せます。
03
専門ノウハウを即戦力で
JSTQB認定エンジニアが在籍し、対象領域固有の検証知見を育成期間なしに活用できます。
専門知識を持ったテストエンジニアが、第三者の視点でテストするメリット
- 正常に返した記録では気づけない枠の中身のずれを検出できる
- 除外と優先の条件の組み合わせを規則ごとに網羅して確認できる
- EC事業部門が枠の目視から解放され売り場の企画に専念できる
- 公開判断の場で使える独立した検証記録と未確認の範囲が残る
5,000件以上の実績に裏付けられた出し分けの検証
GENZは、レコメンドシステムのテスト設計から実行、報告までを担います。レコメンドエンジンのベンダーとも開発ベンダーとも役割を分け、EC事業者様の側に立つ第三者として、どの枠に何が出るかを確かめます。
出し分けの意図から確認観点を設計
観点は枠ごとの出し分け条件と除外ルールから起こします。新着と併せ買いの枠をまたぐ重複の可否を先に決め、決まらない枠は範囲外と記します。
仕様書が揃っていない状態から参画
管理画面の設定から除外ルールを読み取り、取り決めと突き合わせて参画します。設定を入れたご担当者様がいなくても、今の設定が確認の起点です。
負荷と表示崩れまで自社内で対応
負荷のピークは、セール開始直後に会員のアクセスが重なる時間帯に置きます。代替表示へ切り替える時間を決め、枠の表示崩れの実機確認までGENZが担います。
確認済みと未確認を分けた報告
証跡は確認用会員ごとの枠の表示と期待結果の対応表です。どの規則まで確認しどこから宣言へ置き換えたかをテストサマリレポートへ記します。
※本ページに記載の支援内容・範囲は一例です。実際のご支援内容・範囲は、お打ち合わせのうえでご状況に合わせて決定します。まずはお気軽にお問い合わせください。
ご相談から納品までの流れ
レコメンド枠の運用と公開の予定、確認したい枠と条件を伺い、合意した範囲と優先順位でテストを進めます。
対象の枠と確認したい範囲を伺う
枠の運用と公開の予定、出し分けの取り決めと困りごとを確認します。
リスクの大きい枠からテスト設計する
顧客の見え方へ及ぶ影響から優先順位を付け、範囲と工数を整理します。
実施しながら発見事項を随時共有する
合意した条件を順に実行し、判断が要る事項と重い不具合を都度お伝えします。
報告書の納品と是正後の再確認を行う
確認済みの証跡と未確認の範囲、残るリスクを添えて報告書を納品します。
確かめる範囲と優先順位が整理できる相談
レコメンド枠で確かめる範囲と優先順位をGENZに相談する
レコメンド枠ごとの役割や除外と優先の条件の組み合わせを、現状の設定と運用前提を伺って整理し、公開前に確かめる範囲と優先順位、工数まで判断材料にまとめます。必要事項を入力の上、お問い合わせください。内容を確認させていただいた上、担当者よりご連絡いたします。*がついている項目は必須項目です。