GENZ, Inc.

データ連携基盤向け ETLツールのソフトウェアテスト|全ジョブの値を検証

1本のジョブが一度通ったことと、毎日すべてのジョブが正しい値を運び続けることは別です。GENZは抽出・変換・書き出しごとに期待結果を定め、合否を判定します。

支援事例

支援実績5,000件以上

支援実績を示す企業ロゴ 01
支援実績を示す企業ロゴ 02
支援実績を示す企業ロゴ 03
支援実績を示す企業ロゴ 04
支援実績を示す企業ロゴ 05
支援実績を示す企業ロゴ 06
支援実績を示す企業ロゴ 07
支援実績を示す企業ロゴ 08
支援実績を示す企業ロゴ 09
支援実績を示す企業ロゴ 10
支援実績を示す企業ロゴ 11
支援実績を示す企業ロゴ 12
支援実績を示す企業ロゴ 13

この記事はソフトウェアテストの専門家が監修しています

監修枡井 愼治株式会社GENZ 代表取締役

GENZは創業以来、5,000件以上のソフトウェアテスト・第三者検証を手がけてきたプロフェッショナルです。品質に関する課題やお悩みに、真摯に寄り添います。

代表取締役 枡井 愼治 株式会社GENZ 〒101-0062 東京都千代田区神田駿河台2-3-11 ヒューリック御茶ノ水ビル3F TEL:03-5244-4711
01 ISSUES

ETL(データ連携)ツールでよくある不具合

不具合は、抽出と変換、書き出し、再実行と版の更新で起こります。現れ方は利用部門からの申告か夜間の障害で、いずれも処理は成功として終わります。値は入っているのに意味が違うため、指摘を受けるまで気づけません。

抽出の時点がずれて取りこぼしと二重取りが起きる

抽出の時点が接続元の締めとずれると、締め後に確定した伝票が漏れ、次の回に二度取り込まれます。処理は成功として終わり、件数だけが静かに増えます。

抽出時点のずれ

コードの読み替えが漏れ別の区分に集計される

読み替え表にないコードが流れてくると、既定の区分へ寄せられて処理が続きます。成功したまま、売上や在庫が別の区分の数値として積み上がります。

読み替えの漏れ

書き出しの置換の範囲を誤り既存のデータが消える

書き出しで全件洗い替えの対象範囲を誤ると、接続先の既存のデータが消えます。抽出と変換は成功として終わるため、利用部門の指摘まで気づけません。

既存データの消失

異常終了後の再実行で同じ伝票が二重に計上される

異常終了後に再実行してよいかの区別が担当者の記憶にしかないと、夜間の判断を誤ります。書き出した範囲を考えず動かすと、伝票が二重に計上されます。

再実行の二重計上

製品の版の更新のあと直していないジョブが壊れる

製品の版の更新は自社の都合と無関係に日程が決まります。丸めや文字コードの扱いが変わると、回帰から漏れた組み合わせだけが違う値を運びます。

版更新後の値の変化
02 RISK

残存した不具合を放置したときに生じる問題

残った不具合の帰結は一方向にとどまりません。誤った数値で決めた判断、業務が止まる時間、連携された数値への不信という別方向へ広がります。

ETL(データ連携)ツールの障害対応について、複数の担当者がモニターや資料を確認している実写画像。
03 REVIEW

静的テスト(レビュー)でおさえるべき観点

静的テスト(レビュー)では、実行の前に文書と実態を突き合わせ、連携の作り込みに潜む解釈のずれを洗い出します。仕様書の整備状況に依存せず、業務の定義から突合と記録の取り決めまでの五つの観点で照合を進められます。

業務定義と対応表

利用部門の業務の定義を変換ルールの対応表と照合

売上・粗利・在庫といった語は、部門ごとに指す範囲が異なります。利用部門が数値に込めている定義を部門ごとに確かめ、項目の対応と集約の単位の設定と突き合わせて確認します。

確認する資料
  • 業務定義書
  • 項目対応表
  • 集約単位定義
読み替え表の整備

コード体系の読み替え表を接続元の実データと照合

接続元のコード体系は、読み替え表の整備より先に現場で動いています。読み替え表を接続元の実データと突き合わせ、未定義のコードが現れたときのジョブの振る舞いまで照合します。

確認する資料
  • コード体系一覧
  • 読み替え表
  • 接続元実データ
抽出範囲と締め

抽出の範囲と締めの時刻の取り決めを実態と照合

抽出の範囲を全件洗い替えと差分取込のどちらで取るかは、失敗したときの直し方を変えます。抽出の時点をどこで切るかを、接続元の締めの時刻と稼働の時間帯の実態と突き合わせます。

確認する資料
  • 抽出範囲定義
  • 締め時刻一覧
  • 稼働時間帯表
ジョブの依存関係

ジョブの依存関係を中間データの参照先まで照合

どのジョブがどの接続元とどの中間データを参照しているかを、依存関係の一覧として書き出します。改修の影響範囲を担当者の記憶から確認の設計へ移す起点になります。

確認する資料
  • ジョブ定義一覧
  • 依存関係一覧
  • 中間データ定義
突合の規則と記録

突合の規則と処理の記録の粒度を説明の要件と照合

件数と金額の突合の規則と、不一致をどこまで許容するかの置き方が文書で定まっているかを照合します。処理の記録の粒度も見て、取得の可否は製品と構成により異なるため、説明の要件を先に決めます。

確認する資料
  • 突合規則書
  • 許容差異規定
  • 処理記録仕様
  • 説明要件一覧
04 TEST DESIGN

動的テストの設計・実行のポイント

ジョブと変換ルール、接続元・接続先の掛け算を全数は確認できません。技法で範囲を絞り、判定できるテストケースへ具体化します。

STEP 01 項目とコード体系を区分する同値分割で分けた代表の値を流して見る
どう確かめるか

項目とコード体系の区分を同値分割で確かめる

連携項目のデータ型やコード体系、取引の区分を同値分割で分けます。各まとまりの代表の値を流し、変換後の値と集約の単位が業務の定義どおりかを確かめます。

  • 01連携項目のデータ型とコード体系と取引の区分を同値分割で分ける
  • 02各まとまりの代表の値を流して変換後の値と集約の単位を確かめる
  • 03業務の定義どおりかを利用部門の取り決めと照らして合否を判定する
OUTPUT区分別の変換結果
STEP 02 締め日と桁と金額の境目を確かめる期間の始期終期と丸めと桁あふれを選ぶ
どう確かめるか

締め日と桁と金額の境目を境界値分析で確かめる

抽出の期間の始期と終期、金額の丸めと桁あふれの境目、切り替え日の直前直後を境界値分析で選びます。値が規則どおりに切り替わり、取りこぼしや二重の取込がないことを確かめます。

  • 01抽出の期間の始期と終期と切り替え日の直前直後を選び出す
  • 02金額の丸めと桁あふれの境目で値が規則どおりに変わるかを見る
  • 03取りこぼしと二重の取込がないことを件数で確かめて記録に残す
OUTPUT境目前後の判定結果
STEP 03 変換の条件の分岐を表へ整理する同じ中間データを使う既存のジョブまで見る
どう確かめるか

変換の条件の分岐をデシジョンテーブルで確かめる

コード体系や期間、区分と欠損値の扱いの組み合わせをデシジョンテーブルで整理します。変換ルールを直したときは、同じ中間データを使う既存のジョブまで回帰の範囲を絞り込みます。

  • 01コード体系と期間と区分と欠損値の扱いの組み合わせを表へ整理する
  • 02同じ中間データを使う既存のジョブまで含めて回帰の範囲を絞り込む
  • 03絞り込みの根拠と外した範囲を記録に残して説明できる形にする
OUTPUT回帰範囲の対応表
STEP 04 再実行と突合を実データ量で確かめる繁忙期の処理量で実行時間まで確かめる
どう確かめるか

再実行と突合と処理時間まで実データ量で確かめる

再実行で二重計上と欠落が起きないことを確かめ、抽出元と書き出し先の件数と金額を突合します。繁忙期の処理量での実行時間まで検証します。

  • 01異常終了のあとの再実行で二重計上と欠落が起きないことを確かめる
  • 02抽出元と書き出し先の件数と金額を突合して差がないことを見る
  • 03繁忙期の処理量での実行時間が夜間の枠に収まるかを検証する
OUTPUT突合と処理時間記録
05 RATIONALE

私たちGENZが、このようなソフトウェアテストを代行します

固定費を抱えない人日単位のアサイン、監査にも使える独立した検証の記録、育成期間なしに活かせる専門ノウハウなど、第三者へのアウトソースには複数のメリットがあります。

OUTSOURCING RATIONALE THIRD-PARTY VERIFICATION

必要な時に必要な分だけ

人日単位のアサインで固定費を抱えず、繁忙期に増減できます。

独立した視点で品質を底上げ

独立した検証で偏りを排し、監査に使える客観的な記録を残せます。

専門ノウハウを即戦力で

JSTQB認定エンジニアが在籍し、対象領域固有の検証知見を育成期間なしに活用できます。

オフィスで担当者同士がノートPCを前に、ETL(データ連携)ツールのテスト観点を相談しながら整理している風景。第三者視点のテスト支援を想起させる実写写真。

専門知識を持ったテストエンジニアが、第三者の視点でテストするメリット

  • 処理が成功したまま残る値のずれを利用部門の指摘より前に検出できる
  • ジョブと変換ルールと接続元と接続先の掛け合わせまで確認できる
  • 固定費を抱えずに人日単位で本番反映前の確認を差し込める
  • 反映判断の場で使える独立した検証記録と未確認の範囲が残る
06 SERVICE

5,000件以上の実績に裏付けられた変換ルールの検証

GENZは製品ベンダーでも構築の委託先でもなく、導入した企業様の側に立つ第三者です。支援実績5,000件以上とISO 27001の体制のもとで、変換ルールの検証からテストの設計と実行、報告まで伴走します。

SVC 01

抽出から書き出しの流れで観点を設計

確認の観点は、抽出から変換と書き出し、再実行と突合、記録の流れに沿って起こします。機能の一覧ではなく、運ぶ値の正しさを軸に設計します。

ETL(データ連携)ツールの追加や改修と並行してテストを進め、検出した不整合を開発側へ戻す流れを示した赤白紙カード基調の無文字図解。
SVC 02

仕様書が揃っていない状態からの参画にも対応

仕様書が揃わず、変換ルールの根拠がジョブの定義と記憶にしかない現場でも参画します。確認観点の書き出しとドキュメント作成をご支援します。

ETL(データ連携)ツールの確認候補が掛け合わせで広がる様子を示した赤白紙カード基調の無文字図解。
SVC 03

大量データの処理時間の確認もGENZ社内で実施

繁忙期の処理量を想定した負荷の確認を、GENZ社内の専門エンジニアが実施します。夜間の実行の時間の枠に収まるかを確かめ、結果をお渡しします。

第三者の視点で計画・設計・実施・報告が一貫してつながる流れを示した赤白紙カード基調の無文字図解。
SVC 04

確認済みと未確認を分けた報告

確認したジョブ・変換ルール・接続先と、未確認の範囲を書き分けた報告をお渡しします。本番反映の判断と利用部門への説明にご活用いただけます。

テストの証跡を保全し、確認済みの範囲と未確認の範囲を整理した切替可否の判断の材料にまとめる流れを示した赤白紙カード基調の無文字図解。
※本ページに記載の支援内容・範囲は一例です。実際のご支援内容・範囲は、お打ち合わせのうえでご状況に合わせて決定します。まずはお気軽にお問い合わせください。
07 FLOW

ご相談から納品までの流れ

対象のジョブと変換ルール、本番反映の予定を伺い、合意した範囲と優先順位でテストを進めます。

確かめる範囲と本番反映の予定を伺う

ジョブと変換ルールの範囲、本番反映の予定と繁忙の時期を確認します。

リスクに基づくテスト設計と見積もり

誤った数値の波及と連携の停止の重さで優先順位を付け、工数を整理します。

テストを実施し発見事項を随時共有

合意した範囲を実行し、判断待ちの事項と重い不具合を都度共有します。

報告書を納品し是正後の再確認へ

結果と証跡、未確認のジョブと残るリスクを納品し、再確認の進め方を示します。

支援実績5,000件以上

確かめる範囲と優先順位をGENZに相談する

ジョブと変換ルール、接続先の一覧をご共有いただければ、確かめる範囲を整理してお返しします。本番反映や連携の追加、版の更新の場面ごとの優先順位と工数の考え方もご提示します。必要事項を入力の上、お問い合わせください。内容を確認させていただいた上、担当者よりご連絡いたします。*がついている項目は必須項目です。