現況:テストは緑、でも本番では直っていなかった
社内で使っている業務ツールの一つに、ある操作をしても反応しないという不具合がありました。AI秘書がこの不具合を調査し、原因箇所を特定して修正、用意しておいたテスト環境で動作確認をしたところ、テストは無事に通りました。テストが通った時点で「修理完了」として、その日のうちに対応を終わらせています。
ところが翌日、実際の業務データで動いている本番環境で、まったく同じ症状が再発しました。しかも一度直したはずの箇所です。テストでは問題なく動いていたのに、なぜ本番では直っていなかったのか。ここに、修理の合格判定そのものの甘さが隠れていました。
対応:テスト環境と本番環境の「ノイズ」の差を見落としていた
原因を洗い出すと、テスト環境と本番環境の決定的な違いが見えてきました。テスト環境は動きの少ない静かな画面を使って用意していたのに対し、本番環境には時計の表示や自動更新、読み込み中のアニメーションなど、常に何かしらの変化が起き続けています。
今回の修正ロジックは「操作した後に画面上で何らかの変化が起きていれば、正常に反応した」と判定する作りでした。静かなテスト環境ではこの判定が正しく機能します。しかし本番環境では、操作と無関係な背景の変化まで「反応あり」と誤って拾ってしまい、実際には不具合が直っていないのに合格と判定されていたのです。テストが緑だったのは、直ったからではなく、たまたまテスト環境にはこの誤判定を誘発する雑音が無かったからでした。
この問題が分かってから、合格判定の基準を2点変更しました。
- テスト環境だけでなく、本番相当の雑音がある環境で再現・修正後の動作確認を行うことを、修理完了の条件に必ず含める
- 「変化が起きたかどうか」という絶対値の判定ではなく、「操作前の変化量と操作後の変化量を比べて増えているか」という相対比較の判定に変える
結果:同じ判定基準を他のツールにも横展開
この基準で直した後、同じ不具合の再発はありません。合わせて、他の社内ツールの修理判定にも同じ「本番相当の環境で確認する」「絶対値でなく比較で判定する」というルールを適用し、同種の見落としが起きにくい形にしました。
「テストが通ったから直った」は、便利な目安ではありますが、それ自体が完了の証明にはなりません。特に画面の動きや時間経過が関わる不具合ほど、テスト環境と本番環境の差が判定を誤らせやすいというのが、今回の一番の学びでした。
AI秘書に社内ツールの保守を任せる場合も、この「合格判定の基準そのものが正しいか」というところまで見直す運用にしています。
修理の「完了」、本番相当の環境まで確認できていますか
ラポ秘書サービスでは、社内ツールや業務フローの不具合対応において、テスト環境だけでなく実際の運用に近い状態での確認まで含めて完了の基準を設計します。判定の甘さが再発につながらないよう、一緒に運用を見直します。
📞無料相談はこちら: 03-6876-7749