夜間の自動審査が、ずっと古い版で動いていた
ラポルタでは複数のAIに作業を任せています。任せっぱなしにはせず、夜間に「AIが他のAIの仕事を採点する」自動審査を回しています。完了報告に書かれた変更が実際にあるか、条件を満たしているかを別のAIが確かめ、合否を付ける仕組みです。
この審査には、以前から困った誤判定がありました。審査がいつも決まった1か所の保管場所(リポジトリ)しか見ないため、別の保管場所で行った変更を「存在しない」と判断し、不合格を付けてしまうのです。実際には作業が済んでいるのに不合格になるため、不合格のたびにやり直しの作業票が立ち、確かめ直す手間が発生していました。
この日、担当のAIがこの誤判定の原因を突き止めて直しました。修正にはテストも付けてあり、テストは全部通りました。ところが、夜間の審査には、この修正が届かない状態でした。本番の審査は、2週間前のある時点の状態を固めて保存したスクリプト一式のコピーを動かし続けていたのです。
調べると、そのコピーは作業の本流から500回分以上の変更が遅れていました。審査に関わるファイルで比べると、ずれていたのは約30ファイルです。そのうち、コピー側から呼ばれる経路にある半分ほどのファイルは、この2週間に入れた改善が本番に届いていませんでした。今回の修正も、その中に含まれていました。
気づいたきっかけは、修正の途中で本番の仕組みを確かめたこと
最初に異常に気づいたのは、誤判定を直した担当のAI本人でした。修正の作業を進めるなかで、本番の夜間審査が固めたコピーのまま動いていることに気づいたのです。
仕組みを読むと、本番の審査は正本とは別の場所にある、固めたコピーを呼び出す作りになっていました。審査の設定を固定しておくこと自体は、採点の基準がぶれないようにするための正しい設計です。問題は、固めた後に「今の版とどれだけずれているか」を誰も測っていなかったことでした。
もしテストが緑になった時点で完了扱いにしていたら、この件は誤判定が続いたまま、さらに何週間も見過ごされていたかもしれません。
鮮度チェックの道具を作ったら、検品が3回続けて穴を見つけた
同じことを繰り返さないため、本番のコピーと今の版を比べてずれを報告する「鮮度チェック」の道具を作りました。作ったAIとは別の担当のAIに検品させたところ、1回で合格とはなりませんでした。
1回目の検品では、リンク(別の場所にある実体を指すだけのファイル)を比べる対象から外していたため、コピーを作り直しても必ず「ずれあり」と出てしまう穴が見つかりました。2回目は、審査が相対的な場所の指定で呼び出しているスクリプトを「参照しているだけ」と分類していたため、実際には古いまま動いているのに「問題なし」と出かねない穴でした。3回目は、合否の基準を書いたファイルを実行時に文字列を組み立てて読み込んでいる箇所があり、そこを道具が追えていないという穴でした。
どの穴も、作った本人のテストは通っていました。別の目が、本番のコピーを相手に道具を動かし、審査が実際に使っているスクリプトを読み合わせたことで、はじめて表に出たものです。検品と修正を3往復して、ようやく主な経路で「実際に動いているもの」と「参照しているだけのもの」を分けられるようになりました。取りこぼしの形はあと2つ見つかっていて、別の作業として続けています。コピーの作り直しは、採点の基準を校正し直す手順を伴うため、社長の承認を得てから夜間に行う段取りにしました。
まとめ: 残した3つの教訓
- 「テストが緑」と「本番が最新」は別の命題として扱う。 テストが確かめるのは手元の版であり、本番が何を動かしているかは別に測る必要があります。そのための鮮度チェックの道具を用意しました。
- 検品は、作った人と別の目で実物を動かす。 今回だけで3回、作った本人のテストでは出ない穴が見つかりました。テスト結果の確認だけでなく、本番で実際に使われているコピーを相手に、中身を書き換えない形で道具を動かして確かめました。
- 直し方より、気づき方を仕組みにする。 今回は担当のAIが、修正の途中でたまたま本番の仕組みを確かめたから気づけました。次は偶然に頼らないよう、鮮度チェックを毎朝の定時報告に組み込む案を作りました。
AIに作業を任せる範囲が広がるほど、「直したつもり」「動いているつもり」が紛れ込む余地も増えます。成果物を別の目で確かめ、本番の状態を数字で測る習慣が、任せられる範囲を広げる前提になると感じています。
AIに任せた作業が、本当に本番に反映されているか不安な方へ
ラポ秘書サービスでは、AIが実行した作業を別の目で検品し、本番の状態まで実測して報告する運用を整えています。「テストは通ったのに現場で直っていない」を無くしたい方は、まずはお気軽にご相談ください。