現況:「テスト全部通りました」という報告が届いた
ラポルタでは(2026年9月時点)、図面まわりの処理を複数のAIに分担させて作らせています。この日は、現地で撮った3Dスキャンから図面を起こす工程のうち、開口部(ドアや窓の抜けている部分)を自動で拾い出す処理を、いつもとは別のAIに実装してもらいました。
戻ってきた報告は文句のつけようがないものでした。自分でテストを書き、自分で実行し、全部通っている。ソフトウェアの世界ではテストが全部通った状態を「緑」と呼びますが、まさにその「全部緑」の実行結果を添えて完了報告が来たわけです。
普段ならここで受け取って終わりです。ただ、2026年9月13日の時点では、作った本人の自己申告だけで受け取らず、まったく別のAIにもう一度成果物を検品させる手順を挟むようにしました。今回もその手順どおり、出てきた結果の数値そのものを別のAIに突き合わせさせました。
結果は不合格です。拾い出した3か所のうち1か所は、実際には開口部の無い壁でした。残る2か所も、1か所は幅が正解より23パーセント小さく、もう1か所は位置が本来あるべき場所から764ミリ、つまり76センチ以上ずれていました。76センチは、正解データにある出入口の幅(約88センチ)の8割を超える長さです。
対応:テストが「0件でも緑になる」構造だった
中身がこれほど狂っていたのに、なぜテストは全部通ったのか。原因はテストの書き方にありました。大きく二つの穴があります。
一つ目は、何も見つからなくても通ってしまうこと。テストが確かめていたのは、処理が最後まで走るか、出力に決まった項目と件数の欄がそろっているか、という形の部分だけで、開口部が0件しか出てこなくても緑になる作りでした。極端に言えば、何も仕事をしない処理が一番きれいに緑になります。
二つ目は、件数しか見ていないこと。テストは「件数の欄の数字と、実際に並んでいる開口部の数が一致しているか」を確かめるだけで、見つかった開口部の幅や位置が正しいかどうかは照合していませんでした。数さえ合っていれば、値がどれだけ狂っていても通ります。
実は、拾い出した3か所は、1回目の検品で検品役のAI自身が「本物の開口部」と判断し、幅の数値ごと直しの指示に書いていたものでした。実装したAIは、その指示どおりに作っていたことになります。誤りに気づけたのは2回目、別の手順で作っておいた正解データ(現地で巻尺で測った出入口の幅ともおおむね合う)と突き合わせたときでした。
同じ日にもう一件、別の実装で似たことが起きました。こちらも本人のテストは全部緑でしたが、出力されたデータを開くと12件と書いてあるのに中身は5種類しかなく、同じものが重複して並んでいました。テスト側が照合の前に重複を自動的に取り除く書き方をしていたため、テストでは重複を見つけられませんでした。作ったAIの報告にも、12件のうち重複を除くと5か所だと書かれていたのに、不具合としては扱われていなかったのです。
そこで2026年9月13日、この種の仕事を任せるときの合格条件を書き換えました。第一に、正解データを別に用意して値そのものを突き合わせること。件数が合っているだけでは合格にせず、件数も重複を除いた数と一致するかまで確かめます。第二に、0件だったら必ず不合格にすること。何も出てこない状態を緑にしない、という一行を必ず入れさせます。第三に、正解が分かっているデータで試すこと。寸法を決めて作った検証用のデータを用意させ、本番の出力で試すときも、現地の実測と照らした正解の値と並べて合否を決めます。
結果:「作った本人以外が検品する」を通常運転にした
この二件を受けて、図面に限らず、AIに実装させた成果物は、作ったAI自身のテスト結果だけでは受け取らないことを通常運転にしました(2026年9月13日時点)。必ず別のAIが、出てきた数値や生成されたデータを直接見て検品してから完了にします。
ここで一番大事だと感じたのは、AIが嘘をついていたわけではないという点です。報告に書かれていた数値は全部事実で、テストは本当に全部通っていました。狂っていたのは合格の基準のほうです。自分で基準を決めて自分で採点すれば、通る基準になってしまうのは人間もAIも変わりません。
この一件からの教訓は次の2つです。
- 「テストが全部通った」は、品質ではなく基準の質を表している。 どれだけ通っていても、その基準が甘ければ何も保証していないのと同じです。報告を受け取る側も、通ったテストの数ではなく、実際のデータで出た数値を表にして出させ、正解と並べて確かめることにしました(2026年9月13日時点)。
- 作った本人と検品する人を分ける。 これは工事でも同じで、仕上がりの確認は、施工した職人とは別の人が行うのが普通です。AIに任せる仕事が増えるほど、この当たり前の分業を仕組みとして残しておく価値が上がります。
AIに任せる範囲を広げるほど、速さよりも「どこで止めて誰が見るか」の設計が効いてくると実感した一日でした。
AIに任せた仕事の品質をどう担保するか悩んでいる方へ ラポ秘書は、作業そのものだけでなく、こうした検品・差し戻しの手順ごと業務に組み込みます。導入のご相談はお気軽にどうぞ。 ラポ秘書に無料で相談する