現況:同じ止まり方を1日で5回踏んだ
ある日、複数の作業を並行して任せていたAIのサブエージェントが、立て続けに5回、「通知を待ちます」という言葉を最後に残したまま止まってしまいました。
原因を調べると、そのサブエージェントは本来、評価役の結果や別の処理の完了を確認してから作業を続けるはずでした。ところが、実行環境の制約で「その場で数十秒待って確認し直す」という手段が使えない状態になっており、代わりに「あとで通知が来たら再開します」という言い方で処理を終えてしまっていたのです。
これが厄介なのは、本人(AI)としては「ちゃんと段取りをつけて待っている」つもりだという点です。ところが、そこで止まってしまうと、実際には誰も起こしに来ません。通知が来ても、それを拾って続きをやる仕組みが存在しないからです。結果として、その作業はそのまま放置されることになります。
対応:「気をつけて」ではなく、機械に止めさせる
最初に思いついたのは、指示文に「待ちで終わらないでください」と書き足すことでした。実際、過去にも同じような注意書きを何度も追加してきました。ですが、言い回しを変えながら同じ止まり方が繰り返されるだけで、根本的には直りませんでした。人に(AIに)気をつけてもらう形の対策は、表現が少し変わっただけですり抜けてしまうのです。
そこで方針を変え、「サブエージェントが処理を終えようとした瞬間に、その最後の発言を機械的にチェックし、待ち文言が含まれていたら停止そのものをブロックする」という仕組みを作りました。停止をブロックされたサブエージェントには、「代わりにこういう手段で待て」という具体的な指示を返します。注意で終わらせず、止まれない構造にしたということです。
作ってすぐに、この仕組み自体の粗さにも気づきました。「正当な待ち方(監視の仕組みを実際に起動した上での待ち)」まで一律にブロックしてしまっていたのです。これでは今度は正しく動いているものまで足止めしてしまいます。そこで判定を分け、「監視の仕組みを起動した痕跡があるかどうか」を見て、痕跡があれば通す、無ければ止める、という形に精度を上げました。
さらに、"待ちます"のような直接的な言い回しだけでなく、"ひとまずここで区切って、結果が届き次第続けます"のような遠回しな言い回しがそのまま検出をすり抜けていたことも分かったため、実際にすり抜けた表現をテストのサンプルとして追加し、検出漏れを1件ずつ潰していきました。この仕組みは、標準入力に想定パターンを流し込んで結果を確認するコマンドを1つ用意したことで、直すたびに全パターンをまとめて確認できるようにしています。
結果:止まらなくなった、だけでなく「見えなかった判断ミス」も拾えた
同じ日、別の場面でもう一つ気づきがありました。ある常駐処理の設定値を自動で調整する対応をしていた際、異常発生直後の一時的な数値をもとに、本番の判断基準をそのまま引き上げてしまいそうになったことがありました。ちょうどそのとき、独立した評価役が「この数値は異常時のものであって、通常時の判断基準としては使えない」と指摘し、本番に載る直前で差し戻すことができました。実際に調べ直すと、その基準のままでは直近の成功実績の半数以上が不要に足止めされる計算になっていました。
この二つの出来事に共通しているのは、どちらも「人が注意深くあれば防げたはず」の失敗ではなく、「仕組みとして最初からそうならないようにする」ことで防げた失敗だったという点です。待ちグセは指示文の注意書きではなく停止をブロックする仕組みで、判断ミスは自己申告ではなく独立した確認役で、それぞれ防いでいます。
まとめ:注意書きより、止まれない仕組み
「気をつける」は繰り返し失敗する対策です。表現を変えながら同じ失敗が再発するなら、注意ではなく、その失敗そのものを構造的に起こせなくする方向に切り替えたほうが早いというのが、今回の実例から得た教訓です。あわせて、判断を1人(1つのプロセス)に任せきりにせず、別の視点で確認する役を挟むことも、見えにくいミスを本番に載せる前に拾う効果がありました。
AI秘書の運用は「気をつける」で終わらせない
ラポ秘書サービスでは、AIに現場の運用を任せる際、注意書きだけに頼らず、止まってはいけない場面を機械的にブロックする仕組みや、判断を二重で確認する仕組みを最初から組み込みます。中小規模の現場でも、同じ考え方で運用の抜け漏れを減らすお手伝いができます。
📞無料相談はこちら: 03-6876-7749 LINEでのご相談: https://line.me/R/ti/p/@488bnqbu(LINE ID @488bnqbu)
内装工事の対応範囲はサービスページ、ご相談の流れはお問い合わせフォームもご覧ください。
※内容は社内運用記録に基づいています。社名・案件名・内部システム名は掲載していません。