待ち行列が85分間動かなくなった
ラポルタでは、作業結果の検証を担当するAIをローカル環境とクラウド環境の2系統で運用しています。片方が混雑したりエラーを返したりしたときは、もう片方に切り替えて処理を続ける仕組みを組んでいました。
今回起きたのは、その両方が同時に使えなくなるという事態です。朝7時過ぎ、ローカル側の機械にネットワーク越しに届かなくなり、処理はクラウド側へ切り替わりました。ところが十数分後、クラウド側も利用回数の上限に当たって受け付けを断りました。仕組みは処理を止めて復帰を待つ状態に入り、その間は検証を含むすべての処理が止まりました。いちばん長く待った検証タスクの待ち時間は85分です。
備えはあったのに戻れなかった理由
切り替えの仕組み自体は正しく動いていました。ローカル側が止まればクラウド側へ、クラウド側が止まればローカル側へという単純な条件で組んであります。実際に片方だけが止まった過去のケースでは、問題なく機能していました。
両方が使えない場合の備えも用意してありました。処理をいったん止め、5分おきにどちらかが戻ったかを確かめて自動で再開する仕組みです。穴は確認の順番にありました。先にローカル側を確かめる手順が接続エラーで毎回途中で止まり、クラウド側の確認まで一度も進まなかったため、ローカル側が戻るまで止まり続けました。
最初の知らせは、止まってから約10分後の「ローカル側への接続確認が続けて失敗している」という通知でした。15分を超えて動かないタスクを知らせる監視もありましたが、止まった処理と同じ流れの中で動いていたため、通知が届いたのは処理が自動で再開した後でした。
復帰と、残った教訓
復帰は自動でした。ローカル側に再び届くようになった時点で仕組みが自分で処理を再開し、待っていたタスクもそこで処理されました。ただ、同じ日のうちに両方が使えずに止まる状態がさらに20回以上起き、午後には3時間近く止まりました。ローカル側でつまずいてもクラウド側の確認へ進むようにする変更は、その日の夕方に用意しました。動いている仕組みに実際に入ったのは、10月上旬の再起動の後です。
この一件でわかったのは、両方止まった場合の備えがあっても、復帰の確認が片方でつまずくと、もう片方が戻っていても使われないという点です。確認は片方の失敗で残りを止めないこと、止まったことを知らせる監視は止まる処理と別の流れで動かすこと。この2つが今回の持ち帰りです。
正直に書いておくと、両方が同時に使えなくなること自体は珍しくなく、9月に入ってからだけでも何十回と起きていました。珍しい事故への備えが無かったのではなく、よく通る道の途中に穴があった、というのが実態です。
こうした裏側の仕組みづくりや障害対応も含めて、ラポルタではAI秘書「ラポ秘書」の運用に日々取り組んでいます。
AI導入の裏側、気になりませんか
AIに任せる仕組みを作るときは、うまくいく場面だけでなく、こうした止まる場面への備えまで含めて設計します。ラポ秘書がどんな場面で役立つか、無料相談でお気軽にご確認ください。