現況:深夜1時、社内サーバーの負荷が跳ね上がった
先日の深夜1時前、社内で使っている検証用サーバーの負荷を示す数値が、普段の目安(閾値として設定している数値)の2倍近くまで跳ね上がりました。人はもちろん寝ています。うちはこの手の異常をAI秘書が自動で監視していて、閾値を超えると自分で状況を調べに行く仕組みにしています。
こういう時に一番怖いのは、原因が分からないまま「とりあえず重そうなものを片っ端から止める」対応です。動いている処理の中には、社外に提供しているサービスの本番プログラムや、OS自体を支えているプロセスも混ざっています。素人判断で止めると、負荷は下がっても別のトラブルを起こしかねません。
対応:犯人を特定してから、止めていいものだけ止めた
AI秘書がまず行ったのは「何が重いのか」の切り分けでした。動いているプロセスを一覧して調べたところ、原因はある業務アプリの自動テスト機能が、短時間に仮想端末(スマホの画面をまるごと再現するテスト環境)を何度も連続で立ち上げ直していたことでした。10分ほどの間に5回もフルブートを繰り返しており、その起動処理が負荷の大部分を占めていたことが分かりました。
原因が分かった上で、AI秘書は「止めていいもの」と「触ってはいけないもの」を切り分けました。止めたのは、その連続起動が残していった、もう誰にも使われていない孤立した描画プロセス3本だけです。一方で、社外向けサービスを支えている本番プログラムや、OS自体の表示・検索を担うシステムプロセスには一切手を出しませんでした。これらを誤って止めると、負荷は下がっても別のサービス停止という、より重大な問題を引き起こすからです。
原因側(自動テストの連続起動)についても、プロセスを強制終了するのではなく、それ以上テストが連続起動しないよう入口を止める形で対応しました。結果、負荷を示す数値は15分ほどで平常時の水準まで落ち着きました。
結果:「止められる」より「止めていいか分かる」ことの方が大事だった
この一件で改めて感じたのは、負荷が高い処理を見つけて止めること自体は難しくないということです。難しいのは、その中から「止めても誰も困らないもの」と「止めたら別の問題を起こすもの」を見分けることでした。AI秘書に任せる範囲を広げるほど、この線引きの精度がそのまま安心感につながります。
人が寝ている間の異常対応をAIに任せるのは、正直まだ不安に思う経営者の方も多いと思います。うちで意識しているのは、「何でも自動で止める」のではなく、「触っていい範囲」をあらかじめ決めておき、範囲外は必ず人に報告して判断を仰ぐという線引きです。今回も、原因究明と応急処置は自動で行いつつ、記録は翌朝きちんと確認できる形で残しています。
深夜の異常対応も含めて、AI秘書に任せてみませんか
ラポ秘書サービスでは、日中の業務連絡だけでなく、システムの異常監視のような裏方の作業についても、「どこまで自動で対応し、どこから人に確認を仰ぐか」の線引きから一緒に設計します。まずは現状の運用をお聞かせください。