AI駆動開発の実運用ノート

本編の目次 › 第4部 規律の仕組み化 › 多層防御の設計

AI駆動開発の実運用ノート No.9727日かけて三層にして、ようやく事故が消えた

AI と併走してチケット販売サービスを本番運用まで到達させた記録を、そのまま文字に残しています。今回は第4部「規律の仕組み化」から、「多層防御の設計」のお話です。

失敗事例三層化で消えた「書式ミスの作業停止」

1層目では止まらなかった——27日かけて三層になった
事故

ツール呼び出しの書式崩れで無効化。「呼んだつもり」の作業停止が1日6回再発した日も

分析

失敗は例外なく「散文の直後にツールを呼んだ時」——再現条件の特定が対策を可能にした

1層目

終了時の検知と差し戻し——それでも再発した

三層完成

+毎ターン注入 +開始時バナー。以後この事故は実質消滅

これが「単層では抜ける」ことの証拠です。

事故の中身はこうなります。 AIのツール呼び出しの書式が崩れて、呼び出しが無効化されます。AI自身は「呼んだつもり」でいるので、作業がそこで止まります。ひどい日には1日に6回、再発しました。

調べると、失敗は例外なく「文章の直後にツールを呼んだとき」に起きていました。 再現条件が特定できたので対策が打てます。

まず、終了時に検知して差し戻す層を入れました。それでも再発しました。 だから、毎ターンの注入と開始時のバナーを足して三層にしました。

27日かけて三層になって、ようやくこの事故は消えました。

1層では足りなかったという証拠が、27日分あるということでもあります。顛末は事例01に。

つづく