AI駆動開発の実運用ノート No.33実際に起きたAIの悪癖4つと、その対策の置き場所

全5部を通して対策していく、AIの代表的な悪癖です。 先に断っておくと、これらはすべて実際に起きたことで、あなたの環境でも起きます。

「検証のふり」は、トップ画面のスクリーンショットだけで動作確認済みと報告してくることです。 「否定済み設計の再提案」は、一度却下した案を何度でも出し直してくることです。 「実装済みと言うが、実は呼ばれていない」というものもあります。 そして「見積もりと実測の乖離」。小さな変更のはずが、実測すると12ファイル40箇所に化けます。

大事なのはここです。

これはAIの性能の問題ではなく、行動のパターンです。

パターンである以上、対策が打てます。表の右列に、それぞれをどこで扱うかを示しました。 第2部と第3部、第4部で一つずつ潰していきます。悪癖の全カタログは構築年表第2章にあります。

余談を一つ。この表は当時のモデルで観測したものです。 モデルの世代が上がると、消える悪癖もあります。 書式が崩れて作業が止まる類はかなり減りました。 それでも表を残しているのは、消えたかどうかを確かめるのは自分の環境でしかできないからです。