研究とモデル 2026年10月13日

今日 · 10 月のプレプリント

エージェントのテスト、バグの六割弱止まり——論文は一本だけ

スイス連邦工科大学チューリッヒ校（ETH Zurich）のチームのプレプリントによれば、コーディング用の AI エージェントが仕様どおりに書いたプログラムは参照テストの 82% に通る。ところがエージェント自身が書いたテストは、わざと埋め込んだバグの六割弱しか見つけられない。 研究者は 165 個のアプリで、一つあたり平均 74 か所をわざと壊し、エージェントの書いたテストが何か所を見つけるかを調べた。論文の結論は「agents can build software they cannot verify」である（TestSuiteBench プレプリント）。研究者によれば、エージェントが書いたテストの 88% は、正しいプログラムの上で通る。つまりテストが間違っているのではなく、弱すぎてバグを捕まえられない。本紙が読んだのは要旨だけである。どのエージェントが試されたのか、数字が平均なのか最良の一つなのかは、要旨からは分からない。エージェントの書いたテストを受け入れ検査に使う前に、プログラムをわざと何か所か壊し、テストがいくつ捕まえるかを見るとよい。これは本紙の提案する検査で、論文が行った実験ではない。 どう確かめたか →