SecondSource一次情報から判断を組み立てる

ある査読前論文によると、コーディングエージェントは問題を正しく解いた後もなかなか止まらず、1% から 8% の事例で正しい修正を壊してしまう。

コンセプトイラスト:横に張られた線から洗濯ばさみで2枚のパネルが吊るされている。どちらのパネルも上部に PREPRINT と書かれた黒い見出し帯があり、左下にノートパソコン、右側に PATCH と書かれた文書がある。文書には灰色の文字線と赤い四角が描かれている。左のパネルでは、ノートパソコンの画面に灰色の線が2本入った小さな吹き出しがあり、赤い四角には何も描かれていない。右のパネルでは、淡い茶色の背景の上で、ノートパソコンから灰色の線の多い大きめの吹き出しが出ている。ノートパソコンと文書の間には灰色の線入りの小さなウィンドウ型カードが大量に積み重なり、少し傾いた赤い四角には黒い虫が描かれ、白いギザギザの亀裂が走っている。 画像内の文字:1%〜8% SWE-bench で、コーディングエージェントが、正しい修正を壊した事例の割合、論文著者らの自己申告。

正解の後に余分に走った手順の多くは検証とコードベースの探索に使われ、いずれも余分な計算資源を消費する。結果は著者らの自己申告で、まだ誰も再現していない。著者の Musa Cim 氏、Burak Topcu 氏、Mahmut Taylan Kandemir 氏は、実際のオープンソースのプロジェクトで見つかったバグをモデルに直させる SWE-bench の三つのデータセットで、5 つのモデルと二種類のエージェントの枠組みを試した。要旨によると、成功した実行のうち 38% から 82% は、最初のソースコードの修正で正解していた。SWE-bench Verified と Multilingual で、全手順に占める正解後の手順の中央値は、Qwen3-Coder が 35% から 37%、Laguna-XS.2 が 54% から 60% だった(arXiv 2611.14960、2026-11-11)。 どう確かめたか →

出典と検証

この記事は2026年11月14日の夕刊に掲載されました(同じ号にほか 14 本)。確認の経緯、引用の照合、その日に確認できなかった資料は、その号の本日の検証にあります。

この記事を引用

SecondSource(2026)「ある査読前論文によると、コーディングエージェントは問題を正しく解いた後もなかなか止まらず、1% から 8% の事例で正しい修正を壊してしまう。」https://secondsource.io/ja/research/2026-11-14-1/ (閲覧日閲覧)