SecondSourceAI産業の「判断」を届ける夕刊ブリーフ

コーディングエージェントとコードレビュー

一つのテーマを追うページです。いちばん上は本紙の現時点の判断で、毎週更新します。その下に、本紙がこのテーマで書いた記事(夕刊と深掘り)を新しい順に並べ、それぞれ元の記事にリンクしています。

いまの見方

コーディングエージェント(コードベースを自分で読み、ファイルを書き換え、テストを走らせる AI)は、人が読み切れない速さでコードを書くようになった。各社はこれに対し、まず機械にレビューさせ、人の時間はリスクの高い変更のために残している。Anthropic の Claude Code チームは 10 月 15 日、自社のやり方を公開した。自動レビューで通せるのは低リスクの変更で、それ以外は二人目の人間の承認が要る。エージェントによる承認は、人の承認には数えない(Claude ブログ)。10 月 9 日に投稿されたプレプリント(TestSuiteBench)は、別の面を測っている。エージェントが仕様どおりに書いたコードは、参照テストの 82% を通過する。ところがエージェント自身が書いたテストは、重要な入力の組み合わせを見落としがちだ。著者らは「エージェントは自分では検証できないソフトウェアを作れる」と結論づけた(arXiv 2610.13065)。本紙は 8 月 19 日の深掘りで、レビュー側の待ち時間を測った。AI が書いたコードは、人が目を通すまでの待ち時間が 5 倍に延びた。ただし実際にレビューされる段階では、むしろ速く済んでいた(8 月 19 日の深掘り)。モデルを包み、ファイルの読み方やツールの呼び出し方を決める外側のプログラム(ハーネス)も、スコアを変える。本紙が 10 月 13 日の夕刊で伝えた委託テストでは、同じモデルの課題解決率が OpenAI の Codex 上で 61%、Claude Code 上で 41% だった。ただしこれは委託した側が自ら公表した単一のテストで、組み合わせごとに 2 回しか走らせていない(本紙 10 月 13 日夕刊)。隣接分野の長文書レビューについては、本紙 10 月 8 日の深掘りが調べている。同じモデル群でもハーネスを替えると、合格率は平均 39 ポイント上がった(10 月 8 日の深掘り)。本紙の現時点の見立てはこうだ。コーディングエージェントを比べるなら、モデルとハーネスを一組として比べるべきで、モデルの点数だけを見ると判断を誤りやすい。ただしこの見立てを支えるのは、委託テスト 1 件と隣接分野の評価だけだ。独立に再実行した対照実験はまだなく、ひとまず仮説として扱う。

次の注目点:レビューを機械に任せたあと、各チームが公表するロールバック率や障害率が上がるかどうか。

利益相反の開示:本紙の分析は Anthropic のモデルの助けを借りて作成しており、Claude Code は Anthropic の製品である。

本紙のこれまでの記事