← 判断カード一覧 · 公開の変更履歴 ↗ · 最初の公開版 ↗
本紙の見立ては35%:部品を差し替えても高難度のコード得点が3点未満しか落ちない企業事例——期日 2027-07-16
本紙の見立ては35%:部品を差し替えても高難度のコード得点が3点未満しか落ちない企業事例——期日 2027-07-16
確認予定日 2027-07-16
背景
プログラミング用AIはモデルと、その外側で作業を指示するソフトウェアであるハーネスから成り、争点は両者を部品のように差し替えられるのか、同じ会社が一緒に学習させた組み合わせが最もよいのかだ。差し替えられるなら企業はモデルの供給元を自由に替えて価格を下げられ、そうでなければ元の組み合わせが最も難しい仕事でプレミアムを保つ。部品化派は差し替えはすでに起きているとみるが、もう一方は高難度の作業では学習段階から一体化した組み合わせが今もはっきり強いとみる。
判断
本紙の見立て:2027年7月16日までに、基準を満たす具名企業の事例が少なくとも1件現れる確率は約35%だ。
基準は次のとおり。高難度の作業(実際のソフトウェアの不具合修正で採点するテストSWE-bench Verified、または同等の難しさのテスト)で、一緒に学習させたモデルとハーネスの組み合わせを切り離した部品の組み合わせに置き換え、スコア低下が3ポイント未満で、ベンダーか第三者が公に検証していること。
本紙はこの判断を書いた時点で、そうした事例がすでにあるかどうかを確認していない。それは期日に確かめる項目である。
判断時の出典
arXiv (John Yang, Jimenez, Wettig, Lieret, Shunyu Yao, Narasimhan, Ofir Press)
「LM agents represent a new category of end users…」
検証のしかた
ベンダーの公式ケーススタディ、SWE-bench Verified公式リーダーボードの過去の記録、第三者による独立した評価報道を確認する。
何が起きれば覆るか
基準を満たす事例が見つからなければ、「学習段階で一体化した組み合わせにはプレミアムがある」という読みは覆らない。