独立したコーディング支援ツールは2027年7月までに三つの条件を満たせるか——期日 2027-07-14

コーディング用のハーネスとは、AIモデルの周りで作業を指示するソフトウェアのことだ。特定のモデル企業に依存しないツールが育てば、利用企業はモデルの供給元を替えやすくなる。

このカードでは、独立したツールが大企業への導入実績と、モデルを替えても性能を保てることの両方を示せるかを確かめる。

このカードは、2027年7月14日までに三条件がすべて成立するかを確かめる。①特定モデルに依存しない独立したコーディング支援ツールの提供企業が2社以上ある。②各社にFortune 500または同等規模の企業3社以上から公開の導入証言がある。③基盤モデルを替えたときのベンチマーク得点の低下が5パーセントポイント未満である。パーセントポイントは百分率で示した得点どうしの差で、たとえば80%から75%への低下は5ポイントにあたる。ちょうど5ポイントの低下は「5未満」を満たさない。

本紙は三条件がそろう確率を40%と見積もる。半分より低い見積もりだが、的中とするのは三条件すべてが成立した場合であり、一つでも満たさなければ不的中となる。不的中なら、モデルとツールを一体で提供する企業が優位という見方が残る。現在の導入件数やモデル切り替え前後の得点は確認していない。

同等規模の企業や同等のベンチマークの範囲、比較すべきモデルの組み合わせは元の条件で詳しく定められておらず、判定時に明確にする必要がある。測定方法の大幅な変更で切り替え前後の得点を比較できなくなった場合は、元の条件に従って判定対象外とする。

この判断のもとになった原文は、まだ開いて確かめられるリンクとして載せていません。

各ツール提供企業の公式サイトに掲載された導入事例と、SWE-bench Verified（ソフトウェアの問題修正能力を測るテスト）または同等の難度のベンチマークの過去の記録を確認し、モデル切り替え前後の得点を比べる。独立した提供企業2社以上、各社に大企業3社以上の公開の導入証言、得点の低下が5ポイント未満という三条件がすべてそろえば的中とする。

何が起きれば覆るか

三条件の一つでも満たさなければ不的中とする。その場合、モデルとツールを一体で提供する企業が優位という見方が残る。