AIモデルと開発ツールの相性問題、形式の層は厳格モードで直せる——期日 2026-11-12

同じAIモデルでも、開発元のコーディングツールでは成績が良いのに他社のツールでは落ちるのはなぜかが問われている。

モデルが自社ツールでしか力を出せないなら、モデルを選ぶことはツールを選ぶことになり、乗り換えが難しくなる。

モデルが自社ツールの形式しか覚えていないという見方に対し、本紙は形式を誰も厳しく検査していないことが主因で、そこは直せると見る。

本紙の見立て:モデルとツールが切り離しにくい理由は具体的に説明できる。ただしそれは「モデルが自社の形式しか知らない」ことではなく、「形式を誰も厳しく検査していない」ことだ。

Anthropic自身のClaude Codeは、モデルが余計に書いた項目をエラーにせず黙って捨て、厳格モードも使っていない。そのためモデルは訓練中、項目をでっち上げても減点されたことがない。

形式の層はスイッチ一つで直せる。出力をツールの形式に完全に合わせさせるAnthropicの厳格なツール呼び出しは、Opus 4.8、Sonnet 5、Opus 5とFable 5系にすでに対応している。

本当のコストはツール側にある。モデルごとに形式の対応表を保守し、新世代が出るたびに更新が遅れる。自社ツールに慣れたモデルが他社ツールで成功率を落とすかどうかは、まだ誰も測っていない。

元の主張には成り立たない点が二つある。無関係な二つの情報源が同じ日に出たとしたが、仕組みの説明は7週間前のブログ、数字は外部の貢献者による未採用のコード変更だった。

成功率58.4%対63%の差をツールのせいとしたが、113問しかなく、4.6ポイントの差は標本誤差1つ分にも満たず、何も示していない。

この判断のもとになった原文は、まだ開いて確かめられるリンクとして載せていません。

2026年11月12日までに、オープンソースのコーディングツールPiがClaude向けに厳格モードかネイティブの編集ツールを既定にするか、Opus 5やFable 5がPiの元の形式で項目をでっち上げる率を誰かが公表するか、ツール各社がモデル別の形式エラー率を公表するかを確認する。長期では、同じモデル・ツール・課題で厳格モードの有無による成功率を比べる。

何が起きれば覆るか

厳格モードを有効にしても編集の成功率がClaude Codeより明らかに低ければ、問題は形式だけではなく「スイッチ一つで直る」は誤りとなる。新世代モデルが項目をほとんどでっち上げないなら、「新世代ほど悪い」は雑音だったことになる。

深掘りレポートの全文を読む →