長文書AIの差はコードでなく読み切るか:サブエージェントで大半縮む——係争中・期日 2027-03-31

係争中

確認予定日 2027-03-31

言説裁定 · 判断日 2026年10月8日

背景

法務デューデリジェンスのように数千件の文書を読み切る仕事で、専用に作り込んだハーネス(モデルの外側で資料の読み方や分担を決めるプログラム)が汎用のAIコーディングエージェントより大幅に強いのかが争点だ。

優位が「読み切れるか」だけなら汎用ツールは設定変更で追いつけるため、これは垂直型AI企業の堀がどこにあるかを決める。

法務AI企業Harveyの自社テストは専用ハーネスの圧勝を示したが、本紙は差の主因を、初期設定の汎用エージェントが読む量の少なさにあると見る。

判断

本紙の見立て:長文書の専門業務で専用ハーネスが汎用エージェント(自ら手順を組み、ツールを呼び出すAI)に勝る主因は網羅率、つまり資料を読み切るかどうかであり、独自のコードではない。

初期設定のままの汎用エージェントは読む量が少なすぎ、サブエージェント分配(主エージェントが審査作業を切り分けて複数の補助エージェントに渡す仕組み)を有効にすると差は大きく縮まる。

適切なハーネスに替えても基盤モデル間の差はハーネスの効果と同じ桁で残り、オープンモデルを追加学習した主エージェントはまだ最先端モデルに追いついていない。

Harveyの自社報告では、同じ7モデルの平均合格率が分配型ハーネスで23.3%から62.4%に上がった。追加学習したオープンモデルの主エージェントは63.0%で、Opus 5の77.6%を下回る。いずれも1社の自前ベンチマークで、独立した再現はない。

判断時の出典

Ahead of AI(Sebastian Raschka)
「to my surprise, Qwen3.6 does actually perform…」

検証のしかた

期限時に次を確認する。①同種の長文書デューデリジェンス課題で、サブエージェント分配(またはdynamic workflows)を有効にしたClaude CodeやCodexが、専用の再帰型ハーネスになお20ポイント以上劣るか。②同じハーネスの保留テストセットで、追加学習したオープンモデルの主エージェント(例:HarveyのGLM-5.3)が最良の最先端モデル(Opus 5の77.6%)に並ぶか上回るか。③第三者が実際のデータルームや弁護士の採点で再検証した場合に、網羅率とスコアの関係が消えるか。

何が起きれば覆るか

①が成り立てば「差の主因は読み切っていないこと」を撤回し、「汎用エージェントは誤った初期選択」を復活させる。②が成り立てば「追加学習したオープンモデルは最先端に負ける」を撤回し、元の判断の後半を復活させる。③が成り立てば網羅率という説明を撤回する。