大量の資料を読むAIでは、長いコンテキストが検索やタスク別の微調整に勝つ——期日 2027-07-14
期日前
大量の資料を読むAIでは、長いコンテキストが検索やタスク別の微調整に勝つ——期日 2027-07-14
確認予定日 2027-07-14
背景
何が争点か:AIに大量の資料を消化させる方法は三つあり、一度に会話の窓へすべて入れる(長いコンテキスト)、毎回データベースから断片を取り出す(検索)、タスクごとにモデルを微調整して知識をパラメーターに学習させる、である。
なぜ重要か:三つはコストも保守の仕方もまったく異なり、選び間違えればシステム全体を作り直すことになる。
誰が何に賭けているか:検索派と微調整派に対し、本紙は長いコンテキストに賭ける。
判断
本紙の見立て:AIに大量の資料を読ませる競争では、長いコンテキストが勝つ。
この判断は、項目ごとに確かめられるより精密な後継の判断(主流のコーディングAI5製品のうち4製品以上が長いコンテキストを主な記憶にする)に引き継がれた。元の判断は比較のため、変更せずにここに残す。
判断時の出典
arXiv(Nelson Liu、Kevin Lin、Hewitt、Paranjape、Bevilacqua、Petroni、Percy Liang)
「we observe that performance is often highest when…」
検証のしかた
2027年7月までに、主流の最先端コーディングエージェントが依然として長いコンテキストを主な受け皿にしている(重みに記憶させる方式や純粋な検索ではなく)。
何が起きれば覆るか
コンテキストの劣化(context rot)が越えられない壁だと証明され、かつ企業の現場で重み側の方式が逆転する。