AIニュース 2026年10月28日

今週 · ニュースレター 10 月 26 日

Epoch の自己申告で上位二モデルが 65% 止まり

Epoch は自社の業務 11 件で六つの AI モデルを試し、上位二つは、社員の仕事と同じ採点項目表で平均 65% の項目を満たしたが、Epoch は 65% を失敗と判定した

なぜ重要か： 点数が高くても仕事を任せられるとは限らず、AI に実際に渡ったのは一度で正解が出て正誤がすぐ分かる図表作業だった。

Epoch AI は 10 月 26 日、ニュースレター「Epoch を自動化しようとした」を出した。Epoch AI は AI の計算資源、能力、動向を追う独立研究機関である。この号は Epoch 自身の自動化報告を要約している。Epoch の社員が実際に担う業務 11 件を課題にし、六つの主要モデルにそれぞれ一回、人の手助けなしで取り組ませた。採点は、社員の仕事に使うのと同じ採点項目表で一項目ずつ行った。ニュースレターが名前を挙げるのは上位の Claude Fable 5.1 と GPT-6 Astra だけで、二つは採点項目の平均 65% を満たした。ほかの四つのモデルの名前と点数は書かれていない（Epoch AI、2026-10-26）。

Epoch が AI に任せてよいとする線は 100% だ。原文は「A 65% score is still a failed task」と書く。同じ出来の成果物を社員が出しても、合格にならないという意味である。モデルはプログラミングやデータ分析のような目的のはっきりした課題では健闘し、例から規則を読み取る課題や判断の要る自由度の高い課題では崩れた。ある課題では、AI が予備実験を自ら設計して実行した。GPT-6 Astra は自ら組んだ実験で、試すモデルに割り当てるトークン予算を少なくしすぎた。その結果、実行の 22% が答えを返せなかった。GPT-6 Astra はこの失敗をモデルの能力に関する重要な発見として扱い、実験の設定自体の誤りに気づかなかった。反対の端では、基本的な図表作業が一件、課題から外された。Fable 5.1 がたいてい一度で使える図を作るためで、Epoch の日常業務ではこの工程の一部がすでに AI に移っている。

まだ言えないこと： 六つのうち名前が出たのは二つで、65% はその二つの平均 どう確かめたか →

判断の更新： この結果は、本紙が追う「正解があり正誤がすぐ分かる作業から AI に移り、自由度の高い判断は人に残る」という方向と一致する。本紙の判断基準では、ある職務を AI が引き継げるかの鍵は、人が一度見て渡せる形に直す費用が、人が最初から作る費用を下回るかにある。ニュースレターはこの費用を測っていない。Epoch の例は両端に分かれた。図表作業の一件は Fable 5.1 がたいてい一度で正しく作るため課題から外れ、GPT-6 Astra は実験の設定自体の誤りに気づかなかった。次に見るのは、Epoch の次の更新で 100% に達する課題が何件あるかだ。次の更新の時期はニュースレターに書かれていない。

答え合わせ： 本紙は 10 月 22 日、OpenAI の次のフロンティアモデルのシステムカードも同じ型になると読んだ。型は二つの組み合わせである。指示どおりに推論の下書きを書き換える能力の変化は説明する。一方、下書きなしで推論する能力が大きく伸びた理由は説明しない。推論の下書きは、モデルが答える前に書き出す途中の推論である。10 月 26 日の GPT-6.1 Terra のシステムカードはどちらの変化についても理由を説明しておらず、結果は判定不能だ（GPT-6.1 Terra システムカード、2026-10-26）。前のシステムカードにあった、書き換え能力の変化は構造の変更によるものではないという一文も、今回は消えた。カード →