SecondSourceAI産業の「判断」を届ける夕刊ブリーフ

思考の連鎖(CoT)の監視と安全性の開示

一つのテーマを追うページです。いちばん上は本紙の現時点の判断で、毎週更新します。その下に、本紙がこのテーマで書いた記事(夕刊、深掘り、期日が来たら当否を確かめる判断カード)を新しい順に並べ、それぞれ元の記事にリンクしています。

いまの見方

モデルは問題を解く途中で、推論の過程を文章で書き出す。これを思考の連鎖(CoT)と呼ぶ。開発各社は別のモデルにこの文章を読ませ、不正や悪事を企てていないかを見張っている。これが CoT 監視だ。OpenAI は 9 月、GPT-6 Astra を公開する根拠に「CoT 監視の追加」を盛り込んだ(本紙 9 月 4 日夕刊)。ところが同じモデルのシステムカードは、Astra が自分の CoT を制御する力が明らかに高まったと書いている。この可制御性が高いほど、CoT はモデルが本当に考えていることの証拠として使いにくくなる(OpenAI システムカード)。システムカードは別の測定結果も載せている。監視されにくくするよう Astra に指示すると、監視役が不正を見抜く割合は下がった。逆に監視されやすくするよう指示しても、そうできているようには見えなかった(OpenAI システムカード)。本紙は 9 月 5 日の深掘りで、この数字を詳しく示した。回避するよう指示されると、監視役が見抜く割合は、前の世代のほぼ全件から 11% 未満にまで落ちた(9 月 5 日の深掘り)。本紙は 10 月 22 日、次のように判断した。システムカードがアーキテクチャの影響を否定したのは、可制御性についてだけである。監視がより頼りにするのは、推論を書き出さずにどこまで推論できるかだ。この能力がなぜ大きく伸びたのか、システムカードは説明していない(10 月 22 日の深掘り)。これは本紙の総合判断で、外部の測定はまだ 1 件しかない。ひとまず仮説として扱う。外部の監査も動き出した。METR は 10 月 22 日、OpenAI 社内で実施した監視の演習を公表した。推定の対象は、GPT-5.5 以上のモデルが社内の Responses API を通じて流すエージェント通信だ。演習当時(7 月 21 日以前)、その約 75〜94% が監視に回すべき範囲に入っていたという。METR 自身、上振れ・下振れのどちらにも大きな不確実性があると認めている(METR)。

次の注目点:次世代モデルのシステムカードが、「可制御性」と「推論を書き出さないときの推論能力」の二つの数字をそろって公表するかどうか。

本紙のこれまでの記事