OpenAI がアーキテクチャの影響を否定したのは可制御性についてで、監視が本当に頼るのは思考の連鎖を書かない推論の力だ

本稿の要点

思考の連鎖とは、AI モデルが答えを出す前に人の言葉で書き出す推論の過程である。AI の不正な振る舞いを見つける業界の主な手段は、別のモデルにこの文章を読ませることだ。今年 9 月、OpenAI は旗艦モデル GPT-6 Astra のシステムカードを公開した。システムカードとは、モデルの公開時に企業が出す安全性評価の文書である。カードは、Astra の思考の連鎖を読んで問題を見つけるのが前世代の GPT-5.6 Sol より難しくなったと測った。これを監視可能性の低下と呼ぶ。外部では、OpenAI がループ型トランスフォーマー(looped transformer)という構造に替えたことが原因だと疑われている。この構造は同じ層の組を出力の前に繰り返し使い、文字を出さずに何周も計算できる。

結論を先に言う。アーキテクチャの影響を否定した OpenAI の保証が測っているのは「可制御性」で、監視が本当に頼る量ではない。可制御性とは、モデルが指示に従って推論の文章を書き換える能力である。可制御性が高ければ、監視役のモデルが読む文章は実際の過程とは限らない。ただし大半のモデルの可制御性はほぼゼロだ。OpenAI の 3 月の論文も、可制御性が当面は監視を無効にしそうにないと判断している。

ほかの二つの量は、監視可能性と、思考の連鎖を使わない推論(以下、CoT なし推論)である。監視可能性とは、思考の連鎖を読めばモデルが何をしているか分かるかどうかだ。CoT なし推論とは、推論の過程を書くことを禁じられたとき、モデルがどこまでできるかを指す。監視という手法には一つの前提がある。モデルは一文字を出すたびに一回だけ計算し、この一回をフォワードパスと呼ぶ。一回で連ねられる推論の段数には限りがあり、難しい問題では途中結果を書き出して読み戻すしかない。思考の連鎖が読めるのは、モデルが見せたがっているからではない。

だから監視が本当に依存しているのは CoT なし推論である。この量が上がるほど、モデルは推論を書き出さずに済む。システムカードの保証は、可制御性の変化が「特にどのアーキテクチャ変更によるものでもない」と言う。この文が排除したのは、アーキテクチャが可制御性の上昇の特別な原因だという見方だけだ。CoT なし推論がなぜ跳ね上がったかを説明する文は、カードのどこにもない。

二つの量の関係には二組の数字がある。研究所をまたいで見ると、可制御性と CoT なし推論はほぼ無関係で、相関係数は 0.10 だ。Google DeepMind の研究者 Neel Nanda 氏が 9 月に個人の立場で、34 のオープンウェイトモデルを測った数字である。オープンウェイトとは、モデルのファイルをダウンロードでき、本物の思考の連鎖を読めることを指す。うち 13 モデルは一度も指示どおりに推論の文章を書き換えなかった。データの大半がゼロなので、読めるのは方向だけだ。

同じ会社の内部では、システムカードは Astra の訓練の過程で両者が一緒に上がったと書く。二組の数字は測った範囲が違うので、矛盾しない。Nanda 氏の解釈では、可制御性は各社の事後学習の細部に強く左右される。事後学習とは、事前学習の後に人間のフィードバックと強化学習でモデルの振る舞いを調整する段階である。

監視可能性の差について、システムカードは大半が Astra の思考の連鎖が短くなったことによると書く。同じ週、短くなったことはコスト削減の売りとして書かれた。カードは「大半」の割合を示していない。監視可能性の五つの評価のうち三つは同じ長さで比べると差が縮まり、二つは依然として悪い。

まだ分からないことは二つある。ループ型の構造が CoT なし推論の跳ね上がりを起こしたのかは、Nanda 氏が未証明だと明記している。0.10 という数字が、重みを公開しない最上位のモデルでも成り立つかも分からない。

本稿が誤りになる条件はこうだ。OpenAI の次の最上位クラスのモデルのシステムカードが、CoT なし推論の変化に原因やアーキテクチャへの帰属を示す文を載せたとする。そのとき保証は監視が本当に依存する量に及び、本稿の核心の判断は無効になる。

1. 一つの保証に三つの量がある——まず物差しを分ける

システムカード 9.2.1 節のこの段落は四文からなる。前の三文は、OpenAI が可制御性の上昇の原因を調べていること、可制御性が強化学習の訓練中に特に上がったこと、思考の連鎖を直接採点する圧力はないことを述べる。四文目は次のとおりだ。"We are also quite confident that changes in CoT controllability are not differentially due to any architectural changes." 続く一文は、これらの変化が CoT なし能力の上昇と相関していると述べる。

四文の主語はすべて可制御性である。CoT なし能力は最後の一文にしか出てこず、しかも「相関」であって「原因」ではない。カード全体で、アーキテクチャを原因として論じた文はこの一文だけだ。監視を支えるのが別の量である理由は、Nanda 氏の一文が説明している。"So better no CoT reasoning likely means less pressure for CoT to be monitorable."

当事者はカードの外で、より広い否定もしている。OpenAI のアラインメント研究者 Tomek Korbak 氏は 9 月 3 日、X に、監視可能性の低下は知能の跳躍によるもので、思考の連鎖への直接の最適化圧力でもアーキテクチャ変更でもないと書いた。このスレッドは、ニュースレター Don't Worry About the Vase を書く Zvi Mowshowitz 氏が 9 月 8 日に転記したものだ。原ツイートとの照合は経ていない。この一文は監視可能性全体に及ぶが、書かれた場所はツイートで、公開判断の文書ではない。カード上の正式な保証は可制御性までである。監視を支える量の原因について、当事者はカードの上で立場を示していない。以上は本誌の読みである。

2. 研究所をまたぐと、可制御性は CoT なし推論についてこない

まず可制御性と CoT なし推論の関係を、研究所の横並びで見る。Nanda 氏が使った評価は CoT-Control という。OpenAI が 3 月に発表したもので、Korbak 氏と Bowen Baker 氏も著者に入っている。問題の後ろに推論過程についての指示を一つ付け、推論の記録がその指示に従ったかを判定する。Nanda 氏は 34 のオープンウェイト推論モデルにそれぞれ 108 問を解かせ、自作の CoT なし推論指数と照らし合わせた。

結果はスピアマン相関で 0.10 だった。スピアマン相関は二組の順位が一緒に上下するかだけを比べる指標で、0 は無関係、1 は完全に同じ向きを表す。同じ問題で CoT なし推論指数は正答率を予測できており、物差しは壊れていない。可制御性は全体にきわめて低い。34 モデルのうち 13 は一度も指示に従わず、全体の遵守率は 3% に満たない。少しでもできるモデルは研究所ごとに固まっており、各社の数字は付録に載せた。

Nanda 氏の結論では、可制御性は "heavily flavoured by the specific details of how post-training is done" である。同氏はさらに、ループ化が可制御性の急上昇を特別に起こしたのではないという OpenAI の主張が正しく、同時にループ化が CoT なし推論の急上昇を特別に起こした、という組み合わせも十分ありうると書いた。

限界は Nanda 氏自身が先に書いている。分布がほぼゼロばかりなので、その上で相関係数を出しても統計的な裏付けは薄い。本稿が使うのは方向と桁だけで、小数点以下には頼らない。

3. 同じ会社の中では両者が一緒に動く——設計が二つ、答えも二つ

研究所をまたぐと無関係に見える二つの量が、OpenAI の社内では一緒に動いている。システムカードは、Astra の訓練の過程で可制御性と CoT なし能力が一緒に上がったと書く。Korbak 氏は同じスレッドで範囲を補った。可制御性は強化学習の過程で上がり続けており、先行モデルにはこの現象がなく、数世代のモデルの間で CoT なし能力と強く相関しているという。

この記述は 0.10 と衝突しない。OpenAI の二つの数字は、どちらも社内で時間を追った縦断的な比較である。システムカードは Astra 一つのモデルの訓練過程を、Korbak 氏は自社の数世代のモデルを語っている。どちらもサンプル数を開示していない。Nanda 氏が測ったのは、同じ時点で各社を比べる横断面だ。

二つを両立させる仮説は Nanda 氏が示した。事後学習が同じなら、CoT なし推論の強いモデルほど可制御性も高い、というものだ。可制御性についての保証を CoT なし推論にまで広げるには、OpenAI 社内のこの相関に頼るしかない。この相関は、数字も方法も公開されていない。

4. 監視を支える量はどれだけ跳ねたか、しかも形が偏っている

では、監視が依存する CoT なし推論そのものはどれだけ伸びたのか。Nanda 氏は当初、英国 AI 安全研究所(UK AISI)が測った CoT なし推論の跳ね上がりを疑っていた。そこで自作の問題集で測り直し、"Unfortunately, it replicates." と書いた。

数字は三つある。Astra が思考の連鎖を書かずに推論課題をこなすオッズは、次点の Claude Fable 5.1 の約 8.6 倍だった。オッズとは成功回数と失敗回数の比で、正答率が 8.6 倍という意味ではない。残る二つは、一回のフォワードパスで連ねられる算術の段数と、合成課題での偏りで、付録に回した。

偏りは証拠の形である。賢くなっただけなら全面的に伸びるはずだ。ところが Astra の CoT なし指数は、合成した直列・並列の演算課題で特に高い。思考の連鎖の代わりになりうるのは、まさにこの次元である。Zvi Mowshowitz 氏が 9 月 12 日にまとめた外部の三組の数字も同じ向きを示しており、付録に載せた。

限界は二つある。一つ目に、英国 AI 安全研究所の CoT なし推論の原資料は公開版が見当たらない。同研究所の 9 月 28 日のブログは、監視可能性の結果を OpenAI のシステムカードに委ねている。二つ目に、原因は証明されていない。ループ型構造が原因だという説について、Nanda 氏は "this is unproven" と明記している。

5. 差の大半は短くなった思考の連鎖から生じ、同じ週に短さは売りになった

では、監視可能性の差は実際にどこから来たのか。システムカードは仕組みを示している。監視可能性の差の大半は、GPT-6 Astra が出す思考の連鎖が短くなったことによる。短い思考の連鎖は、監視役が必要とする証拠を省いたり弱めたりすることが多い、とカードは書く。

回避テストとは、モデルに監視役を意図的にすり抜けるよう求める試験である。トークンとは、モデルが文章を扱う最小の単位だ。二つのモデルに同じ推論トークンの上限を与えると、どの段階でも Astra が実際に使った量は GPT-5.6 Sol より少なかった。

9 月 9 日、OpenAI の企業向け発表文は Astra について、顧客に "more useful work per dollar" をもたらすと書いた。仕組みの説明は "It's been trained to complete tasks in fewer tokens with fewer retries" である。その前日の 9 月 8 日、Zvi 氏は反対側をこう書いていた。"it uses fewer thinking tokens, thus providing less evidence."

同じ工学上の結果が、同じ会社の同じ週の二つの文書に書かれた。一つは調達担当に、もう一つはガバナンスに向けた文書だ。どちらの文書も、もう一方の記述に触れていない。以上は本誌の読みである。

反対の証拠もある。シェフィールド大学などの 10 月 2 日の論文は、オープンウェイトの小型モデルに長さを縮める圧力をかけても、監視可能性は頑健だったと報告した。詳細は付録に載せた。そこで本節の主張を狭める。長さは差の大半を説明するが、すべてではない。システムカードの五つの監視可能性評価のうち、三つは同じ長さで比べると差が縮まり、二つは依然として悪い。この二つの問題は中身にある。

6. 可制御性は主に事後学習の選択——三つの数字が同じ向きを指す

監視可能性の差の話から、可制御性が何で決まるかに戻る。強化学習は事後学習の主な手段で、本節の二つの語は同じ訓練段階を指す。OpenAI の 3 月の CoT-Control 論文は、可制御性が "higher for larger models and decreases with more RL training" と書いた。半年後、Astra のシステムカードは "Unlike previous models" と断ったうえで、可制御性が強化学習の訓練とともに上がったと書いた。同じ評価で、向きは逆である。

9 月 22 日、システムカードの付録に同世代の小型モデル GPT-6 Sol が加わった。思考の連鎖の長さが 750〜1,250 トークンの区間で、指示に従った割合は GPT-6 Sol が 23.2%、前世代の GPT-5.6 Sol が 16.1%、Astra が 60.9% だった。カードは GPT-6 Sol が Astra と同じ種類のデータと訓練を使ったと書くが、アーキテクチャには触れていない。同世代で同種の訓練を受けた二モデルは、前世代の GPT-5.6 Sol と比べて、一方は 7 ポイント、もう一方は 45 ポイント上がった。

オープンウェイトで研究所ごとに固まること、OpenAI の前後二世代で向きが逆になること、同世代の二モデルで差が大きいこと。三つとも「可制御性は主に事後学習で決まる」と両立する。ただし、どれも単独ではこの説を証明できない。OpenAI の前後二世代の間ではアーキテクチャも替わっており、この比較ではアーキテクチャと事後学習を切り分けられない。GPT-6 Sol は同世代の小型モデルで、規模そのものにも正の効果がある。GPT-6 Sol のアーキテクチャは開示されていない。仮に Astra と同じ構造なら、この差はむしろ OpenAI の側を支える。本稿はこの差を論拠の柱にしない。

7. 保証はどの量に掛けるべきか、誰が測り直せるか

ここまでの三つの量について、誰が測り、誰が測り直せるかを整理する。可制御性は OpenAI が社内で測り、英国 AI 安全研究所も招かれて測った。研究所の数字はカードの中にあり、第 6 節とは算出の範囲が違う(付録)。可制御性は、外部でもオープンウェイトモデルで測り直せる。監視可能性は OpenAI が自社の指標で社内で測った。同研究所のブログは結果の参照先をシステムカードとしており、独自には発表していない。CoT なし推論は、当事者と同研究所の数字がカードの中にしかない。外部でコードとデータを公開して測ったのは一人だけだ。

この種の保証は三つの問いで検証できる。保証はどの量に掛かっているか。根拠は同じ会社の内部の縦断比較か、会社をまたぐ横断面か。外部の人が測り直せるか。Astra の場合、保証は可制御性に掛かっている。この保証を支えるのは OpenAI 社内の縦断的な相関で、外部の誰も測り直せない。

本稿はこのトレンドラインのどこにあるか： このラインが追っているのは、モデルの推論がまだ読めるか、誰が検証するかである。本稿は上の樹の「支える物差しの交代」の節に続き、問いを一つ加える。検証に使う物差しが、結論を本当に支えている量を測っているかどうかだ。このラインの元の判断は変わらない。

8. これは誰にとって何を意味するか

三つの量の区別は、二つの立場で効き方が違う。

• 企業システムを操作する AI を導入する企業： ベンダー向け質問票に欄が一つしかなければ、三つの量は一つに混ぜられる。「より少ないトークンで仕事を終える」は、こうした企業にとって二つの面を持つ。請求額は下がるが、事後の監査に使える思考の連鎖も短くなる。
• 調達条項と規制の起草者： 可制御性は主に事後学習で決まるので、条項に要求として書き込める。条項をアーキテクチャに結びつけると空振りに終わり、測れる成果に結びつけて初めて効く。測れる成果とは、敵対的な条件での再現率と、CoT なし推論の外部で比較できる数字である。再現率とは、本当に問題のある事例のうち監視役が捕まえた割合だ。システムカード上の再現率は OpenAI の社内測定である。モデルが回避を指示された場合、思考の連鎖だけを読む監視役の再現率は、WMDP で 11% 未満、Monorepo-Bench で 0 だった。

本誌の見立て

OpenAI のシステムカード上の保証が及ぶのは可制御性だけだ。監視が本当に依存しているのは思考の連鎖を書かない推論の力で、この量がなぜ跳ね上がったかについて、カードは立場を示していない。次のフロンティアモデルのシステムカードでは、三つの量を分けて数字を出しているか、外部で測り直せるかを見る。

これから見るべき数字

OpenAI の次のフロンティアモデルのシステムカードが三つの量を分けて数字を出すかどうか、そして GPT-6 Sol のアーキテクチャの開示である。前者は下の一つ目の条件として書いた。

この判断を覆す条件

一つ目の条件の期限は、OpenAI の次のフロンティアモデルの公開に連動する。二つ目と三つ目の期限は、本誌が設けた観察期間である。

1. OpenAI の次のフロンティアモデル(同社のリスク評価の枠組み Preparedness のいずれかの領域で High 以上)のシステムカード公開から 14 日以内：カードが CoT なし能力の変化について原因やアーキテクチャへの帰属を示す文を載せれば、本稿の核心の判断は無効になる。

2. 2027 年 3 月 31 日まで：第三者が少なくとも三つのクローズドなフロンティアモデルで、本物の思考の連鎖を使って両者の相関係数 0.5 以上を測れば、「二つの量は別物だ」という判断は無効になる。

3. 2027 年 3 月 31 日まで：OpenAI が Astra の訓練過程での両者の相関の数字と方法を公開し、相関が事後学習ではなくアーキテクチャから来ていれば、第 6 節を書き直す。

付録：数字の出どころ

各数字の出典

第 2・第 3 節の研究所ごとの詳細

オープンウェイトモデルのうち少しでもできるものは、研究所ごとに固まっている。Z.AI の GLM-5 シリーズは 6% から 13%、DeepSeek の一モデルは 11% だった。Alibaba の Qwen 3.5 は 9B から 397B まで、どのサイズもゼロだった。

Qwen 3.5 は 9B から 397B まで各サイズとも可制御性がゼロで、総パラメータ数の差は約 44 倍ある。本誌の推論はここまでにとどめる。同じ会社の中では、規模が大きくなっても可制御性は生まれなかった。各サイズの CoT なし指数は個別の数字が見当たらないので、これはまだ事後学習仮説への反例ではない。

第 4 節の残り二つの数字

一回のフォワードパスでこなせる直列の算術の段数は、Astra が約 7.2 段、次点が 4.1 段だった。途中の過程を書かずに、前後が依存し合う算術を何段まで連ねられるかという数字である。合成した直列・並列演算の課題での Astra の CoT なし指数は、ほかの課題より約 40 ポイント高い。Nanda 氏はこれをオッズに換算し、約 16 倍としている。

第 7 節の可制御性の第三者の数字

英国 AI 安全研究所はカードの中で、制約に従った割合を Astra で 93%、GPT-5.6 Sol で 48% と測った。この数字は第 6 節の 60.9%、16.1% と算出の範囲が違う。長さの区間と問題集は開示されていない。

第 4 節で触れた外部の三組の数字

Zvi Mowshowitz 氏は 9 月 12 日、LessWrong の三つの投稿をまとめた。プロンプトに意味のない文字を詰めてすぐに答えさせると、Astra の四段の事実推論は約 10% から約 50% に上がった。二人の研究者は、Astra が思考の連鎖を書かずに半分をこなせる作業の長さを 15〜40 分と見積もった。二人の以前の予測の中央値は、2028 年末まで 7 分を超えないというものだった。思考モードを切ると、Astra は 10 ポイントしか下がらず、Fable 5.1 は 35 ポイント下がった。三組の数字はいずれも投稿の自己申告で、Zvi 氏の転記による。元の投稿との照合は経ていない。

第 5 節の反対の証拠

シェフィールド大学などの 10 月 2 日の論文(arXiv 2610.03509)は、長さを縮める圧力を三つの方法でかけてオープンウェイトモデルを微調整した。生成予算の固定、事例ごとの長さ目標、グループ相対の長さ報酬の三つである。忠実性は多くの設定で下がり、主な原因は訓練後にモデルの一貫性が落ちたことだった。監視可能性は比較的頑健で、思考の連鎖が大幅に短くなっても、モデルは介入が答えに影響したことを認めた。対象は小型モデルで、介入の検出という指標を使っており、OpenAI のシステムカードの指標とは違う。以上は論文の要旨にもとづく。

本誌が計算した数字

• CoT-Control 論文の傾向の一文の全体:"We also find that CoT controllability is higher for larger models and decreases with more RL training, test-time compute, and increased problem difficulty." 同論文は、可制御性が "currently unlikely to be a failure mode of CoT monitorability" だと判断した。可制御性の分布について Nanda 氏が書いた評は "It's a mess." である。
• 約 44 倍:Qwen 3.5 の最大と最小のサイズの総パラメータ数の比で、397B を 9B で割った値。同じ会社の中で規模の差が大きいのに可制御性がすべてゼロだったことを示すためだけに使う。各サイズの CoT なし指数は個別の数字が見当たらない。
• 7 ポイント上昇、45 ポイント上昇:GPT-6 Sol の 23.2% から GPT-5.6 Sol の 16.1% を引いた値と、Astra の 60.9% から 16.1% を引いた値。同じ長さの区間で、カード内の数字をそのまま引いた。

算出範囲の注記

• 可制御性の数字はすべて一つの長さの区間(750–1,250 トークン)から取っており、カードは全長での集計値を示していない。英国 AI 安全研究所の 93%、48% は、長さの区間と問題集が開示されていない。
• システムカードは監視可能性の差の「大半」が短い思考の連鎖によると書くが、割合は示していない。「より少ない推論トークン」にも百分率はない。企業向け発表文の「タスクあたりのコストが 9% と 63% 低い」は、他社と比べた自己申告のコスト推計で、トークン数ではない。
• 外部の三組の数字(filler token、作業の長さ、思考モードの切り替え)は Zvi 氏の転記によるもので、元の投稿との照合は経ていない。
• Korbak 氏の「数世代の間で強く相関」の一文は、Zvi 氏が 9 月 8 日にツイートへのリンク付きで転記したもので、原ツイートとの照合は経ていない。システムカードは 9 月 22 日と 29 日に二度更新されたが、どちらも 9.2.1 節のこの段落を変えていない。

別の見方(併記し、本文には入れない)

• 「differentially」のもう一つの読み方:Nanda 氏の指摘では、ループ化は事前学習を改善し、事前学習がよくなればもともとすべての能力が一緒に伸びる。そのため「ループが特別に引き起こしたものではない」という言い方は、正直でありながら情報を含まないこともありうる。本稿は二つの読み方を両方残す。
• アーキテクチャ無罪説:Sebastian Raschka 氏は 9 月、層の再利用そのものは思考の連鎖を隠さないと指摘した。目に見える推論の痕跡が減ったのは、出力する必要のある中間トークンが減ったからだという。第 5 節の「差の大半は短くなった思考の連鎖による」と同じ向きだが、なぜ減ったかには答えていない。
• システムカードのその後の更新:9 月 22 日に HealthBench の設定ミスを修正し、GPT-6 Sol と Luna の付録を追加した。9 月 29 日には、Astra で動く常駐 AI アシスタント dots の付録を追加した。どちらの更新も 9.2.1 節のこの段落を変えていない。
• 自己指示で可制御性は上がる:arXiv 2610.23257(10 月 16 日)は、制約をユーザーのプロンプトではなくモデル自身の思考の連鎖の中に自己指示として置くと、可制御性が大きく上がると主張する。監視役の回避に使えることも示した。この結果に従えば、「オープンウェイトの可制御性はほぼゼロ」という数字は低めに出ていることになる。ただし研究所ごとに固まるという形は変わらない。

本記事は日本語版・英語版・中国語版と同一の調査と判断にもとづいて書かれています。

出典にはリンクを付け、原文書と報道を区別し、確かめられなかった点を明記しています。

ご意見・ご感想は [email protected] までお寄せください。

この記事が依拠した出典

以下は、この記事が引いた事実の記録から機械的にまとめた出典で、各行はそのうち一つの事実の出どころである。原文を読んだか報道経由かは、本文各段の説明に従う。

• Alignment Forum — Neel Nanda · 2026-09-10：Astra can do a concerning amount with no chain of thought
• OpenAI · 2026-09-03：GPT-6 Astra System Card
• Don't Worry About the Vase · 2026-09-08：Astra Is Hard to Monitor
• OpenAI · 2026-09-09：GPT-6 Astra: The next generation in intelligence for work
• Ahead of AI · 2026-09-09：GPT-6 Astra, Looped Transformers, and Hidden Reasoning
• Tomek Korbak · 2026-09-03：x.com/tomekkorbak/status/2095596839886274689
• Fortune · 2026-09-03：AI experts worry OpenAI's Astra model may be a dangerous step toward models with opaque reasoning
• Rauno Arike · 2026-09-03：How concerned should we be about Astra's recurrent architecture?
• Don't Worry About the Vase · 2026-09-12：thezvi.substack.com/p/gpt-6-astra-can-do-ambitious-things
• arXiv：Monitoring Monitorability
• OpenAI Blog：openai.com/news/
• arXiv · 2026-10-02：Efficient Reasoning Training Does Not Always Harm CoT Faithfulness and Monitorability