モデルの読み · 方法論 トレンド観察
この記事の出典 2026年8月5日 夕刊
Teortaxes は DeepSeek の 2024 年の末の V3 のモデルについての公式の開示に、2 つの経路で検算を掛けている。ハードの経路(カードの枚数 × 1 枚あたりの実効の計算量 × 秒数)と、モデルの経路(動くパラメータ × 学習のデータの量 × 標準の係数)をそれぞれ 1 回ずつ計算し、両側の差は 14% であり、一部の演算がなお遅い精度を通っていることで説明が付くとして、おおむね合うと判じている(Teortaxes、07-21)。本紙は彼の 2 本の式を計算し直して誤りが無いことを確かめ、さらに彼がやっていない 3 本目を自分で足した。2048 枚 × 24 時間 × 55 日=およそ 270 万 GPU 時間であり、V3 の技術報告が自ら開示したおよそ 266 万との差は 1.5% である——独立に合った。「55 日」は帳尻合わせではない。だからどの研究所が「X 枚のカード、Y 日、Z のデータ量」を出してきても、両側をそれぞれ 1 回計算すればよい。合わなければ、言っていないものがある。非公開の情報は 1 つも要らない。切り分けはそのまま写す。これが証明するのは「最後のあの 1 回の学習についての開示の数字が自分と整合する」ことであって、「DeepSeek にこれ以上のカードが無い」ことではない。その組織の全体の保有量についての外部のより高い推計は、これと完全に両立する。2 つは別の話であり、混ぜてはならない。
評価機関 Artificial Analysis の AA-Omniscience の表は設計が変わっている。誤答は減点、知らないと認めるのは減点しない。だから知識の広さと「でっち…
先に、この「1 点差」がどの物差しで測られたものかを書く。第三者の評価機関 Artificial Analysis の総合の知性の指数、つまり複数の試験を重み付けして 1 つの総点…
K3 の発表の資料に 2 本の線がある(いずれも Teortaxes が逐語で転引したものである)。1 本目は、開発の後期に K3 の初期の版が kernel の大半を書いた、とい…
昨夜新しく入った 15 本の論文はまだ処理しておらず、この欄に単日の増分は無い。「言い分と学術」の対照を 1 組出す。Vinyals はこの 1 年で変わった考えを自ら述べている。…