據論文摘要,兩位作者自報:用 NVIDIA 的 4 位元格式 NVFP4 從頭預訓練,驗證損失只比 BF16 高 0.5%;但同一批罕見事實,模型要多看約 1.32 倍才記得住。

只看損失曲線判斷 FP4 預訓練沒掉品質,會漏掉罕見知識學得慢的成本,但這是用合成人物傳記做的受控實驗。1.32 倍是只用合成人物傳記訓練的設定;資料混入網頁文字後,損失差 2%,倍數升到 1.52 倍。作者的主要讀法是在兩邊損失相同時比較,倍數約 1.2 倍。模型多大,摘要沒寫(arXiv 2611.12832,2026-11-09)。對照的是 MIT 與 NVIDIA 團隊的 Four Over Six:這個方法改了 NVFP4 的區塊縮放,成功的判準正是訓練損失更貼近 BF16,摘要裡沒有測模型記不記得住事實的數字(arXiv 2512.02010,第 5 版 2026-05-09)。 怎麼查的 →
出處與查證
這則刊在2026年11月17日的晨報,同一期還有 13 則。查證經過、引句核對與當天缺的資料,記在那一期的本日驗證。
引用這則
SecondSource(2026),〈據論文摘要,兩位作者自報:用 NVIDIA 的 4 位元格式 NVFP4 從頭預訓練,驗證損失只比 BF16 高 0.5%;但同一批罕見事實,模型要多看約 1.32 倍才記得住。〉,https://secondsource.io/research/2026-11-17-1/,取用日期取用。