SecondSource從一手資料重建判斷

據論文摘要,兩位作者自報:用 NVIDIA 的 4 位元格式 NVFP4 從頭預訓練,驗證損失只比 BF16 高 0.5%;但同一批罕見事實,模型要多看約 1.32 倍才記得住。

概念插圖:一張紙以四角膠帶貼在淺色牆上,右側後方露出一塊米色方塊,紙的頂部有一條黑色橫條印著 ARXIV,下方有兩條短黑線。左半邊一台黑色螢幕寫著 BF16 的筆電旁放著一疊較矮的白色紙張,右半邊一台螢幕寫著 NVFP4 和 NVIDIA、並帶一個綠色小方形圖示的筆電旁放著一疊較高的磚紅色紙張;兩台筆電上方各有一個圓角對話框,尾端指向下方的筆電,框內畫著一個短黑髮人物的頭肩卡通像和三條灰色線條。 圖上印著:約 1.32 倍 NVFP4 預訓練的模型記住同一批罕見事實,要看的次數與 BF16 模型相比;兩位作者在合成傳記實驗自報。

只看損失曲線判斷 FP4 預訓練沒掉品質,會漏掉罕見知識學得慢的成本,但這是用合成人物傳記做的受控實驗。1.32 倍是只用合成人物傳記訓練的設定;資料混入網頁文字後,損失差 2%,倍數升到 1.52 倍。作者的主要讀法是在兩邊損失相同時比較,倍數約 1.2 倍。模型多大,摘要沒寫(arXiv 2611.12832,2026-11-09)。對照的是 MIT 與 NVIDIA 團隊的 Four Over Six:這個方法改了 NVFP4 的區塊縮放,成功的判準正是訓練損失更貼近 BF16,摘要裡沒有測模型記不記得住事實的數字(arXiv 2512.02010,第 5 版 2026-05-09)。 怎麼查的 →

出處與查證

這則刊在2026年11月17日的晨報,同一期還有 13 則。查證經過、引句核對與當天缺的資料,記在那一期的本日驗證。

引用這則

SecondSource(2026),〈據論文摘要,兩位作者自報:用 NVIDIA 的 4 位元格式 NVFP4 從頭預訓練,驗證損失只比 BF16 高 0.5%;但同一批罕見事實,模型要多看約 1.32 倍才記得住。〉,https://secondsource.io/research/2026-11-17-1/,取用日期取用。