SecondSource從一手資料重建判斷

今日 · 貼文 10 月 11 日

Sakana AI 讓模型扮分工團隊再自訓。公司自報

Sakana AI 介紹與 UC Berkeley 合作的 MASS:讓同一個 270 億參數的開放模型扮成分工團隊,再用成功的合作紀錄微調自己。據公司貼文,跑兩輪後,每個輸出 token 換到的評測分數是原模型的 1.2 到 1.6 倍。 Sakana AI 共同創辦人 David Ha 導讀的做法分兩步輪流做:先讓模型演化出多個角色怎麼分工,再把成功的分工過程拿來訓練這個共用的模型;模型用自己產生的成功紀錄訓練自己;這算不算持續的自我改進,貼文沒有證明(David Ha,2026-10-11;Sakana AI,2026-10-11)。評測是研究類任務,貼文寫四個,只點名 MLR-Bench、ScienceAgentBench、DSBench 三個。這個比值是評測分數除以輸出長度,不等於能力提升 1.2 到 1.6 倍;比值變高也可能只是輸出變短,貼文沒分開給分數與長度的變化。論文自己警告:模型同時替自己打分數時,共同的盲點可能讓錯誤被當成進步、一路強化。⚠️ 數字只來自公司貼文,論文本報沒讀。 怎麼查的 →

概念插圖,畫面分成左右兩格,每格上方是一塊印有「SAKANA AI」字樣的看板,字樣左邊有紅、藍、綠三個魚形小圖案;看板下方的灰色桌子上各放著一台筆電,紅色機身上印著「MASS」。左邊筆電螢幕上並排三個視窗,每個視窗裡有一個對話框;右邊筆電螢幕上只有一個視窗,裡面上下排著三個對話框。

出處與查證

這則刊在2026年10月12日的晨報,同一期還有 13 則。查證經過、引句核對與當天缺的資料,記在那一期的本日驗證。

引用這則

SecondSource(2026),〈Sakana AI 讓模型扮分工團隊再自訓。公司自報〉,https://secondsource.io/research/2026-10-12-1/,取用日期取用。