回顧 · 論文 2023 到 2025 年

三組研究發現，獎勵模型與 AI 評審偏好較長的回答。

概念插圖：米色背景上有幾張傾斜、相互重疊的大紙張，左邊大紙上方掛著兩張加框的紙，左張畫著幾道灰色橫線，右張同樣有灰線，下方再以兩個小夾片接上一段沒有線的延長部分；框下一台寫著「REWARD MODEL」的黑色螢幕旁，立著一疊很高的紅色紙張和一疊較矮的米色紙張，各自放在托盒上、前方露出一張紙條，一名穿黑衣、坐在凳子上的人在米色紙疊上方拿著一張上段有灰線、下段接著無線延長部分的紙。右邊那張大紙上，一台寫著「AI JUDGE」的黑色螢幕放在平台上，旁邊是托盒裡直立的一張長紙（上段有灰線、下段以兩個夾片接上）和一張較小的有線紙張；右下角還露出另一張畫有灰色橫線的紙。圖上印著：60.1% 基礎獎勵模型選加長版比例，作者自報。

據作者自報的實驗，偏好分數或 AI 評審排出的模型名次，沒控制回答長度就會偏向較長的回答。獎勵模型是訓練時替回答打分、讓模型照分數學習的模型。人類回饋強化學習是用人類對回答的偏好來訓練模型的方法。2023 年的論文發現，三個人類回饋強化學習設定裡，獎勵分數的提升大部分可由回答變長解釋（arXiv 2310.03716）。2024 年的 AlpacaEval 論文控制長度後，AlpacaEval 這套用 AI 當評審的自動評分，和 Chatbot Arena 的相關係數從 0.94 升到 0.98（arXiv 2404.04475）。Chatbot Arena 是讓使用者對兩個匿名模型的回答投票、累積成排名的公開排行榜。2025 年的論文做了只加長、不加內容的對照：基礎獎勵模型 60.1% 選加長版，人類只有 33.7%。同一篇也發現，GPT-4o、Gemini 2.5 Pro、Claude 3.7 Sonnet 當評審時，和人類偏好偏差最大的是長度與含糊（arXiv 2506.05339）。這些實驗只測過當時的評審模型，對排行榜名次的影響還沒有人直接量過。本報 11 月 7 日把這三組結果合成一條判斷，公開在本報網站上（本報網站）。怎麼查的 →

出處與查證

這則刊在2026年11月10日的晨報，同一期還有 12 則。查證經過、引句核對與當天缺的資料，記在那一期的本日驗證。

引用這則

SecondSource（2026），〈三組研究發現，獎勵模型與 AI 評審偏好較長的回答。〉，https://secondsource.io/research/2026-11-10-2/，取用日期取用。