reward model 與 LLM 評審把回答長度當成品質訊號:在只加長、不增加內容的對照對上,reward model 有 60.1% 選加長版、人類是 33.7%;GPT-4o、Gemini 2.5 Pro、Claude 3.7 Sonnet 當評審時,與人類偏好偏差最大的也是長度和含糊。用偏好分數或 LLM 評審選模型、驗收供應商、訓練 RLHF 的團隊,讀分數前要先控制長度;此判斷限於上述已測的評審世代,對排行榜名次與選型結果的影響是推論,尚無直接量測。
這不是預測，所以沒有排定哪一天對答案。
什麼會推翻它
各條行尾若有日期，那是相反的證據要在那天前出現才算數的期限，不是對答案的日子。
公開研究用只加長、不增加內容的反事實對照對,量 Claude 3.7 Sonnet 之後世代的前沿 LLM 評審或主流 reward model 選加長版的比例,並和同批人類標註者比較 — 模型選加長版的比例比人類高不到 5 個百分點 — 達到即削弱:本條只適用已測的舊世代評審,不能套到當期評審 — 2027-06-30
主要公開偏好排行榜(如 LMArena、AlpacaEval)公布同一批模型加長度或風格控制前後的名次對照 — 前十名中名次有變的模型不超過 1 個,且最大變動不超過 1 位 — 達到即削弱本條的決策含意:長度偏誤對選型結果影響小,「讀分數前先控制長度」降為次要建議 — 2027-12-31
獨立團隊在當期 RLHF 設定重做只用回答長度當 reward 的對照實驗,比較它和完整 RLHF 相對監督微調的下游改善 — 純長度 reward 複現的改善不到完整 RLHF 改善的一半 — 達到即削弱 reward model 把長度當品質訊號那半句 — 2027-12-31
寫下判斷時的出處
https://arxiv.org/pdf/2506.05339
「reducing length skew from 60.1% to 45.2% (versus 33.7% skew for humans)」
「LLM evaluators also exhibit significant miscalibration relative to human preferences, with the largest deviations in length and vagueness biases」
A Long Way to Go: Investigating Length Correlations in RLHF · arXiv (COLM 2024)
「even a purely length-based reward reproduces most downstream RLHF improvements over supervised fine-tuned models」
https://arxiv.org/pdf/2404.04475
「AlpacaEval is known to favor models that generate longer outputs」
「it increases the Spearman correlation with LMSYS Chatbot Arena from 0.94 to 0.98」