研究とモデル 2026年11月10日

振り返り · 論文は 2023 年から 2025 年

三つの研究グループは、報酬モデルと AI の採点役が長い回答を好むことを見つけた。

著者が自ら報告した実験によると、選好のスコアや AI の採点役が付けるモデルの順位は、回答の長さを調整しないと長い回答の側に偏る。報酬モデルは、訓練中に回答に点を付け、モデルがその点に従って学ぶための採点用のモデルである。人間のフィードバックによる強化学習（RLHF）は、回答に対する人間の好みを使ってモデルを訓練する方法である。2023 年の論文は、三つの RLHF の設定で、報酬のスコアの伸びの大部分が回答が長くなったことで説明できるとした（arXiv 2310.03716）。2024 年の AlpacaEval の論文は、AI を採点役に使う自動評価 AlpacaEval と、公開ランキング Chatbot Arena の順位の相関を調べた。Chatbot Arena は、利用者が匿名の二つのモデルの回答を比べて投票するランキングである。長さを調整すると、相関係数は 0.94 から 0.98 に上がった（arXiv 2404.04475）。2025 年の論文は、内容を足さずに長さだけを伸ばした対照を作り、基本の報酬モデルは 60.1% が長い版を選んだのに対し、人間は 33.7% だった。同じ論文は、GPT-4o、Gemini 2.5 Pro、Claude 3.7 Sonnet を採点役にしたとき、人間の好みとのずれが最も大きいのは長さと曖昧さだとした（arXiv 2506.05339）。これらの実験が試したのは当時の採点役のモデルだけで、ランキングの順位への影響を直接測った研究はまだない。本紙は 11 月 7 日、この三つの結果を一つの判断にまとめ、本紙のサイトで公開した。 どう確かめたか →