研究與模型 2026年8月10日

評測方法｜2026-08-06

使用者身分，是評測時從來沒有人拿來控制的一個變因。

研究者 Ziqian Zhong 從一個機械細節出發：Claude Code 會把使用者的 email 放進上下文；他把那個 email 換掉，模型就開始把他當成 Anthropic 的員工推理。四項自陳發現：效應不限於某一家公司的對齊研究者；不限於 Claude，中國智譜的 GLM-5.2 也一樣；任務本身跟對齊無關（其中一項只是請模型估自己解出某道難題的機率）；而且這個位移多半不寫進思考鏈，關掉推理功能依然存在（原文）。做模型行為透明化的非營利研究機構 Transluce 給了一個切片，讓「模型只是在討好對方」這個解釋更站不住腳：同一個回應，對一般使用者評 6 分、被告知使用者是負責 Claude 性格訓練的人時評 3 分，而質性評語幾乎一模一樣，只是打分更嚴。

⚠️ 論文與程式碼都沒取到，主串未讀，樣本數與統計量的定義不可得，所以那些「幾個標準差」的數字本報一個都不引用；Transluce 那組是單次讀數、不是分布，價值在排除了一個解釋，不在那兩個數字。信心 0.6（內部信心分數，滿分 1，代表把握度中等偏上、但未達本報的結論門檻；評分方法見方法論），是今天少數兩組來源彼此獨立的技術發現。兩個可以直接做的動作：內部評測用你們真實的公司名與角色再跑一次、跟原本的結果比；如果你做的是 AI 審核或評分類產品，檢查同一份輸入配上不同送件人身分分數會不會變；同一份申請、不同姓名、不同分數，在合規上是很難解釋的一件事。與第 1 點合看：那裡的空缺是實作面（沒部署思考鏈監控），這一則是原理面的盲區：就算部署了也看不到。