研究與模型 2026年10月19日

趨勢 · 預印本 10 月 15 日

14 個 LLM 部署重送都曾變答案。預印本未經審查

一篇單作者預印本用兩類醫材文件的合規判定，實測 14 個商用 LLM 部署：開了各家的決定性設定重送相同請求，14 個都至少有一題結果不同，12 個連「符合／不符合」的標籤都翻了。 14 個部署橫跨 3 家供應商、7 個模型、6 條路由，名字摘要沒寫（arXiv 2610.21300，2026-10-15）。每個部署測了幾題、翻了幾題，路由指的是什麼，摘要都沒有列。作者報告，調低模型的推理強度沒有用。同一個開放權重模型能不能重現，作者認為只取決於服務方式。作者在自架的管線上，把文件解析、切塊、嵌入、索引、檢索、推論逐段固定。固定之後，重跑、換機器、換日期，輸出都逐位元相同。作者主張可重現性是服務層的性質，稽核紀錄要寫進 GPU 型號、推論引擎排程與檢索服務。目前能讀到的只有摘要。作者只有一位，預印本未經同儕審查。