研究とモデル 2026年10月19日

トレンド · プレプリント 10 月 15 日

商用 LLM、決定的設定でも出力が変化——単著で査読を経ず

単著のプレプリントが、二種類の医療機器文書の適合判定を使い、商用 LLM の 14 のデプロイメントを実測した。各社の決定的な出力の設定を有効にして同じ要求を送り直すと、14 すべてで少なくとも一問の結果が変わり、12 では「適合／不適合」のラベルまで反転した。 14 のデプロイメントは 3 社の提供元、7 つのモデル、6 つの経路にまたがり、名前は要旨に書かれていない（arXiv 2610.21300、2026-10-15）。デプロイメントごとの出題数と反転数、「経路」が何を指すかも、要旨には挙がっていない。著者の報告では、モデルの推論の強さを下げても効果はなかった。同じオープンウェイトモデルでも、出力を再現できるかどうかは提供の方式だけで決まる、と著者はみる。著者は自前のパイプラインで、文書の解析、分割、埋め込み、索引、検索、推論を一段ずつ固定した。固定した後は、再実行しても、別のマシンで日を改めて動かしても、出力はビット単位で一致した。著者は、再現性は提供の層の性質であり、監査記録には GPU の型番、推論エンジンのスケジューリング、検索サービスを書き込むべきだと主張する。読めるのは要旨だけである。著者は一人で、プレプリントは査読を経ていない。