研究とモデル 2026年10月17日

今日 · 公開 10 月 16 日

Databricks、知識で見逃し率 4% に——再現はない

Databricks のセキュリティ研究によれば、安いモデルは npm パッケージのバイナリファイルに隠れたマルウェアを見落としやすい。推論の前に約 1,800 トークンの専門知識を与えると、人の再確認に回し損ねる比率は 50% から 4% に下がった。 npm は JavaScript のパッケージの配布基盤である。試験の規模は 70 回のテストと十種類のバイナリのペイロードで、比較は同じ低価格帯のモデル群に同じ入力を与え、この知識の有無だけを変えたものだ。ここでいう失敗は、悪意のあるパッケージなのに、人の再確認に回す基準にも届かなかった場合である。比較対象の Sonnet 4.6 と Kimi K3 は、この知識なしでも十種類のペイロードをすべて見つけたが、一回あたりのコストは低価格帯の約三倍だった（Databricks、2026-10-16）。複数モデルの多数決は効かなかった。原文：「correlated errors converge on the wrong answer rather than canceling」。テストしたモデルの一つ Gemini は十種類すべてを悪意ありと判定したが、スキャンの入力に存在しないアドレスをでっち上げた。これは Databricks 自身の研究で、自社の手法を売り込む内容でもある。独立した再現はない。