研究とモデル 2026年10月25日

トレンド · プレプリント 10 月 19 日

Claude Code、分類正答 15.7%。数字は自己申告

Haoran Xue 氏ら四人の研究者のプレプリントは、既製のセキュリティスキルを付けた Claude Code で Linux カーネルの実際の脆弱性を探した。研究者らの集計では、全 14,800 回の実行のうち、脆弱性の種類を正しく分類できたのは 15.7% だった。 セキュリティスキルは、エージェント向けに書かれた手順書とツールで、決まった手順で脆弱性を調べるやり方をエージェントに教える。研究は Claude Code に四つの基盤モデルと 37 のセキュリティスキルを組み合わせ、Linux カーネルの実際の脆弱性 100 件で、合計 14,800 回実行した（arXiv 2610.25705、2026-10-19）。正しい関数を指した実行は 24.4%、脆弱性の種類を正しく分類した実行は 15.7% だった。著者は独自の手法 SKILL-SIF でスキルを自動で書き換えた。すると、四モデル合計の正答率は、書き換える前の 6.05% から 11.20% に上がった。この正答率は、上の二つと計算方法が違う。その計算方法は要旨に書かれていない。数字は著者の自己申告で、いずれも要旨から取った。四つの基盤モデルが何かも、要旨にはない。本紙の読みでは、この数字が測るのは調整していない既製のスキルである。この設定では、セキュリティスキルを一つ入れるだけでは、エージェントによるカーネルの脆弱性調査はまだ当てにならない。