研究とモデル 2026年10月30日

今週 · プレプリント、arXiv 2610.38617

セキュリティツール企業 Snyk は、実在の脆弱性 108 件で自前のテストを作った。自社の静的解析 Snyk Code と Claude Code のセキュリティレビューは平均検出率が近く、両方を合わせると 101 件を見つけた。

平均検出率は Snyk Code が 82.4%、Claude Code のセキュリティレビューに Opus 5 を組み合わせたものが 79.3% だった。論文の要旨によれば、Snyk Labs は 10 月 28 日にこのテストを発表し、脆弱性は 20 のオープンソースのウェブアプリに分布し、62 件は複数のファイルにまたがる。82.4% と 79.3% は論文が使う平均検出率で、件数にするとそれぞれ 89 件と 85 件である。AI のセキュリティレビューと従来の静的解析は、見落とす脆弱性が別々である。両方を合わせると、108 件のうち 101 件に届く。ただしこれは Snyk が自前で作ったテストで、自社製品の得点が最も高い。静的解析は、プログラムを実行せずにソースコードを直接読んで脆弱性を探すツールである。両者の判断が分かれた 28 件では、Snyk Code が 16 件、Claude Code が 12 件を正しく判断した。Claude Code に組み込まれたレビューの規則を外すと、規則で除外されていた 20 件の脆弱性で、同じモデルの正解は 9 件から 16 件に増えた。この 20 件は 108 件の一部である（arXiv 2610.38617）。問題集と実行記録は GitHub で公開されている（snyk-labs/snyk-vulnbench）。 どう確かめたか →