研究とモデル 2026年10月22日

トレンド · プレプリント 10 月 17 日

Snowflake、小型モデルで 62.0%。数字は自己申告

Snowflake AI Research の Arctic-SWE は新しいアルゴリズムを加えずに、40 億パラメータの Qwen3.5-4B を訓練し、コーディングの評価 SWE-bench Verified の解答率を 62.0% にしたと著者が測った。同じく著者が測った対照の FrogNano より 0.5 ポイント高い。論文の自己申告である。 SWE-bench Verified は、実在の GitHub 課題を直すコーディング能力の評価だ。著者はこう書く。「On raw R2E-Gym data, without new algorithms or data work, Arctic-SWE trains Qwen3.5-4B to 62.0% pass@1 on SWE-bench Verified」（arXiv 2610.24914、2026-10-17）。pass@1 は一問につき一度だけ試したときの解答率である。R2E-Gym は既存の公開訓練環境だ。対照は同じくオンラインの課題を合成して作った FrogNano で、点数は 61.5% だった。差は 0.5 ポイントで、Arctic-SWE が使った訓練のサンプリング回数は FrogNano の約六分の一である。データを選別したあとの 4B モデルの Verified の点数は 65.0% に上がった。単一の論文の自己申告で、プレプリントは 10 月 17 日に出たばかり、独立に再現した結果は本号の材料の範囲にない。点数はデータの選別とテストの強度で動く。本紙の読みでは、小さなモデルがこの評価でさらに点を取る鍵は、アルゴリズムではなく強化学習のシステムとデータの品質にある可能性がある。同じ評価で現役最上位モデルの点数は、本件では比較されていない。