研究とモデル 2026年11月12日

ある査読前論文は、強いモデルに弱いモデル向けのスキルライブラリを書かせた。弱いモデルの特性を先に調べてからスキルを書かせた方式のタスク成功率は 86.46%、調べずに直接書かせた方式は 81.04% だった。

論文の要旨によると、二つのモデルのスキルライブラリを入れ替えるとどちらも元のライブラリのほうがよかったが、入れ替えの結果を述べた要旨の一文に数字は添えられておらず、全体でも三つのモデルしか試していない。スキルライブラリは、エージェントが作業中に呼び出せる、あらかじめ書いた手順の集まりである。プロファイリングでは、先生役がまず生徒役のモデルの学習者モデルを作り、生徒の成功率を上げたスキルだけをライブラリに入れる。著者らは Claude-Sonnet-5 に DeepSeek-V4-Flash を教えさせ、本実験 4 回の平均を取った。教わっていない生徒役のモデルの成功率は 75.00% だった。生徒が誰かを見ずにスキルを直接書く方式に比べ、先にプロファイリングする方式は約 5 ポイント高い。成功率は著者らの自己申告で、まだ誰も再現していない。タスク集と問題数は要旨に書かれていない（arXiv 2611.13144、2026-11-09）。 どう確かめたか →