研究とモデル 2026年10月16日

今四半期 · 公開 9 月 3 日

Qwen、学習を示したのは自社モデルだけ——評価も自前

Alibaba の Qwen チームと淘宝・天猫は、モデルに模擬ネットショップを一年経営させる評価 E-Commerce Bench を公開した。18 のモデルのうち、繰り返し仕入れの価格を下げる学習を明確に示したのは Qwen 自社の一モデルだけで、年末の総資産で首位の GPT-5.6 Sol は詐欺防御で 16 位だった。 各モデルの元手は 10 万人民元で、5 回走らせる。年末の資産は GPT-5.6 Sol が 143 万人民元、Qwen3.5-Plus は平均で 1,100 人民元しか残らなかった。詐欺防御は詐欺業者への仕入れが占める比率で測り、Claude Opus 4.7 が 0.12%、Qwen3.5-Plus が 20.11%、選別しない基準値は 26.4%。接触した詐欺業者に注文する比率は GPT-5.6 Sol が 31.7%、Claude Opus 4.7 が 4.0% だった。学習の指標 AnchorRatio は、同じ業者から同じ商品を繰り返し仕入れる価格が交渉で下がっていくかを測る。1.0 はランダムと変わらず、1.0 未満は買うほど安くなることを意味する。原文はこうだ：「Over a full year, the models do not get better at buying. Qwen3.8-Max-Preview is the only one of the 18 showing a clear sign of long-horizon learning, at an AnchorRatio of 0.834」（Qwen ブログ、2026-09-03）。Qwen3.5-Plus と、唯一学習した Qwen3.8-Max-Preview は同じ会社の二つのモデルである。Qwen が自前で作った評価で、唯一学習したのも Qwen 自社のモデルで、論文とコードは未読。本紙の読みでは、長期のエージェントを総資産だけで見ると、詐欺防御と学習という二つの失敗面を見落とす。 どう確かめたか →