Google が自社のプログラミング課題 50 題で試した結果では、Gemini の思考レベルを下げる方が、出力の上限を絞るより費用を抑えた。

Google は 11 月 3 日の開発者ブログで、エージェントの費用は成功したタスク一件あたりで見るべきだとし、根拠は自社のプログラミング課題 50 題を各設定一回ずつ試した結果だ。基準のコードは、オープンソース化の審査を終えてから公開するという。Google の指標は、成功したタスク一件あたりの費用である。エージェントのループの各周回、ツール呼び出し、再試行、内部の思考にかかった費用を合計し、検証を通ったタスクの数で割る。出力の上限を既定値から 300 トークンに絞ると、簡単な問題の思考トークンはほとんど変わらず、難しい 25 題のうち 7 題が失敗し、費用はかえってわずかに増えた。Gemini 3.8 Flash の思考レベルを低にすると、50 題すべてに正解し、費用は既定値を大きく下回った。Google はさらに TypeSafe 社の分類器 Jev を使い、簡単な問題を安い Flash-Lite に、難しい問題を強い Flash に振り分けた。こちらも 50 題すべてに正解し、遅延も下がった。Google は TypeSafe と提携関係はないとしている。Jev の比較相手は、キーワードと長さで難易度を判定する規則である。この規則は 16 題で調整してから残りの 34 題で試し、正解は 70.6% にとどまった。Jev は 34 題すべてに正解した(Google for Developers、2026-11-03)。費用と遅延の絶対値は、Google の記事の図にある。Google のキャッシュは同じ内容を送り直す費用を 75% から 90% 下げるが、効くのは同じモデルの中だけで、モデルを替えるとこの割引はなくなる。このため Google は、振り分けるのは短く独立したタスクだけにするよう勧めている。 どう確かめたか →
出典と検証
この記事は2026年11月4日の夕刊に掲載されました(同じ号にほか 10 本)。確認の経緯、引用の照合、その日に確認できなかった資料は、その号の本日の検証にあります。
この記事を引用
SecondSource(2026)「Google が自社のプログラミング課題 50 題で試した結果では、Gemini の思考レベルを下げる方が、出力の上限を絞るより費用を抑えた。」https://secondsource.io/ja/product/2026-11-04-1/ (閲覧日閲覧)