SecondSource一次情報から判断を組み立てる

Google が自社のプログラミング課題 50 題で試した結果では、Gemini の思考レベルを下げる方が、出力の上限を絞るより費用を抑えた。

コンセプトイラスト:薄緑の壁の前のテーブルに、上部に「GOOGLE」の文字と多色の「G」が描かれたクリーム色のボードが立ち、左右に分かれた板面の左半分には「OUTPUT CAP」の札の下で灰色のねじ式クランプが吹き出しを挟みつぶし、横に硬貨の高い山、下の棚に緑のチェックマークのタイル三枚と黒い虫が描かれた傾いたタイル(その下から弧を描く動きの線が灰色の容器へ向かう)、さらに下の段に小さなチェックのタイル三枚があり、右半分には「THINKING LEVEL」の札の下に吹き出し、球部だけが赤く塗られた赤枠の温度計、三枚だけの低い硬貨の山、下の棚に緑のチェックのタイル四枚、下の段に小さなチェックのタイル三枚と灰色の容器がある。ボードの右側のテーブルには、画面に吹き出しが映った開いたノートパソコンと「GEMINI 3.8 FLASH」と書かれた立て札が置かれている。 画像内の文字:50 題 思考レベル低で全問正解、Google調べ。

Google は 11 月 3 日の開発者ブログで、エージェントの費用は成功したタスク一件あたりで見るべきだとし、根拠は自社のプログラミング課題 50 題を各設定一回ずつ試した結果だ。基準のコードは、オープンソース化の審査を終えてから公開するという。Google の指標は、成功したタスク一件あたりの費用である。エージェントのループの各周回、ツール呼び出し、再試行、内部の思考にかかった費用を合計し、検証を通ったタスクの数で割る。出力の上限を既定値から 300 トークンに絞ると、簡単な問題の思考トークンはほとんど変わらず、難しい 25 題のうち 7 題が失敗し、費用はかえってわずかに増えた。Gemini 3.8 Flash の思考レベルを低にすると、50 題すべてに正解し、費用は既定値を大きく下回った。Google はさらに TypeSafe 社の分類器 Jev を使い、簡単な問題を安い Flash-Lite に、難しい問題を強い Flash に振り分けた。こちらも 50 題すべてに正解し、遅延も下がった。Google は TypeSafe と提携関係はないとしている。Jev の比較相手は、キーワードと長さで難易度を判定する規則である。この規則は 16 題で調整してから残りの 34 題で試し、正解は 70.6% にとどまった。Jev は 34 題すべてに正解した(Google for Developers、2026-11-03)。費用と遅延の絶対値は、Google の記事の図にある。Google のキャッシュは同じ内容を送り直す費用を 75% から 90% 下げるが、効くのは同じモデルの中だけで、モデルを替えるとこの割引はなくなる。このため Google は、振り分けるのは短く独立したタスクだけにするよう勧めている。 どう確かめたか →

出典と検証

この記事は2026年11月4日の夕刊に掲載されました(同じ号にほか 10 本)。確認の経緯、引用の照合、その日に確認できなかった資料は、その号の本日の検証にあります。

この記事を引用

SecondSource(2026)「Google が自社のプログラミング課題 50 題で試した結果では、Gemini の思考レベルを下げる方が、出力の上限を絞るより費用を抑えた。」https://secondsource.io/ja/product/2026-11-04-1/ (閲覧日閲覧)