Y Combinator の CEO、Garry Tan 氏が公開したエージェント用ハーネスの評価によると、同じモデルでハーネスを替えても 20 問の合格率に目立った差は出ず、一問解くあたりのコストには二倍強の開きがあった。

コンセプトイラスト：スタンドに載った黒枠のディスプレイが右上がりに傾き、画面上部には白い大文字が入った黒い帯がある。帯の下では細い黒線が画面を横切り、その上に左から順に、QM と書かれ灰色の線三本の吹き出しが入ったカード、低く積まれたベージュの円盤、OPENCLAW と書かれ同様の吹き出しが入ったカード、黒い帯の近くまで高く積まれた赤い円盤が並ぶ。画像内の文字：約 2.3 倍一問コスト差、Tan 氏の自己申告で算出。

Garry Tan 氏の自己申告の開発結果によると、この公開課題で差がつくのはコストと時間である。同氏と YC は一部のハーネスの利害関係者である。Opus 5.5 で動かすと、YC のハーネス QM は合格率 72.5%・一問あたり 0.19 米ドル、Claude Code は 76.3%・0.22 ドル、Hermes Agent は 78.8%・0.24 ドル、OpenClaw は 76.3%・0.44 ドルだった。最も高いものと最も安いものの開きは約 2.3 倍である（本紙の計算）。一回あたりの所要時間は QM と Claude Code がともに 40.1 秒、OpenClaw は 99.4 秒だった。README は、各組み合わせの合格率に有意な差はないと明記している。これは公開課題での開発結果で、未公開の課題による確認試験ではない。README は YC が Hermes に投資していることも記している（g-harness-evals）。どう確かめたか →

出典と検証

この記事は2026年11月9日の夕刊に掲載されました(同じ号にほか 14 本)。確認の経緯、引用の照合、その日に確認できなかった資料は、その号の本日の検証にあります。

この記事を引用

SecondSource(2026)「Y Combinator の CEO、Garry Tan 氏が公開したエージェント用ハーネスの評価によると、同じモデルでハーネスを替えても 20 問の合格率に目立った差は出ず、一問解くあたりのコストには二倍強の開きがあった。」https://secondsource.io/ja/research/2026-11-09-1/ (閲覧日閲覧)