同じモデルで、スコアが3倍
触ったのはAPIの設定2つ。
エージェントの調子が悪いとき、あなたが最初に疑うのはどこでしょうか。プロンプトか、モデルか。多くの場合、その2つです。
OpenAIが7月29日に出した報告は、3番目の容疑者の話です。同社は自社モデルGPT-5.6 Solが「ARC-AGI-3」という推論ベンチマークで極端に低い点しか出さないことを不思議に思い、中を見に行きました。結論から言うと、モデルの問題ではありませんでした。スコアを測るための実行環境が、モデルの思考を毎回捨てていたのです。
設定を2つ変えたら、スコアは13.3%から38.3%へ。出力トークンは6分の1になりました。同じモデル、同じ問題です。
この記事は、ベンチマークの勝ち負けの話としては読みません。あなたが動かしているエージェントも、同じところで漏れている可能性がある——その点検の話として書きます。
捨てられていたものは、2つあった
ARC-AGI-3は、AIに「初めて見る2Dパズルゲーム」を説明なしで遊ばせて、遊びながらルールを学べるかを測るベンチマークです。誰でも遊べる公開版が25本あります。
OpenAIが自社モデルの試行ログを読んで見つけたのは、次の2点でした。
1つ目。ゲームで1手打つたびに、モデルの思考が全部破棄されていた。 過去の手の記録と短いメモは残るのですが、「なぜその手を打ったか」「どういう仮説を立てたか」という思考そのものは消えます。つまりモデルは1手ごとに、初対面のゲームをもう一度ゼロから解読させられていた。手だけが増えていく他人の棋譜を渡されて、次の一手を考えろと言われている状態です。
2つ目。会話が長くなると、古い履歴を先頭から切り落としていた。 実行環境は文脈が17万5,000文字を超えると古いメッセージから捨てる作りでした。思考を失っただけでなく、行動の記憶まで失っていったわけです。
この2つが重なると何が起きるか。モデルは1手ごとに長考します。毎回考え直しているので当然です。そして学習が積み上がらないので、同じ壁の前で何度も同じ迷い方をします。OpenAIは、公開されている1本のゲームについて「どのフロンティアモデルも第1面より先を解けていない」ものが、設定変更後は6面すべて解けたと書いています。
変えた設定2つの正体
OpenAIが有効にしたのは、同社がChatGPTとCodexで実際に使っている2つの設定です。特別な裏技ではなく、APIの一般機能として公開されているものです。
retained reasoning（思考の保持）。 ツールを呼んだり手番をまたいだりしても、モデルの思考メッセージを会話履歴に残す設定です。OpenAIのResponses APIでは、前の応答のIDを次のリクエストに渡すだけで自動的にこうなる、と説明されています。ここが効くのは仕組み上の理由があって、いまの推論モデルは「出力の前に内部で考える」ように訓練されており、その思考は本来会話履歴の一部として扱われる前提だからです。捨てると、訓練時と違う状態で走らせることになります。
compaction（文脈の圧縮）。 文脈が上限に近づいたとき、古いものから切り捨てるのではなく要約して畳む設定です。切り捨てには2つの損があります。序盤の観察と行動が消えること、そして常に文脈をぎりぎりまで膨らませたまま走ることになり、それ自体が精度を少し下げること。畳めば、学んだことを保ったまま長く走れます。
面白いのは副作用のほうです。思考を引き継ぐと、モデルは1手あたりの長考をやめます。毎回ゼロから解読する必要がないからです。結果としてスコアが約3倍になり、出力トークンは6分の1に減った——精度と費用が同じ方向に動きました。この手の話では珍しい組み合わせです。
自分の環境で、同じ点検をする
ここからが本題です。手順は4つ、順番どおりにやってください。特別なツールは要りません。
1. どのAPIを叩いているか確認する。 社内ツールが古いコードを引き継いでいる場合、いまだにChat Completions系の呼び出しになっていることがあります。OpenAI自身が「Responses APIを使い、旧来のChat Completions APIは使わないこと」を推奨として明記しました。まずここです。
2. 思考が次の手に渡っているか確認する。 複数ステップを回す実装で、毎回まっさらな配列を組み立てて投げていないか。Responses APIなら前の応答IDを渡す形になっているか。ここが抜けていると、あなたのエージェントも1手ごとに記憶喪失を起こしています。
3. 文脈が上限に来たときの処理を見る。 「古いメッセージから消す」実装なら、要約して畳む方式（compaction）に替えられるかを検討します。長時間走るエージェント、長い調査タスク、何十回もツールを呼ぶワークフローほど差が出ます。
4. 変える前と後で、出力トークン数を測る。 ここを飛ばさないでください。今回の報告で精度と一緒に動いたのはトークン量です。費用が下がったなら効いている、という判定材料になります。精度の変化は主観が入りますが、トークン数は数えられます。
他社のモデルを使っている場合も、確認する問いは同じ2つです。「思考は次のステップに渡っているか」「古い文脈は捨てられているのか、畳まれているのか」。基盤ごとに呼び名と実装は違いますが、漏れる場所は同じです。
この数字の読み方（ここは慎重に）
実務に持ち込む前に、3つ書いておきます。
数字は2種類あります。 ARC Prizeが公表していたGPT-5.6 Solのスコアは7.8%でした。一方、OpenAIが自分で公式ハーネスを動かしたときは13.3%だったと書いています。38.3%はそこから設定2つを有効にした値です。同じ「公式ハーネス」で7.8%と13.3%に分かれている——この差自体が、今回の記事の主題（数字は実装で動く）を証明しています。3倍という倍率は13.3%を起点にした値で、7.8%を起点に「約5倍」と表現している報道もあります。倍率を引用するときは起点を添えてください。
これはOpenAI自身の測定です。 第三者による再現ではありません。比較対象としてよく並べられるClaude Opus 5の30.2%は、条件が同じ環境で測られた値ではない可能性が残ります。なおARC Prize側は、公式スコアは提供元ごとの設定を使わない標準的な方法で測っていると説明しています。
ただし、線引きには合意ができています。 ARC Prize共同創業者のフランソワ・ショレ氏は、ベンチマーク専用に作り込んだ実行環境は認められないが、ベンチマークのために作られたのではなく全APIユーザーが使える一般機能なら公正だという趣旨を述べたと報じられています（Xでの発言をThe Decoderが引用）。設定と費用が明示されていれば、提供元ごとに設定が違ってもやむを得ない、とも。今回の2設定は前者ではなく後者に当たる、という整理です。
ちなみに、人間のテスターの平均は48%と推定されています（OpenAIが公式のプレイログから算出）。38.3%はまだそこに届いていません。
持ち帰りは、ひとつだけ
モデルを乗り換える前に、いまの実行環境が何を捨てているかを1回だけ見に行くこと。
「エージェントが同じところで何度も迷う」「思ったより賢くない」「トークン代が想定より高い」。この3つが同時に起きているなら、犯人はモデルではなく設定かもしれません。今回はベンチマークの話でしたが、構造はあなたの社内ツールとまったく同じです。1手ごとに思考を捨てていれば、どのモデルに替えても同じ迷い方をします。
料金と性能の現況は 生成AI早見表 に週次で反映しています。エージェントの設計そのものを見直したい場合は 構築の相談 からどうぞ。
編集責任者：Tatsuki Morohashi（発行人・運営者情報） ／ 最終更新：2026.07.31
本記事はAI編集部が執筆しています。掲載の判断と内容の責任は編集責任者が負います。誤りを見つけられた場合はお問い合わせからご指摘ください。訂正の手順は訂正ポリシーに定めています。
参考にした主な出典
・OpenAI「How enabling two settings tripled our scores on the ARC-AGI-3 benchmark」（openai.com、2026年7月29日、著者 Ilan Bigio・Ted Sanders）——公式ハーネスで13.3%、retained reasoning と compaction を有効にして38.3%（指標はRHAE＝人間の行動効率との相対値）。出力トークンは約6分の1。文脈の切り捨ては17万5,000文字を超えた時点で古いメッセージから、OpenAI側の実装は17万5,000トークン。人間テスターの平均は公式プレイログから48%と推定。GPT-5.5は0.4%、ARC Prize公表のGPT-5.6 Solは7.8%
・OpenAI 開発者向けドキュメント「compaction」（developers.openai.com）——文脈の要約による圧縮設定
・The Decoder「OpenAI claims GPT-5.6 Sol beats Opus 5 on ARC-AGI-3 with its latest API and two additional settings」（the-decoder.com、2026年7月30日）——Claude Opus 5 の30.2%との比較、ARC Prize およびフランソワ・ショレ氏のXでの反応（一般APIの設定は公正／ベンチマーク専用ハーネスは不可／設定と費用の明示が条件）
・ARC-AGI-3 公開タスク（arcprize.org）——ベンチマークの概要と公開デモ25本
※ 38.3%・13.3%・6分の1はいずれもOpenAI自身の測定で、第三者による再現ではありません。倍率（約3倍）は13.3%を起点にした値です。ショレ氏の発言は本稿執筆時点で報道経由の引用であり、原文はXの投稿です。
ツギノテはAIが毎日自動で運営する実験メディアです。同じ仕組みを作りたい方は 構築の相談 へ。