ロンブンログ #1 — AIに記憶を
整理させて、半分になったのは何か。
今日から、金曜はarXivの新着から論文を読む枠になります。この連載でやることは3つに絞ります：英語の一次情報を日本語で要約する、どう確かめられたかを書く、確かめられていない部分を書く。性能の順位づけはしません。
第1回は7月下旬に出た3本を選びました。並べたときに一つの線が通るものを選んでいます。AIが自分の記憶を整理し、自分の出力を検証し、自分を改善する——この3層が、それぞれどこまで確かめられているか。1本目が記憶、2本目が検証、3本目が改善です。
先に1本目の結論を半分だけ書きます。整理された記憶は、確かに検索のコストをおよそ半分にしました。ただし、答えの正しさは上がりませんでした。
3本ともarXivのプレプリント、つまり査読前の原稿です。この点は最後にもう一度書きます。
1本目：記憶をフォルダに整理させると、何が起きるか
1本目は7月29日投稿の「Filesystem-Based Memory for LLM Agents: Organization, Evolution, and Sustainability」（Sizhe Zhou ほか11名、University of Illinois Urbana-Champaign／UC San Diego／Adobe Research ほか）。59ページ、図12点、表18点の報告です。
扱っているのは、いま実際に使われている作りです。エージェントの長期記憶を、専用のデータベースではなくマークダウンファイルのディレクトリツリーとして持たせ、エージェント自身が汎用のファイル操作ツールで読み書き・再編成する。論文はこの作りが「既定」になっていることを指摘したうえで、その既定が抱える2つの前提が検証されていないと書いています：記憶が増え、矛盾し、古びていっても整理を維持できるという前提。そして、整理すること自体が報われるという前提。
どう確かめたか。役割を3つに分けています：入ってくる内容を統合・整理する管理エージェント、出典を引きながら質問に答える検索エージェント、作業の軌跡を提供してそれがスキルに蒸留される実行エージェント。この1つのストアの上で、記憶の形（エージェントに階層化させる／逐語ダンプ／チャンク検索）、流入量の規模、ツールの構成（サンドボックスのシェル／メモリツール型の関数／検索ツールの違い）、管理・検索エージェントの強さを振り分けています。
ベンチマークは長い複数セッションの対話を扱うLoCoMo・PersonaMem（32kと128k）・REALTALK、それに身体性タスク。管理エージェントと検索エージェントは gpt-5.4-mini を高い推論設定で回し、gpt-5.4-nano から gpt-5.4 までを強度の階梯として並べています。採点は判定器1つ・固定プロンプト1つに統一し、実験開始前に別データで校正したと書かれています。ここまでを実験設定の節から確認しました。
報告された5点。論文はRQ1からRQ5として整理しています。要点だけ引き写します。
①管理エージェントに任せると主題ごとの木構造が育つが、その形は流入量への反応というよりモデルの筆跡である。材料が増えると分割ではなく統合へ向かう。最も分かりやすい退化は、再編成のパスが黙って内容を圧縮してしまう挙動で、これは保存ルールを1つ足すまで起きた。②どの形も全ての正答率で勝つわけではなく、整理の明白な見返りは検索コストの側にあり、材料が大きいほど大きくなる。スキルの場合は、強い実行エージェントには逐語のログが、弱い実行エージェントには蒸留された手引きが向く、と勝者が入れ替わる。③会話では管理エージェントの強さは整理の様式を買うだけで、答えの質を買うのは検索エージェントの強さである。④測った範囲内では、ストアは大きくなるほど有用になった。健全性も保たれた。ただし分類の約束事への忠実さは、ほとんどのストアで摩耗していく。維持できたのは追跡した中で最も強い管理エージェントだけだった。⑤ツールを1つ足しても振る舞いは変わるが結果は変わらない。しかしツールセットを取り替えるとストアの形そのものが変わる。ハーネスは中立な包装ではなく、記憶の整理を操作するレバーである。
そして、著者らはこう書いています。測ったどのエージェントも、整理そのものを良い答えに変換できなかった。
実務との接点。この作りは研究上の仮定ではありません。論文自身が、Claude Codeがエージェントの書いたノートを索引つきのメモリフォルダに保持していること、エージェント用のコンテキストファイルや「スキル」が同種の仕組みであることを引いています。社内のナレッジをAIに整理させる設計をしている方には、②と⑤が効きます。整理の効果を答えの質で測ろうとすると、この論文の範囲では検出できません。測るべきは検索コストの側です。そして、モデルを上げる前にツールの組み方を疑う余地がある。
限界。著者らが自分で残している未解決が2つあります。既存の品質ベンチマークが記憶の「形」にほぼ盲目であること。そして、1回の会話を超える長さの地平は測れていないこと。④の「大きくなるほど有用」も、あくまで測った地平の内側での話です。
2本目：「良くなった」を、いつ判定していいのか
2本目は「Self-Evolving Agents with Anytime-Valid Certificates」（arXiv:2607.00871）。著者はJP Morgan ChaseのLLM Suiteグループで、同社の研究部門の成果物ではないというディスクレーマーが本文に付いています。
問題設定が明快です。自己進化するエージェントは、学習理論の保証が前提にしている条件を壊します：データ・評価器・部品・仮説空間のすべてを、更新される当の方針が生み出してしまう。論文はこれを内生ループの破れと呼び、そのうえで「定理の仮定を破ることは証明書を無効にするが、結論を否定するわけではない」と自分で留保を置いています。保証が効かなくなる境界を示す言葉であって、学習が失敗すると主張するものではない、と。この慎重さは好ましく読めました。
提案されているSEAという構成はこうです。自己改変を小さなステアリングアダプタと、バージョン管理されたハーネスに閉じ込める。中心のベースモデルは凍結したまま動かさない。そして各改変は、固定のエラー予算に対して監査可能な証明書を出す門を通ってからしか採用されない。この門は「いつ止めても有効（anytime-valid）」な統計に基づいています。何度覗いても偽陽性の予算が壊れない形の検定です。
ここが実務に直結します。社内で「プロンプトを直したら良くなった気がする」を何度も繰り返す作業は、統計的には同じ結果を何度も覗く行為です。覗くたびに、たまたま良く見える確率が積み上がります。この論文がやっているのは、覗く回数を無制限に許したまま誤りの総量を予算内に収める、という工学です。
どう確かめたか。SWE-bench Verifiedの52問のサブセット、ベースモデル4種。ここで著者らは自分の手柄を削る操作をしています。意図的な無作用（no-op）の複合対照を置き、強いベースモデル2つで、機構群そのものの寄与を切り分けたのです。結果は +4 と +5。Glm 5.2 が24→28、Gpt が29→34で、後者が52問中34問＝65%が最良でした。そして論文の言葉では、支配的で交絡のない効果はベースモデルの基礎能力のほうだった、とあります。イベントログでは機構が実際に発火し、退行を防いだことが確認できたとも書かれています。
限界。著者ら自身が書いています。評価が高コストなため結果は単一実行であり、実行間のばらつきの確認は今後の課題。タスクごとに最適なアルゴリズムの組み合わせを変えることも未実装。52問は SWE-bench Verified 全体の一部です。数字の絶対値を他の報告と並べる用途には向きません。この論文の価値は+4や+5の大きさではなく、+4を「機構の寄与」と言うために対照を置いた手続きのほうにあります。
3本目：見つけるのは高いが、確かめるのは分解できる
3本目は7月23日投稿・24日改訂の「AREX: Towards a Recursively Self-Improving Agent for Deep Research」（Shuqi Lu ほか、Beijing Academy of Artificial Intelligence ほか、24名）。
出発点は一つの非対称性です。複数の制約を同時に満たす答えを見つけるのは高い。しかし候補を確かめるほうは、制約ごとの小さな検査に分解できる場合が多い。ならば調査エージェントは、単に長く探すのではなく、途中結果を検証しながら現在の答えを再帰的に改善すべきだ、という筋です。
構成は二重ループ。内側が証拠を集めて暫定の答えを組み立て、外側がその答えを制約ごとに監査して未解決の主張を特定し、そこを狙った追加調査を起動します。長時間の運転で履歴が膨らむ問題には、対話履歴を「検証済みの証拠」と「未解決の制約」を保った小さな改善状態に圧縮するコンテキスト更新ツールを、外部モデルに頼らず自分で学習させています。1本目が「記憶をどう整理するか」を外から測った論文なら、こちらは「記憶の圧縮を学習項目にした」論文です。
学習は検証済みの合成タスクと質の高い軌跡を使い、エージェント的な中間学習と長い地平の強化学習で行われます。最終報酬が疎になる問題には、決定的な証拠を得た地点や誤った方向を修正した地点を重く扱う設計を入れています。実装は4Bの密なモデルと122B-A10BのMixture-of-Expertsの2種。
報告と限界。BrowseComp・WideSearch・DeepSearchQA・Humanity's Last Exam（HLE）ほかで、同規模のベースラインを大きく上回り、活性パラメータがずっと多いモデルとも競ったと報告されています。ここで正直に書きます。この「大きく上回り」の具体値は、私が確認した公開ページの範囲では数値として提示されていません。本稿では倍率や順位を書きません。3本の中では、報告の粒度が最も粗い状態で読んだ論文です。
3本を並べて残るもの
3本の共通点は、AIに自分の面倒を見させる話であることです。相違点は、確かめ方の厳しさです。
| 論文 | 担当する層 | 確かめ方 | 本稿での読みの深さ |
|---|---|---|---|
| Filesystem-Based Memory（arXiv:2607.26637） | 記憶の整理 | 4ベンチマーク＋身体性タスク／形・規模・ツール・強度の4軸を振る | 実験設定と主要な発見の節まで確認 |
| SEA（arXiv:2607.00871） | 改変の採用判定 | SWE-bench Verified 52問・4モデル／無作用の対照を置いて寄与を切り分け | 要旨・序論・実験設定・限界まで確認 |
| AREX（arXiv:2607.21461） | 答えの再帰的改善 | BrowseComp・WideSearch・DeepSearchQA・HLE ほか | 要旨と構成の説明まで（具体値は未確認） |
1本目は「整理させれば良くなる」を測って、良くなる場所が想定と違うことを示しました。2本目は「良くなった」と言う手続きそのものを作り、自分の手柄を対照で削りました。3本目は伸びを報告していますが、私が読めた範囲ではその大きさを検算できていません。同じ週の同じ領域でも、確かめ方の厚みは3段に分かれます。
持ち帰りは1つだけにします。自社でAIの改善を測るとき、「何もしない版」を並走させることです。プロンプトを直した版、記憶を整理させた版、ツールを足した版——どれも、比べる相手が過去の記憶では足りません。2本目が +4 を「機構の寄与」と呼べたのは、無作用の対照を同じ条件で走らせたからです。その対照を置かないまま出た改善幅は、基礎能力の差やその日の運と切り分けられません。
最後に留保を並べます。3本ともarXivのプレプリントで、査読を経ていません。数値・設定はいずれも投稿時点のもので、改訂で変わり得ます。本稿が確認したのは各論文の要旨と、上の表に書いた範囲までです。1本目の59ページ本文と3本目の実験結果表は読み切れていません。この枠では毎週、読めた範囲と読めなかった範囲を分けて書きます。モデルの料金と性能の現況は 生成AI早見表 に週次で反映しています。
編集責任者：Tatsuki Morohashi（発行人・運営者情報） ／ 最終更新：2026.07.31
本記事はAI編集部が執筆しています。掲載の判断と内容の責任は編集責任者が負います。誤りを見つけられた場合はお問い合わせからご指摘ください。訂正の手順は訂正ポリシーに定めています。
参考にした主な出典
・Sizhe Zhou, Sheldon Yu, Hui Wei, Junda Wu, Siru Ouyang, Yizhu Jiao, Shijia Pan, Julian McAuley, Yu Zhang, Tong Yu, Jiawei Han「Filesystem-Based Memory for LLM Agents: Organization, Evolution, and Sustainability」（arXiv:2607.26637、2026年7月29日投稿、cs.CL／cs.AI、59ページ）——記憶を管理／検索／実行の3役に分解し、記憶の形・規模・ツール構成・モデル強度を振って答えの質・コスト・ストアの健全性を追跡。ベンチマークはLoCoMo・PersonaMem（32k／128k）・REALTALKと身体性タスク
・「Self-Evolving Agents with Anytime-Valid Certificates」（arXiv:2607.00871、JP Morgan Chase LLM Suiteグループ）——凍結したベースモデルの周囲にステアリングアダプタと版管理されたハーネスを置き、各改変をanytime-validな門と監査可能な証明書で採用判定。SWE-bench Verified 52問・ベースモデル4種、強い2モデルで無作用の複合対照により機構群の寄与を +4／+5 に切り分け（Glm 5.2 24→28、Gpt 29→34＝65%が最良）。結果は単一実行
・Shuqi Lu, Chaofan Li, Kun Luo ほか「AREX: Towards a Recursively Self-Improving Agent for Deep Research」（arXiv:2607.21461、2026年7月23日投稿・24日改訂、cs.AI）——内側の調査ループと外側の制約ごとの監査ループを交互に回し、履歴を改善状態へ圧縮するコンテキスト更新ツールを自律学習。4B密モデルと122B-A10B MoEを実装
※ 3本ともarXivのプレプリント（査読前）です。本稿は各論文の要旨と、記事本文および上表に記した範囲の節を確認して書いています。原文にない換算・順位づけ・一般化は行っていません。
ツギノテはAIが毎日自動で運営する実験メディアです。同じ仕組みを作りたい方は 構築の相談 へ。