AIエージェントのスキル、無関係な1000個を足すと読まれなくなる理由。
この記事の読者：エンジニア向け（Claude Codeなどのエージェントに、スキルやプラグインを何十個も入れている人）／情シス・DX担当（社内向けのスキルを配る立場の人、AIに報告書や要約を書かせる運用を決める人）／個人向け・全社員・非専門（AIに要約や「いくらが妥当か」を聞いて、そのまま使うことがある人。専門知識がなくても、記事後半の確認表はそのまま真似できます）
要点：10月13日にarXivへ投稿された3本で、AIに渡した材料がそのとおりに使われるかを確かめました。AIエージェントに無関係なスキルを1000個足すと、必要なスキルを読み込む率は73.6%から27.4%へ落ち、半数の課題で1つも読み込まなくなりました。先に選んで渡すと73.9%に戻っています。SNS投稿だけから書かせた災害の状況報告は、人の報告と同じくらい網羅的に見えても、当日の公式報告の数字を5.4〜11.0%しか含んでいませんでした。利用者の国だけを変えると、LLMが示す遅刻の補償額は欧州で高く、アフリカで低く出たと報告されています。3本とも査読前で、当方が読めたのは要旨と公開リポジトリの説明までです。
AIエージェントに「スキル」を入れておけば、必要な場面で使ってくれる。そう思って、手順書や社内ルールをスキルとして何十個も入れている人は多いはずです。
今週のロンブンログは、その前提を測った論文から始めます。AIエージェントのスキルは、数が増えると読み込まれなくなる、という報告です。
3本はいずれもarXivのプレプリント、つまり査読前の原稿で、投稿日はそろって2026年10月13日です。分野はエージェント（cs.AI）、言語処理（cs.CL）、AIと社会（cs.CY）とばらしました。共通しているのは、AIに渡した材料と、AIが実際に使ったもののあいだの距離を数えている点です。取得の経緯は記事末に書きました。
スキルを1000個並べると、半数の課題で1つも開かれない
「Lost in Implicit Routing: How LLM Agents Fail to Load Relevant Skills at Scale」（arXiv:2610.18522、Jinlin Liu・Wei Chen・Xiaojin Zhang、cs.AI）。当方が直接読んだのは論文紹介サイトに転載された要旨と、著者の公開リポジトリのREADMEまでです。所属は確認できていないため書いていません。
ここでいうスキルは、課題ごとの手順を書いたファイルで、エージェントは一覧の名前と説明文を見て、必要なものを自分で読み込みます。著者らはこの「暗黙の振り分け」が、スキルの数が増えても働くかを試しました。SkillsBenchというベンチマークの課題と、その課題に本当に必要なスキルを固定したまま、無関係なスキルだけを足していく設計です。足すスキルは、第三者が公開している21,262個のスキルから集めたとREADMEに書かれています。
報告された数字は次のとおりです。無関係なスキルを1000個足すと、必要なスキルを読み込めた率（読み込み再現率）は73.6%から27.4%へ落ち、スキルを1つも読み込まなかった課題の割合は9.3%から51.6%へ上がりました。同じ1000個入りの一覧から、課題を始める前に別の手順で選んで渡す方式（事前選択）では、再現率は73.9%を保っています。
落ちた理由について、著者らは2つの手がかりを示しています。1つは、エージェントが別のスキルを取り違えて読み込んだわけではないこと。もっともらしい代わりのスキルを選ぶ例も、落ち幅を説明できるほど多くはなかったとされます。もう1つは、無関係なスキルの説明文だけを隠すと、読み込みが大きく戻ったことです。READMEは、実行中の説明文は課題と並ぶ「条件つきの指示」として働く、と説明しています。一方で、説明文を残したまま「先にどのスキルを使うか計画して」と頼んでも、事前選択より再現率は低かったと要旨にあります。
実務との接点。Claude CodeやCoworkのように、スキルを入れておき必要なときに読ませる仕組みは、すでに日常の道具です。この論文が示しているのは、入れたスキルの数が、使われる率を下げる側に効くという構造です。入れて安心するのではなく、その作業でどのスキルが読まれたかを、実行の記録で確かめる必要があります。
限界。主結果にどのモデルを使ったかは、当方が読んだ範囲では確認できていません（READMEの実行例には「glm-5」が出てきますが、それが主結果のモデルかは分かりません）。課題はSkillsBenchに限られ、足したのは第三者のスキルです。市販のエージェントで同じ落ち方をするかは、この論文からは言えません。言えるのは、名前と説明文で振り分ける方式が、一覧が大きくなると崩れうるという点までです。
人の報告と同じくらい網羅的なのに、公式の数字は1割しか入らない
「Looking Complete Is Not Being Grounded: Evaluating LLM Sitreps Against Human-Authored Situation Reports」（arXiv:2610.18762、Sachin Kumar、主分野はcs.CL）。AACL-IJCNLP 2026のワークショップ（LT4CPR）に採択と記載されています。当方が読んだのは検索エンジンが表示した要旨と、著者の公開リポジトリのREADMEまでです。所属は確認できていません。
題材は、災害時に支援機関が出す「状況報告（sitrep）」です。著者は、SNSの投稿だけを材料にLLMが書いた状況報告が、実務で使えるかを問いました。専門機関の報告から15項目の情報の枠を作り、人が書いた121本とLLMが書いた261本を、5つの災害で比べています。危険の種類の数は、検索で表示された要旨の要約では3種、READMEでは4種と食い違っており、当方は確かめられていません。
見た目の網羅性では、機械は人に並びました。サイクロン・イダイの事例で、Geminiを採点役にすると、最良の機械の報告は0.827で、人の報告の上限0.821をわずかに上回ります。ただしその差は統計的にゼロと区別できず（95%信頼区間 −0.049〜0.059）、「Luna」という別の採点役では再現しなかったとされます。
差が出たのは中身です。主な3つの災害で、機械の報告は同じ日に専門機関が出した報告の数字の5.4〜11.0%しか再現していませんでした。報告日・発行組織・シリーズ・発信元といった出所の情報は、観測した12の組み合わせ（災害×採点役）すべてで人の報告のほうが多く含んでいます。READMEはこれを、材料のSNS投稿に無かった数字や出所が、網羅的に見える文章からは抜け落ちる、と説明しています。
評価の物差しについての報告もあります。文章の重なりを測るROUGE-Lは手がかりにならず、意味の近さを測るBERTScoreは、実務上の網羅性と逆向きに関連していました。汎用のLLM採点役は、結論の向きが入れ替わったとされます。採点役の信頼度は、100項目を伏せて照合し、著者の判定とGeminiの判定の一致率0.910（κ係数0.799）と報告されています。
実務との接点。AIに議事録や週報、障害報告をまとめさせると、項目がそろった読みやすい文章が返ってきます。この論文が測ったのは、その「そろって見える」ことと、数字と出所が入っていることは別だという点です。項目の有無で品質を判定する運用では、この差に気づけません。
限界。材料をSNS投稿だけに絞った設定で、公式資料を渡した場合の結果ではありません。著者自身も、結果はこのコーパスと採点役の範囲のもので、モデルの順位が他の災害に一般化するとは主張していないと書いています。「Luna」がどの製品のどの版かを、当方は特定していません。
同じ1時間の遅刻でも、利用者の国で補償額が変わる
「A Global View of How LLMs Value Human Time」（arXiv:2610.18515、Yifan He・Sofie Goethals・Manon Reusens・David Martens、cs.CY）。この1本は、本文のHTML版の取得が回数制限で通らず、検索エンジンが表示した書誌ページと本文冒頭の記載までの確認です。所属は未確認です。
設計は単純です。約束の時間に60分遅れた相手への、妥当な補償額をLLMに尋ね、質問のうち利用者の国だけを変えます。193か国×5つのLLMで答えを集め、購買力平価の1人あたりGDP、平均所得、文献にもとづく「忍耐強さ」の指標と比べています。
報告によれば、LLMは一貫して欧州の利用者に最も高い補償を勧め、アフリカの利用者にはおおむね最も低い補償を勧めたとされます。購買力平価のGDPと比べると、アジアと南米の利用者の時間の価値を低く見積もっていたとも書かれています。著者らは、地理的な偏りがLLMに埋め込まれており、エージェントとして動く場面では扱いの差につながりうる、と結んでいます。
実務との接点。問い合わせ対応や返金の判断をAIに下書きさせる運用で、顧客の所在地が会話に含まれていれば、答えの金額に影響しうる、という指摘です。所在地は、こちらが判断の材料として渡したつもりのない情報であることが多いはずです。
限界。5つのLLMの名称、補償額の具体的な幅、所得との差の大きさは、当方が見た範囲には出ていません。設問は60分の遅刻という1つの場面に限られます。この結果から「AIは国で人を差別する」とまでは言えません。言えるのは、国だけを変えた質問で、答えの金額が地域ごとにまとまって動いたという報告までです。
渡したものが使われたかは、出力の外で数える
3本を並べると、言えることは次のとおりです。スキルは、入れてあっても数が増えると開かれなくなる（1本目）。報告は、項目がそろっていても、材料に無い数字と出所は入らない（2本目）。利用者の国は、判断材料として渡したつもりがなくても、答えの金額を動かす（3本目）。3本とも、AIが返した文章を読むだけでは気づけないずれを、文章の外にある物差しで数えています。
当方の読みは、AIが材料を無視する、という一般論ではありません。1本目では事前選択で73.9%まで戻っています。使われたかどうかを、出力とは別の記録で確かめる手順を持っているかどうかで、任せ方の安全度が分かれる、というのが3本から言える範囲です。
手元でできる確認を、3本から1行ずつ表にしました。
| 場面 | 論文で起きたこと | 手元でできる確認 |
|---|---|---|
| スキルを何十個も入れている | 無関係1000個で読み込み率73.6%→27.4% | 大事な作業ではスキル名を指示に書く。実行記録で、読まれたスキルを確かめる |
| AIに報告や要約を書かせる | 公式の数字の再現は5.4〜11.0% | 数字ごとに出所と日付を書かせ、元資料までたどれる数字を数える |
| 金額や優先度をAIに下書きさせる | 国だけを変えると補償額が地域で分かれた | 所在地だけを入れ替えた同じ依頼を2回出し、答えを並べる |
個人でAIに要約を頼んでいる場合は、2行目だけでも試せます。返ってきた要約の数字に「どこに書いてあったか」を添えさせ、元の資料で見つからない数字が何個あるかを数えてください。
リポジトリまでは開けたが、本文には今週も届かなかった
今回、うまくいかなかったことと、前回から変わったことを書きます。
第一に、arXivのRSSにも書誌ページにも、直接は届きませんでした。この実行環境のウェブ取得は、検索結果などに一度表に出たURLしか開けず、RSSのURLは弾かれます。アプリ内のブラウザはarXivへの利用許可が初回に要り、無人の実行では許可を得られません。候補は、arXivの新着を自動で一覧にしているGitHub上の公開リスト（10月15日付）から拾いました。
第二に、本文はどれも読めていません。検索経由でarXivの本文HTMLのURLまでは手に入りましたが、取得のたびに回数制限（HTTP 429）に当たり、時間を空けて計6回試しても通りませんでした。
第三に、前回からの改善が1つあります。1本目と2本目は、著者が公開しているGitHubのリポジトリをブラウザで開いて読めました。要旨に無い条件（スキルの母集団が21,262個であること、状況報告の材料がSNS投稿だけであること、採点役を替えると結果が再現しなかったこと）は、そこから拾っています。前回 #8 では、3本とも要旨より先に進めませんでした。
未確認のまま残したのは、1本目の主結果のモデルと課題数、2本目の危険の種類の数（3種か4種か）と採点役「Luna」の正体、3本目の5つのLLMの名称と補償額の幅、そして3本すべての著者所属です。いずれも、本文を読めた時点で訂正または追記します。
3本はいずれもarXivのプレプリント、つまり査読前の原稿です。数値と設定は改訂されえます。原文に無い換算・順位づけ・一般化は行っていません。
編集責任者：Tatsuki Morohashi（発行人・運営者情報） ／ 最終更新：2026.10.17
本記事は、編集責任者の指示のもとAI編集部が執筆し、編集責任者が内容を確認しています。掲載の判断と内容の責任は編集責任者が負います。誤りを見つけられた場合はお問い合わせからご指摘ください。訂正の手順は訂正ポリシーに定めています。
参考にした主な出典
・Jinlin Liu, Wei Chen, Xiaojin Zhang「Lost in Implicit Routing: How LLM Agents Fail to Load Relevant Skills at Scale」（arXiv:2610.18522、2026年10月13日投稿、cs.AI。要旨はCool Papersの転載で確認）。SkillsBenchの課題と必要なスキルを固定し、無関係なスキルを追加。1000個追加で読み込み再現率73.6%→27.4%、1つも読み込まない率9.3%→51.6%、同じ一覧からの明示的な事前選択は73.9%。代替スキルの読み込みは低下を説明できるほど多くない。無関係なスキルの説明文だけを隠すと読み込みが大きく回復。説明文を残したまま計画を求めても事前選択より低い
・同 著者リポジトリ（GitHub: jinlinll/lost-in-implicit-routing）。SkillsBenchと第三者の21,262スキルを使用。事前選択はLLM・RAG・ハイブリッドの3方式を比較
・Sachin Kumar「Looking Complete Is Not Being Grounded: Evaluating LLM Sitreps Against Human-Authored Situation Reports」（arXiv:2610.18762、2026年10月13日投稿、cs.CL、LT4CPR Workshop @ AACL-IJCNLP 2026採択と記載）。専門機関の報告から15項目の枠を作り、人121本とLLM261本を5つの災害で比較。主な3災害で機械の報告が再現した当日の公式報告の数字は5.4〜11.0%。採点役の検証は100項目で一致率0.910・κ0.799
・同 著者リポジトリ（GitHub: techsachinkr/llm-sitrep-evaluation）。材料はSNS投稿のみ。サイクロン・イダイでGemini採点の最良の機械0.827対人の上限0.821（95%信頼区間−0.049〜0.059、並べ替え検定p=0.852）、採点役Lunaでは再現せず。出所情報は12の組み合わせすべてで人が上回る。ROUGE-Lは手がかりにならず、BERTScoreは網羅性と負の関連
・Yifan He, Sofie Goethals, Manon Reusens, David Martens「A Global View of How LLMs Value Human Time」（arXiv:2610.18515、2026年10月13日投稿、cs.CY。検索エンジンが表示した書誌ページと本文冒頭の記載で確認）。利用者の国だけを変え、60分の遅刻に対する妥当な補償額を質問。193か国・5つのLLM。購買力平価GDP・平均所得・忍耐強さの指標と比較。欧州に最も高く、アフリカにおおむね最も低い補償を推奨。GDP比でアジア・南米の時間の価値を過小評価
・候補の拾い出しに使った一覧：zachysun「DailyArXiv」Latest 20 Papers - October 15, 2026（GitHub Issue #582）。第三者による自動生成の一覧で、記事の数値の出典ではありません
※ 3本ともarXivのプレプリント（査読前）です。本稿が確認したのは、1本目と2本目は要旨と著者リポジトリのREADMEまで、3本目は検索エンジンが表示した書誌情報と本文冒頭の記載までです。3本とも著者所属は未確認のため書いていません。原文にない換算・順位づけ・一般化は行っていません。
ツギノテはAI編集部が毎日発行するメディアです。同じ仕組みを作りたい方は 構築の相談 へ。