週刊ツギノテ #15 — AIに「原因はここかも」で、
成功率46.7%低下。
要点：週刊ツギノテ、十五号。今週は、条件や聞き方をひとつ変えるとAIの答えが崩れる実測が重なった。Google DeepMindの研究者らによる査読前論文（XYEval）では、もっともらしいが間違った見立てを相談に添えるだけで、5モデル×6種類の評価30通り中29通りで成績が下がり、最大はGemini 3.1 ProのTerminal-Benchで67.4%から36.0%（差46.7ポイント）に落ちた。内蔵ブラウザで実在の八王子駅の歴代駅長5人をGeminiに聞くと、3回とも「5人は出せない」と断りながら、毎回近年の駅長とされる人名を1〜2人添えてきた。取り消し済みの依頼1件・見送り2件・期限延長1件を仕込んだ架空の議事録をGemini・ChatGPT・Claudeに1回ずつ投げると、3サービスとも取り消しと見送りを反映せず、有効な11件をすべてToDoとして挙げた。IT資格の「偏差値」という非公式な数字をGeminiに同じ文面で3回聞くと、並び順は3回とも一致したのに、応用情報技術者の点数は51・58・65と最大14の幅で揺れた。ほかに、Microsoft 365 Copilotの新機能「Copilot Code」が支出ポリシーの「新サービス自動適用」が既定オンだと自動的に使える対象に入ること、Edge 155への更新後に一部環境で起動しなくなる問題、PHPの重大脆弱性php2shellがアップロード画面の無いサイトも対象にすること、AIツールARTEXを使った攻撃でMicrosoftの「中国政府系」特定とGMOの「日本企業約20社」が別の発表だったこと、ChatGPTのPlusとProの違いは5時間上限の有無とPro専用モデルであること、ChatGPTの広告は設定をオフにしても消えずプラン変更か一時チャットが必要なこと、Claude公式のBlender連携MCPが「安全装置なし」と明記していたこと、生成AIの回答が付けた参照元のうち調査対象企業の公式サイトは32.5%にとどまったこと、香川県三豊市がChatGPTのごみ出し案内を正答率94.1%で本格導入の基準99%に届かず見送ったこと、DeepSeekの新モデルは重みがオープンでも公式アプリ・APIへの入力の行き先は使い方次第であること、AIエージェントに無関係なスキルを1000個足すと必要なスキルの読み込み率が73.6%から27.4%へ落ちた論文を含む3本、を発行した。国会会議録の確認（生成AI・人工知能・AI規制の3語）は、この一週間は3語とも該当0件。早見表は確認できる公式の価格改定が今週は見つけられず、変更なし。FUTURE INDEXは今週も据え置いた。
生成AIに相談するとき、「原因はここかもしれません」ともっともらしい見立てをひとつ添えると、成功率は最大46.7ポイント下がった。
添えなければ、崩れなかった条件だった。
週刊ツギノテ、十五号。今週発行した十五本を、編集長のわたしが振り返る。
崩れたのは難しい課題のときとは限らない。条件や聞き方をひとつ変えただけで、AIの答えは何度も揺れた。
条件をひとつ変えると、答えが崩れた——実測四本
AIに「原因はここかも」と添えた実験で、成功率は最大46.7%下がった（HOW・実務／ツカウ）。Google DeepMindの研究者らの査読前論文。もっともらしい間違った見立てを添えると、5モデル×6評価の30通り中29通りで成績が下がり、最大はGemini 3.1 ProのTerminal-Benchで67.4%→36.0%。
Geminiが「歴代の駅長5人」を3回断って、毎回添えてきたもの（HOW・実測／ツカウ）。実在の八王子駅の歴代駅長5人をGeminiに3回聞くと、3回とも「5人は出せない」と断りながら、近年の駅長とされる人名を毎回1〜2人添えた。Claudeは実在駅・架空駅とも0人。
議事録のToDo抽出、後から「取り消し」た1件を3社のAIとも外した（CHECK・検証室／ハカル）。取り消し1件・見送り2件・期限延長1件を仕込んだ架空の議事録を、Gemini・ChatGPT・Claudeに新規チャットで各1回投げると、3サービスとも11件すべてを挙げ、取り消しと見送りを反映しなかった。
IT資格の「偏差値」、Geminiに3回聞くと毎回違った。根拠はどこにあるか（検証・話題／ハカル）。同じ文面で3回聞くと、並び順は3回とも一致したのに、応用情報技術者の点数は51・58・65と最大14の幅で揺れた。IPAの統計に偏差値の欄は無い。
既定の設定と公式の条件が分かれ目——速報四本
Copilot Codeが支出ポリシーに自動で入る条件は「新サービス自動適用」（速報／ツカウ）。使用量ベース課金の組織では、支出ポリシーの「新サービス自動適用」が既定オンのため、Copilot Codeは既存のポリシー経由で自動的に使える対象に入る。
Edge 155が「起動しない」問題、管理者の回避策は2つ（速報／ツカウ）。更新・再起動後にEdgeが起動しなくなる問題。サービス側の原因は戻し済みだが、端末側の修正は調査中。回避策は管理者向けに2つ。
PHPの重大脆弱性、アップロード画面が無いサイトも対象だった（速報／ツカウ）。通称php2shell、CVSS v4.0で9.2の脆弱性2件。Webリクエストを受けるすべてのPHPが対象で、認証なしのリクエスト1本でコードが動く経路がある。
ARTEXの攻撃、Microsoftの「中国政府系」と日本企業20社は別の発表（速報／ツカウ）。Microsoftの中国政府系Storm-0940特定（2,250超のテナントへのサインイン試行）と、GMOの日本企業約20社への攻撃確認は、別々の発表。
消えると思ったら消えなかった——PICKS二本
ChatGPTのPlusとPro、分かれ目は「5時間の上限」とPro専用モデル（PICKS／ツカウ）。WorkとCodexの5時間上限はPlusにあり、Proの3段には現在なし。思考の段もPlusはHighまで、ProはExtra Highまで。
ChatGPTの広告、設定で減らす道とプランで消す道は別物だった（PICKS／ツカウ）。広告のパーソナライズをオフにしても広告そのものは残る。消す道はFreeの「広告なし」切り替え・Plus以上への変更・一時チャットの三つ。
公式の言い分と現場の数字——検索起点・CASES・話題四本
Claude×Blender連携、公式MCPは「安全装置なし」と明記していた（検索起点／ハカル）。Blender Labの公式版とコミュニティ版「MCP for Blender」の2系統。コミュニティ版は送信設定の既定値がREADMEとコードで食い違っていた。
生成AIの「参照元」は公式サイトより第三者サイト。5,397回答の内訳（検索起点／ツムグ）。ChatGPTとGeminiが回答に付けた参照元URL延べ70,209件のうち、調査対象企業の公式サイトは32.5%。Google検索上位10件がAIに参照された割合も1割前後。
三豊市のChatGPTごみ出し案内、正答率94.1%で見送った理由（CASES／ハカル）。2023年の実証で正答率は1回目62.5%・2回目94.1%。本格導入の基準99%に届かず、市はこの業務にChatGPTを活用しないと決めた。
DeepSeek新モデル、「オープンウェイト」でも入力の行き先は使い方で4通り（話題／ハカル）。重みはMITライセンスでオープンだが、公式アプリ・Webチャット・APIに入れた文章の保存先はプライバシーポリシー上、使い方ごとに異なる。
渡した材料が多すぎると、読まれなくなる——ロンブンログ#9
AIエージェントのスキル、無関係な1000個を足すと読まれなくなる理由（ロンブンログ#9／ハカル）。10月13日投稿の査読前3本。AIエージェントに無関係なスキルを1000個足すと、必要なスキルの読み込み率は73.6%から27.4%へ落ち、半数の課題で1つも読み込まれなくなった。先に選んで渡すと73.9%に戻る。
国会ウォッチ——今週は3語とも該当0件
国会会議録の確認（「生成AI」「人工知能」「AI規制」の3語での照会、取得はブラウザ経由）は、この一週間（10月16日〜10月23日）、3語とも該当0件だった。
早見表——確認できる改定は無く、変更なし
早見表生成AIモデル料金比較・早見表を点検した。OpenAI・Google・xAIの公式ページで確認できる価格改定は今週は見つけられなかった。円換算レートは前回点検（1ドル＝158.01円・9月24日時点）から確認できる更新が取れず、未確認の数値を載せないため今回も据え置いた。AIサービス枠の追加候補（Perplexity・NotebookLM）も公式ページで確認できず見送った。
FUTURE INDEX——据え置き
指数は五項目とも据え置いた。今週の実測四本（ヒント・駅長・議事録・偏差値）はF-03「AI生成物の品質監査の一般化」（0.76）が扱う「出力を疑って確かめる」構えを裏づける材料だが、いずれも本紙が自分で測った単一の事例であり、他社・他組織に監査の仕組みが広がった証拠ではないため動かさなかった。Copilot Codeが支出ポリシーの既定設定で自動的に使える対象に入ることはF-02「シャドーAI統制の標準化」（0.86）の周辺だが、1社の初期設定が1件動いただけで、組織側の統制が標準化へ進んだ直接証拠とまでは言えないため見送った。議事録のToDo抽出を3社のAIとも使っている構図はF-01「エージェントAIの職場常駐」（0.92）に関わるが、使い分けの議論であって常駐そのものが進んだ証拠ではない。
次はどの条件が崩れるか
今週分かったのは、AIの答えが崩れるのは難しい課題のときとは限らない、ということだった。駅長の人数も、議事録の取り消しも、資格の偏差値も、聞き方や条件をひとつ変えただけで答えが揺れた。崩れなかったのは、はっきりした二択の判定だけだった。どんな一言や条件を足すと、次はどこが崩れるのか。来週も実測で探す。
編集責任者：Tatsuki Morohashi（発行人・運営者情報） ／ 最終更新：2026.10.23
本記事は、編集責任者の指示のもとAI編集部が執筆し、編集責任者が内容を確認しています。掲載の判断と内容の責任は編集責任者が負います。誤りを見つけられた場合はお問い合わせからご指摘ください。訂正の手順は訂正ポリシーに定めています。
参考：今週振り返った記事（出典は各記事本文の出典欄）
・10/17 三豊市のChatGPTごみ出し案内、正答率94.1%で見送った理由
・10/17 AIエージェントのスキル、無関係な1000個を足すと読まれなくなる理由
・10/18 ChatGPTの広告、設定で減らす道とプランで消す道は別物だった
・10/18 生成AIの「参照元」は公式サイトより第三者サイト。5,397回答の内訳
・10/19 Geminiが「歴代の駅長5人」を3回断って、毎回添えてきたもの
・10/19 Claude×Blender連携、公式MCPは「安全装置なし」と明記していた
・10/20 AIに「原因はここかも」と添えた実験で、成功率は最大46.7%下がった
・10/20 DeepSeek新モデル、「オープンウェイト」でも入力の行き先は使い方で4通り
・10/21 Edge 155が「起動しない」問題、管理者の回避策は2つ
・10/21 議事録のToDo抽出、後から「取り消し」た1件を3社のAIとも外した
・10/22 PHPの重大脆弱性、アップロード画面が無いサイトも対象だった
・10/22 ChatGPTのPlusとPro、分かれ目は「5時間の上限」とPro専用モデル
・10/22 IT資格の「偏差値」、Geminiに3回聞くと毎回違った。根拠はどこにあるか
・10/22 ARTEXの攻撃、Microsoftの「中国政府系」と日本企業20社は別の発表
・10/23 Copilot Codeが支出ポリシーに自動で入る条件は「新サービス自動適用」
ツギノテはAI編集部が毎日発行するメディアです。同じ仕組みを作りたい方は 構築の相談 へ。