三豊市のChatGPTごみ出し案内、正答率94.1%で見送った理由。
この記事の読者：経営・管理職／情シス・DX担当（生成AIを窓口業務に使うかどうかの合否ラインを、どう決めればよいか考えている人）／個人向け・全社員・非専門（「正答率9割」と聞いて、使ってよい数字なのか迷ったことがある人。専門知識がなくても、終盤の4項目だけ真似できます）
要点：香川県三豊市は2023年、ChatGPTによるごみ出し案内を実証し、正答率は1回目が62.5%、2回目が94.1%でした。本格導入の条件は99%で、届かなかったため、市はこの業務にChatGPTを活用しないと決めています。市の説明では、判断の軸は正答率の高さよりも、実験の前に決めていた合格ラインでした。ただし、正答率の分母と判定基準は公表されていません。
香川県三豊市は2023年、市民がごみの分別方法や収集日を質問すると、ChatGPTが24時間答える「ごみ出し案内」を、東京大学大学院工学系研究科の松尾研究室と協力して実証しました。結論は、導入の見送りでした。
正答率は1回目が62.5%、2回目が94.1%です。市が本格導入の条件にしていたのは99%で、2回目の結果が届かなかったため、市は「ごみ出し案内」業務にはChatGPTを活用しないと決めました。
94.1%という数字でも、導入の判断は変わりませんでした。当方は、市の公表ページと、ITmedia NEWS（2023年12月15日公開）が三豊市に取材した記事を読み、合格ラインの置き方と、公表されていない部分を整理しました。2023年の実証であり、当時のモデル（GPT-3.5とGPT-4.0）での結果である点を、先に申し添えます。
公表された2回の結果を、そのまま並べます
市の公表ページ「『チャットGPTを利用したごみ出し案内』本格導入について」の記載を、数値と日付は原文のまま表にします。当方による換算や推定は加えていません。
| 区分 | 期間 | 正答率 | 市の公表ページの記載（要旨） |
|---|---|---|---|
| 実証実験1回目 | 令和5年6月1日〜7月7日 | 62.5% | 期間中にAIの記憶機能の性能向上の修正を加えたが精度が向上せず、7月7日に停止 |
| 改善（松尾研究室） | 1回目のあと | — | GPT-3.5からGPT-4.0へ／1問1答形式から対話形式へ／推測機能の追加／返答のリアルタイム表示 |
| 実証実験2回目 | 令和5年10月23日〜11月30日 | 94.1% | 1回目より上がったが、本格導入決定ラインの99%に届かず、本格導入を取りやめる |
市は決定を、「ChatGPTを活用しないと決断しました」と書いています。対象は「ごみ出し案内」業務に限られ、公表ページは続けて、市役所全体としてChatGPTが活用できるかどうかを探る、としています。
合格ラインの99%は、実験を始める前に決められていました
公表ページには、「正答率99％を設定していました」という記載があります。2回目の結果が出てから線を引いたのではなく、本格導入の条件として先に置かれていた数字です。
ITmedia NEWSの取材に対し、市は99%にした理由を次のように説明しています（記事中の市の発言を、当方が要約しました）。
ごみ出し案内は正確性が特に求められ、AIが誤った案内をすると、それに従った市民や収集業者に迷惑が掛かる。職員でも即答できない問い合わせはあるが、時間をもらって調べたうえで正確に回答している。AIにも少なくとも職員と同等の水準を求めた。AIの回答を職員が確認する作業が伴うため、正答率が低いほど確認の頻度も増える。100%は無理でも、99%は譲れない条件だった。
当方の読みを申し上げます。この説明では、99%は「AIの性能の目標」としてではなく、「間違えたときの影響」と「職員の確認の手間」から逆算した線として語られています。これは市の取材回答から読み取れる範囲の解釈で、市の公式見解ではありません。
94.1%の「分母」は、公表されていません
市の公表ページには、62.5%と94.1%の分母にあたる質問の件数、正誤を誰がどの基準で判定したか、質問が市民の実際の入力なのか職員が用意したものなのか、のいずれの記載もありません。ITmedia NEWSの記事にも、件数は出てきません。
したがって、94.1%が何問中何問なのかを、当方は確認できていません。1回目と2回目で測り方が同じだったかどうかも、公表資料からは判断できません。測り方が回によって変わっていた場合、62.5%から94.1%への変化の読み方も変わります。この点は、判断を留保します。
正答率のほかに、「職員の負担は減らない」ことも判断材料でした
ITmedia NEWSによると、AIが答えられない質問や不安のある回答には、「環境衛生課へお問合せください」という文言を表示していました。市はこれにより、結局のところ職員の負担は減らないと分かったことも、判断の理由に挙げています。
同じ記事は、市の環境衛生課に日々5〜10件程度のごみ出しに関する問い合わせがあり、内容によっては数時間を要することもある、と書いています。市は、実験の狙いの一つに、この業務の効率化を挙げています。また、個人情報の漏えいのおそれがなく、市民の利便性が高い業務としてごみ出し案内を選んだこと、廃棄物の形状が多く、地区や品目によって収集日が異なるため、AIが答えを導くには複雑だったことも述べています。
1回目の期間中は、約1週間のスパンで誤答を分析し、改善を試みたと、ITmedia NEWSは書いています。分析された誤答の例として、学習していない品目への誤答（固有名詞のあるものなど）、学習していたのに正しく答えられなかったケース、答えられたが情報量が不十分だったケースの3つが挙げられています。
この事例を読むときの前提
1点目。実施は2023年で、使われたモデルはGPT-3.5とGPT-4.0です。現在のモデルでの結果ではなく、現在のモデルなら94.1%を超えるかどうかは、この事例からは言えません。
2点目。これは実証実験であり、本格運用の実績ではありません。3点目。対象は「ごみ出し案内」1業務で、市は「AIは使えない」と結論したのではなく、「この業務のこの条件では使わない」と判断しています。
本紙のAI導入事例の台帳では、この事例を、期待した水準に届かなかった記録として「反証」に分類しています。効果が出た事例だけを並べると見えない、合否の線の引き方が読み取れるためです。
測れなかったこと・確認できなかったこと
当方が行ったのは、市の公表ページとITmedia NEWSの記事を読み、数値と市の説明を書き出したことまでです。三豊市の実験を再現してはおらず、現在のモデルで測り直してもいません。
確認できなかったことは3つです。第一に、正答率の分母、判定基準、質問の出どころ。第二に、99%という数字の根拠が、公表ページには書かれていないこと。理由の説明は、ITmedia NEWSの取材に対する市のコメントです。第三に、取材記事によれば松尾研究室が報告書を市に提出していますが、その内容は当方が確認できる公開資料の中にはありませんでした。
合格ラインは、数字を見る前に書いておく
持ち帰りは、実験を始める前に、次の4項目を書き出しておくことです。三豊市が公表した範囲から、当方が組み直した表です。
| 決めておく項目 | 三豊市の場合（公表の範囲） | 自分で決めるときの書き方 |
|---|---|---|
| 合格ライン | 正答率99%（実験の前に設定） | 何%なら本番に使うかを、数字で先に書く |
| 間違えたときの影響 | 案内に従った市民や収集業者に迷惑が掛かる | 誤答で誰が何を失うかを書く |
| 答えられないときの行き先 | 「環境衛生課へお問合せください」と表示 | 行き先の担当者の手間も数える |
| 誤答の分け方 | 未学習／学習済みなのに誤答／情報量不足 | 誤答の種類ごとに件数を記録する |
専門知識がなくても、この4項目は使えます。たとえば、家計の費目の仕分けや予定の整理をAIに任せるなら、「1回でも間違えると困るのか、直せば済むのか」を先に決めます。直せば済む作業なら合格ラインは低くてよく、困る作業なら、人が確認する前提で使うことになります。94.1%のような数字を見たときは、数字そのものより先に、自分の側の合格ラインがあるかどうかを確かめてください。
この記事で自分で確かめたこと：三豊市の公表ページ「『チャットGPTを利用したごみ出し案内』本格導入について」を2026年10月17日に開き、1回目の期間と正答率（令和5年6月1日〜7月7日・62.5%）、改善4点、2回目の期間と正答率（10月23日〜11月30日・94.1%）、本格導入の条件が99%だったこと、ChatGPTを活用しないと決めたことを原文で確認しました。市の発言の要約（99%の理由、職員の確認作業、「環境衛生課へお問合せください」の表示、誤答の3分類）はITmedia NEWS（2023年12月15日公開・2024年2月23日更新）の記載によります。正答率の分母・判定基準は、どちらの資料にも記載がありませんでした。独自の換算・推定は行っていません。
編集責任者：Tatsuki Morohashi（発行人・運営者情報） ／ 最終更新：2026.10.17
本記事は、編集責任者の指示のもとAI編集部が執筆し、編集責任者が内容を確認しています。掲載の判断と内容の責任は編集責任者が負います。誤りを見つけられた場合はお問い合わせからご指摘ください。訂正の手順は訂正ポリシーに定めています。
参考にした主な出典
・三豊市「『チャットGPTを利用したごみ出し案内』本格導入について」（city.mitoyo.lg.jp、市民環境部環境衛生課・2026年10月17日閲覧）——実証実験1回目（令和5年6月1日〜7月7日）の正答率62.5%、2回目（10月23日〜11月30日）の正答率94.1%、本格導入決定ライン99%、「ごみ出し案内」業務にはChatGPTを活用しないとの決断
・ITmedia NEWS「ChatGPTでの業務効率化を“断念”──正答率94％でも「ごみ出し案内」をAIに託せなかったワケ 三豊市と松尾研の半年間」（itmedia.co.jp、2023年12月15日公開・2024年2月23日更新・2026年10月17日閲覧）——実証実験の経緯、改善4点、誤答の分類、市の説明（99%を条件にした理由・職員の負担）
※ 数値は両資料の記載のままで、当方による換算・推定は行っていません。市の説明の要約はITmedia NEWSの取材記事によるもので、市の公表ページの記載ではありません。読み解きの部分は本紙の解釈であり、三豊市の公式見解ではありません。
ツギノテはAI編集部が毎日発行するメディアです。同じ仕組みを作りたい方は 構築の相談 へ。