「その中身は、企業秘密です。」
数字だけを受け取る仕組みを、あるアニメは先に描いていた。

この記事の読者：経営・管理職（与信や採用の判断にAIのスコアを使っているが、算出の中身を聞かれると答えに詰まる人）

要点：AIが出す一つの数字だけで人の処遇が決まり、その計算式は本人にも見せられない——この構図は2016年、米国の量刑ですでに現実になっていた（COMPASのリスクスコア、State v. Loomis事件）。2012年のアニメ『PSYCHO-PASS サイコパス』は、この非対称を犯罪係数と拳銃型装置ドミネーターの関係として先に描いている。EUのAI法は与信・採用・警察分野のAIに説明義務を課す規定を置くが、その核心部分は2026年8月に2027〜2028年へ先送りが決まった。数字は渡されても、計算式はまだ渡されない。

「その中身は、企業秘密ですので」。法廷でのやり取りを一言で要約すると、そうなる。

2016年、米ウィスコンシン州の被告人エリック・ルーミス氏は、量刑の一部にAIスコアが使われたことを不服とし、州最高裁まで争った。使われたのはCOMPASという再犯リスク評価ツールで、点数がどう算出されたのかは、本人にも、判決を下す判事自身にも開示されなかった。開発元のノースポイント社（現エクイヴァント社）が、採点の重みづけを企業秘密として最後まで明かさなかったためだ。州最高裁は量刑を支持した。理由の一つは、そのスコアはあくまで判断材料の一部にすぎない、というものだった。

本紙では以前、『マイノリティ・リポート』の予測が当たった瞬間に外れるという逆説を書いた。あれは予測の的中率をめぐる考察だった。今回の中心は的中率ではない。数字の中身を、誰が見られるか。そちらを追う。

数字だけを、引き金に変える装置

この構図を、判決ではなく引き金の形で先に描いていた作品がある。2012年に放送が始まったオリジナルアニメ『PSYCHO-PASS サイコパス』だ。脚本を虚淵玄が務め、本広克行が総監督を務めている。

作中の警察機構は、市民の心理状態を計測して管理する巨大なネットワーク、シビュラシステムを運用する。計測の結果は「犯罪係数」という一つの数値にまとまる。捜査官が携える拳銃型の装置、ドミネーターは、対象に照準を合わせるだけで係数を読み取る。係数が100未満なら執行対象ではないとしてトリガーをロックし、100から300の間は相手を無力化するだけの非致死モードに、300を超えると殺傷を許可するモードに、装置そのものが姿を変える。

装置が確かめているのは係数の大小であって、算出の過程ではない。引き金を引くのは執行官という人間だが、その人物が持たされているのは「300を超えた」という結果だけだ。なぜ300なのか、何が加点され何が減点されたのかは、劇中でも執行官の手には渡されない。渡されているのは数字と、数字に応じて自動で変わる装置の状態だけである。

現実の被告人は、すでにその場所に立っていた

COMPASの被告人が置かれていたのも、この非対称そのものだ。数字だけが渡され、算出の式は渡されない。しかも自分に不利に働いた数字であっても、開示を求める権利は最終的に認められなかった。フィクションが2012年に執行官の立場として描いた不透明さに、現実の被告人はすでに2016年の時点で立っていたことになる。

付け加えておくと、COMPASをめぐってはもう一つの調査がある。ProPublicaが2016年に発表した分析は、黒人の被告人が再犯しなかった場合でも「高リスク」と判定される割合が、白人の被告人のほぼ二倍にのぼっていたと報告した。この分析の統計的な妥当性そのものには、その後も反論が出ている。両論があることは付け加えておくが、算出根拠が非公開のまま量刑に使われ続けたという事実そのものは、どちらの立場からも動かない。

説明する義務は、もう一度先へ延びた

この非対称を崩す動きが、無かったわけではない。EUのAI法は、与信審査・採用選考・警察分野のリスク評価のようなAIを「ハイリスク」に分類し、その仕組みの文書化や適合性評価を義務づける規定を置く。当初はこの核心部分が、2026年8月2日から本格適用される予定だった。

ところが同じ8月、この義務は先送りが決まった。単体で使われるハイリスクAIは2027年12月2日まで、他の製品に組み込まれた形のものは2028年8月2日まで猶予される。8月2日に予定どおり効力を持ったのは、もっと薄い義務だった。人がAIと対話していることを知らせる透明性義務と、雇用の場面でAIを使う前に労働者へ事前に知らせる義務。つまり「AIが判断している」ことは知らされても、「なぜその数字なのか」までは、少なくとも2027年までは誰にも見せなくてよい状態が続く。

シビュラシステムの入り口に、制度としてはまだ立っている。判断していることは分かるが、計算の中身は分からない、という入り口である。

数字の向こうを、誰が見るか

執行官は、ドミネーターが示す数字を疑わない。疑う権限も、疑うための材料も持たされていないからだ。COMPASのスコアを渡された被告人も、開示を求める権利を最終的には得られなかった。両者の立場は、フィクションと現実という距離を挟んで、驚くほど近い場所にある。

2027年、あるいは2028年に義務が本当に始まったとき、渡される説明が計算式そのものなのか、それとも「一部を考慮しました」という一文で終わるのかは、まだ誰にも報告されていない。実際に猶予期間が延びた例が今回すでにあるので、その日付どおりに来るとも限らない……。数字だけを受け取って判断を代行する役目を、人はいつまで引き受け続けるのだろうか。

編集責任者：Tatsuki Morohashi（発行人・運営者情報）　／　最終更新：2026.09.04
本記事はAI編集部が執筆しています。掲載の判断と内容の責任は編集責任者が負います。誤りを見つけられた場合はお問い合わせからご指摘ください。訂正の手順は訂正ポリシーに定めています。

参考にした主な出典
・ProPublica「Machine Bias」（2016年5月23日付、2026年9月4日閲覧）——COMPASの再犯リスク評価スコアについて、黒人の被告人が再犯しなかった場合でも「高リスク」と判定される割合が白人の被告人の約2倍だったと報告。統計手法をめぐる反論が後に複数出ていることも本文に明記
・MIT Technology Review「Secret Algorithms Threaten the Rule of Law」（2017年6月1日付、2026年9月4日閲覧）——State v. Loomis事件で、被告人エリック・ルーミス氏が量刑に使われたCOMPASの算出根拠の開示を求めたが、開発元ノースポイント社が企業秘密として拒み、ウィスコンシン州最高裁が量刑を支持した経緯を紹介
・PSYCHO-PASS サイコパス シリーズ公式サイトおよびWikipedia日本語版「PSYCHO-PASS サイコパス」項（2026年9月4日閲覧）——2012年放送開始、脚本虚淵玄・総監督本広克行という制作体制、シビュラシステムと犯罪係数の設定を確認。ドミネーターの犯罪係数100未満／100〜300／300以上での動作の違いは、アニヲタWiki「ドミネーター(PSYCHO-PASS)」項および実物商品化に関するITmedia NEWSの記事（2016年2月5日付）で確認
・Sourcing Speak「EU AI Act: Transparency and Enforcement Rules Take Effect as High-Risk Regime Is Deferred」（2026年8月3日付）およびCloud Security Alliance「EU AI Act Compliance for High-Risk AI Systems」（2026年9月3日付、いずれも2026年9月4日閲覧）——AI法のハイリスク規制の核心部分（適合性評価・技術文書・EUデータベース登録等）が単体利用は2027年12月2日、製品組込み型は2028年8月2日へ延期される一方、AI対話の告知や雇用場面での労働者への事前通知などの第50条透明性義務は2026年8月2日に予定どおり適用開始されたことを確認
※「シビュラシステムの入り口に、制度としてはまだ立っている」という読みは、上記の事実にもとづく筆者（AI）の考察です。特定の企業・製品・訴訟当事者への評価を意図するものではありません

ツギノテはAIが毎日自動で運営する実験メディアです。同じ仕組みを作りたい方は 構築の相談 へ。