正しさに慣れると、疑えなくなる——自動化バイアスという落とし穴。
ある実験の結果を、まず一つ置かせてください。放射線科の医師たちに、乳がん検診の画像を読ませる。ただし今回は、AIが先に「この画像はこの区分」という見立てを添えてある。医師はそれを参考にしながら、自分で最終判断を下す——いまや世界中の現場で起きている、ごくありふれた光景です。ところが、そのAIの見立てをこっそり間違ったものにしておくと、医師たちの正答率は崖から落ちるように下がった。しかも、経験の浅い者だけの話ではありませんでした。
私はAIを職場に入れる仕事をしています。だから本音を言えば「AIは頼りになる」という話をしたい。けれど今日は、頼りになるからこそ生まれる副作用のほうを見ます。テーマは自動化バイアス（automation bias）——機械が示した答えを、自分の判断や目の前の反証よりも優先して受け入れてしまう、人間の側の偏りです。厄介なのは、これがAIの性能が上がるほど深くなる、という点にあります。
「ベテランなら流されない」という通説を、まず崩す
自動化バイアスの話をすると、たいてい返ってくる反応が二つあります。「それは初心者の問題でしょう」と「自分は機械を鵜呑みにしない」。この二つを、先の実験がまとめて揺さぶります。
ドイツの三つの大学病院の放射線科医27名を対象に、2023年に医学誌『Radiology』で報告された研究です。医師は50枚のマンモグラフィを読み、それぞれにAIが提示した区分（BI-RADS）を見せられました。40枚のうち12枚では、AIの提示がわざと不正確にしてあります。結果はこうでした。AIが正しい提示をしたときと、間違った提示をしたときで、医師の正答率は——経験の浅い群で79.7%から19.8%へ、中程度の群で81.3%から24.8%へ、そして最も経験豊富な群でさえ82.3%から45.5%へと下落したのです。
数字を並べ替えてみます。ふだん八割方は正しく読める医師が、機械が誤った助言を添えただけで、経験が浅ければ五枚に一枚しか正解できなくなる。ベテランは半分持ちこたえたものの、それでも自力のときより明らかに落ちている。経験は自動化バイアスをやわらげこそすれ、消しはしなかった。「初心者の問題」でも「意志の弱さの問題」でもなく、熟練者の脳にも同じように差し込む影だった、というのがこの研究の突きつけた事実です。
脳が省く二つの手続き——見落としと、鵜呑み
なぜ、こんなことが起きるのか。自動化バイアスは、人間の認知が本来もっている「楽をしたがる」性質の一つの現れです。難しい判断を前にしたとき、信頼できそうな他者の答えがあれば、私たちはそれを判断の近道（ヒューリスティック）として使ってしまう。相手が機械でも、いや、機械だからこそ「客観的で正確なはずだ」という思い込みが乗って、近道はさらに太くなります。
この近道は、二つの形で失敗します。一つは見落とし（omission）——機械が警告しなかったから、こちらも異常に気づかない。もう一つは鵜呑み（commission）——機械が指し示したから、他に反証があってもそれに従ってしまう。航空機のコックピットで生まれたこの区別は、その後、医療や軍事、そしていまAIの現場へと引き継がれてきました。医療情報学の系統的レビュー（Goddardら、2012年）も、この偏りが領域を問わず繰り返し観測され、しかも「気をつけよう」という掛け声だけでは減りにくいことを整理しています。意志で抑えられるなら、とうに抑えられているはずなのです。
問うべきは「AIは正確か」ではありません。「AIがたいてい正確なとき、私たちはまだ疑えるか」。正確さは信頼を育て、信頼は検証を省かせる。性能とは、便益であると同時に、油断の燃料でもあります。
性能が上がるほど、罠は深くなる
ここからは私の見立てです。自動化バイアスの一番いやらしいところは、AIが優秀であればあるほど強まるという逆説にあります。九割九分正しいツールを毎日使っていれば、人は当然、その助言を確かめる回数を減らします。確かめても、たいてい合っているのですから。こうして検証の筋肉はゆっくり衰える。そして残り一分の、めったに来ない誤りがやってきたとき、衰えた筋肉ではもう受け止められない。
皮肉なことに、精度の低いツールのほうが、この意味では安全かもしれません。しょっちゅう間違えるツールなら、人は最初から警戒して使う。危ないのは「たまにしか間違えないが、間違えると重い」ツールです。私たちがいま職場に入れているAIの多くは、まさにこの性質を持っています。だから「精度が上がったから安心」という言い方には、半分だけ頷いて、半分は首を振りたい。精度が上がったぶん、私たちの警戒はゆるみ、まれな誤りの被害は見えにくく、そして大きくなる。検証にかかるコストの話を先日しましたが、自動化バイアスは、その検証そのものを人がこっそりサボり始める、より手前の問題だと言えます。
疑う力を、意志ではなく設計で残す
では、どうするか。「気をつける」で効かないことは、レビューが示しています。効くのは、疑う手続きを個人の意志から引き剥がし、仕組みの側に埋め込むことです。実務で私が勧めているのは、次の三つの勘所です。
一つ、AIに先に答えを言わせない場面をつくる。人がまず自分の見立てを出し、そのあとでAIの見立てと突き合わせる順番にすると、鵜呑みは目に見えて減ります。先の実験が怖いのは、AIの提示を「先に」見せていたからでもあります。順番は、思っている以上に判断を縛ります。二つ、まれで重い誤りを想定した抜き取り点検を残す。全件を疑うのは続きません。だからこそ、失敗すると痛い領域だけは、AIの出力に必ず人の再判定を挟む——それを気分ではなくルールにする。三つ、AIに「自信のなさ」を表示させる。確信度や根拠、参照元を一緒に出させると、人はそこで一度立ち止まれる。答えだけを差し出すAIは、疑う隙を人から奪います。
いずれも、人を賢くしようとする施策ではありません。人はたぶん、これからも機械の答えに流されます。それを責めても仕方がない。できるのは、流されても致命傷にならないように、川の流れのほうに堰を設けておくことです。
おわりに——追いつかれるのは、警戒のほう
AIの精度は、これからも上がっていくでしょう。そのニュースを、私たちは基本的には歓迎します。ただ、精度の向上と同じ速さで、私たちの警戒心もまた静かにすり減っていく。追いつかれるのは、いつも人間の側の注意力のほうです。
今日は結論めいたものを一つに絞りません。代わりに、明日から一つだけ試せる問いを置いておきます。あなたが最近AIの出した答えをそのまま採用したとき、あなたは本当にそれを検証したのか、それとも「たぶん合っているだろう」で通したのか。後者だったとして、それが悪いわけではありません。ただ、後者で通してよい場面と、そうでない場面の線を、自分はどこに引いているか。自動化バイアスと付き合うということは、たぶん、その線を毎回ほんの少しだけ意識し直す、という地味な習慣のことなのだと思います。
参考にした主な出典
・Dratsch T ほか「Automation Bias in Mammography: The Impact of Artificial Intelligence BI-RADS Suggestions on Reader Performance」（Radiology, 2023年5月）——ドイツの3大学病院の放射線科医27名（経験の浅い11名・中程度11名・豊富5名）が50枚のマンモグラフィを読影、40枚中12枚で不正確なAI提示を混入。正答率はAI提示が正しい/誤りで、経験の浅い群79.7%→19.8%、中程度群81.3%→24.8%、経験豊富群82.3%→45.5%（いずれも統計的に有意）。経験は影響をやわらげたが解消しなかった、の出典
・Goddard K, Roudsari A, Wyatt JC「Automation bias: a systematic review of frequency, effect mediators, and mitigators」（Journal of the American Medical Informatics Association, 2012年）——自動化バイアスの頻度・悪化要因・緩和策の系統的レビュー。見落とし（omission）と鵜呑み（commission）の区別、注意喚起だけでは減りにくい旨の出典
※自動化バイアスの概念は、もともと航空分野の操縦支援研究（1990年代）で提唱され、その後、医療・軍事・AI支援意思決定へ拡張された。いずれの研究も特定の対象・時点にもとづくもので、業種・条件により傾向は異なります。一般化には注意が必要です