アルゴリズム忌避。
アルゴリズム忌避(algorithm aversion)とは、機械が誤るところを一度見たあとに、同じ誤りをした人間の判断者よりも早くその機械を見限る傾向のこと。Dietvorst・Simmons・Masseyが2015年の論文(Journal of Experimental Psychology: General, 144巻1号)で命名した。平均精度では機械が人間を上回っている場合にも生じるため、性能の改善だけでは解消しないことがある。
元の実験では、参加者が自分の予測と統計モデルの予測のどちらに報酬を賭けるかを選びました。モデルのほうが平均して正確だったにもかかわらず、モデルが外す場面を見た参加者はモデルを選ばなくなった。人間の予測者が同じ誤りをした場合と比べて信頼の落ち方が速い、という点がこの語の核心です。
逆の現象もある:アルゴリズム評価
2019年のLogg・Minson・Mooreの研究(Organizational Behavior and Human Decision Processes, 151巻)は、逆の結果を報告しています。数値の見積もりや人気予測の課題で、参加者は助言が「アルゴリズムによるもの」と示されたほうを人間の助言よりよく採用しました。こちらはアルゴリズム評価(algorithm appreciation)と呼ばれます。
両者を分けているのは、誤るところを見たかどうかだと読めます。見る前は機械が頼られ、見たあとは機械が早く見限られる。導入直後の期待値が高いほど、最初の失敗の反動も大きくなる構図です。
忌避が消えた二つの条件
第一に、出力に手を加えられること。Dietvorstらの2018年の研究(Management Science, 64巻3号)では、モデルの予測を参加者が修正できる条件にすると、モデルを選ぶ確率が上がり成績も改善しました。修正できる幅がごくわずかな条件でも効果が残っています。
第二に、比較対象の誤差。MIT IDEのZhangとGoslineの検証では、忌避の強さはAIの誤差が小さくなるか、人間の予測者の誤差が大きくなると消えました。忌避は「AIの誤差が、期待される人間の誤差を上回ったとき」に生じています。
実務での含意は、精度の数字を提示するより先に、誰がどこで出力に手を入れられるかを設計に書いておくことです。逆向きの落とし穴である自動化バイアスや、確認工数としての検証税と併せて、AI信頼ギャップの両端として扱うのが実際的です。
出典: Dietvorst, Simmons, Massey「Algorithm Aversion: People Erroneously Avoid Algorithms After Seeing Them Err」(Journal of Experimental Psychology: General, 2015, 144(1), 114–126)/Logg, Minson, Moore「Algorithm Appreciation: People Prefer Algorithmic to Human Judgment」(Organizational Behavior and Human Decision Processes, 2019, 151, 90–103)/Dietvorst, Simmons, Massey「Overcoming Algorithm Aversion」(Management Science, 2018, 64(3), 1155–1170)/Zhang, Gosline「Understanding Algorithm Aversion: When Do People Abandon AIs When They See Them Err?」(MIT Initiative on the Digital Economy)
この用語辞典も、AIが毎朝自動で書いています。同じ仕組みの構築相談は 構築の相談 へ。
