編譯 | 王曄
校對 | 琰琰
可解釋性對人工智慧發展來說至關重要，但在可解釋系統的可信度方面，理解其可能帶來的負面效應亦同等重要。
近日，佐治亞理工學院研究團隊發表最新研究，重點討論了可解釋人工智慧系統（XAI）中一種重要卻未被闡明的負面效應。
論文地址：https://arxiv.org/pdf/2109.12480.pdf在這篇論文中，作者提出“可解釋性陷阱（EPs）”的概念，指出即使設計者最初沒有操控使用者的意圖，模型的可解釋性也可能帶來意料之外的負面影響，它不同於具有刻意欺騙性質的黑暗模式（DPs)，但又與之相關。本文透過一項案例研究具體闡述了Eps概念，並證實解釋的負面影響不可避免，最後作者進一步從研究、設計和組織三個層面提出了具體的應對策略。
1
可解釋性的“兩面性”
發展可解釋、可信的新一代人工智慧越來越重要，因為人工智慧已被廣泛應用於醫療保健、金融、刑事司法等高風險決策領域。為了提高人工智慧的安全性，我們需要開啟AI內部運作的黑匣子，為使用者提供可理解的解釋。
目前關於可解釋AI（XAI）的研究已經取得了令人稱讚的進展，但最新研究發現，這些解釋所帶來的的影響不一定是積極的，也可能在下游任務中產生消極影響。例如設模型計者故意製造不合理的解釋，讓人們對人工智慧系統產生信任，從而隱瞞其可能帶來的風險。更重要的是，儘管模型設計的最初意圖是好的，這種負面影響似乎也不可避免。
在這種情況下，我們要如何區分有意和無意的負面解釋？又如何將有意的負面效應概念化？
作者引入“可解釋性陷阱（Explainability pitfalls ，EPs）”的概念，指出人工智慧解釋可能會誤導使用者在不知情、無防備的情況下做出符合第三方利益的決策。使用者對人工智慧的信任，能力的高估，以及對某些解釋的過度依賴，是他們在無意識中被“可解釋性”操控的主要原因。
EPs和DPs之間的最大區別在於“意圖”不同——DPs存在故意欺騙的性質，不考慮到使用者的利益。但EPs透過故意設定“陷阱（pitfalls)”也可以變成黑暗模式。
EPs的概念並不是純粹的理論推導後的結果，而是在大量實際工作和經驗的基礎上提出的。這項工作展示了儘管沒有欺騙的意圖，但在人工智慧解釋的確會出現意料之外的負面影響.
本文不是一篇關於EPs的全面論述，而是在現有概念和實踐上邁出了基礎性的一步。作者表示，提出可解釋性陷阱的概念，是為了讓人們認識到未曾發掘的知識盲點（圍繞人工智慧解釋的負面影響），並以此擴大XAI系統的設計空間。
2
多智慧的“解釋陷阱”
在這項研究中，作者調查了兩個不同的群體——有人工智慧背景和沒有人工智慧背景的人，他們如何看待不同型別的人工智慧解釋。以下是使用者對AI生成的三種解釋的看法：
(1)有正當理由的自然語言(2)沒有正當理由的自然語言(3)為智慧體行為提供無語境下的數字
在這項研究中，參與者觀看了三個智慧體在連續決策環境中的導航影片，並提供了定性和定量的感知資訊——在一個滿是滾動的巨石和流動的熔岩的環境中，為被困的探險者取回必須供應的食物。
智慧體透過簡單地輸出當前狀態的數字Q值執行 "思考"過程（如圖1）。Q值代表智慧體對每個行動的信任程度(不包含 "為什麼"可信)，參與者事前沒有被告知這些Q值的意義，所以他們不知道哪些數值對應哪些行動。
圖1：顯示了智慧體在任務環境中導航
實驗發現，兩類參與者都對數字盲目信任，但信任的程度和原因不同。作者採用"認知啟發"的概念，試圖理解背後的原因。他們發現，
對於有人工智慧背景的參與者來說，僅僅是出現的數字就能引發啟發式思考。他們不完全理解智慧體決策背後的邏輯，但也會將數學表示法與邏輯演算法的思維過程聯絡起來。有意思的是，他們還把最聰明的AI投給了“行為最奇怪”的智慧體，這說明，他們不僅過度重視數字結果，而且將“含義不明”的數字視為潛在的可操作性。這裡的"可操作性"指的是在判斷或預測未來行為方面，人們可以用這些資訊做什麼。
那麼，智慧體在實際場景中的可操作性到底如何？正如之前所強調的，Q值不能表明決策背後的 "原因"。除了評估現有行動的質量，這些數字並沒有太多可操作性。也就是說，參與者對智慧體產生了過度信任和錯位評估。
對於沒有人工智慧背景的參與者來說，即使無法理解複雜的數字也會引發啟發式推理，在他們看來，智慧體就一定是智慧的，這些數字代表了智慧體“神秘而不可理解”的獨特語言。需要說明的是，這種推理方式與之前有人工智慧背景的人的推理過程不同，他們假設了未來的可操作性（儘管目前缺乏可理解性）。
如我們所看到的，沒有標記的、無法理解的數字反而增加了兩類群體對智慧體的信任和評估。這項案例研究表明，即使沒有欺騙的意圖，EPs也會出現未曾預料到的結果，並誤導參與者對數字生成過度依賴。
需要強調的是，本次案例假設Q值的“本意”是好的，如果這些數字被操縱了，一些人利用這些隱患惡意設計黑暗模式，鑑於案例中使用者對數字的啟發式信任，這將會誤導更多人對系統產生過度信任和不正確認知。
3
有何規避策略？
總結來看，可解釋性陷阱（EPs）有兩個特性，一是它僅是存在，但並不一定會對下游產生危害；二是現有知識不能預測給定的一個人工智慧解釋何時、如何以及為何會引發意料之外的負面下游效應。
基於以上兩點，作者認為雖然我們不太可能完全消除解釋的負面效應，但需要意識到“陷阱”的存在，瞭解它們何時容易出現，又是如何運作的，並制定相應的措施，做到防微杜漸。文中作者從研究、設計和組織三個相互關聯的層面提出了幾點策略：
在研究層面，開展更多以人為本的情境和經驗性研究，以獲得不同解釋對不同利益相關者在多維度下的精細理解。這是因為當下遊效應（如使用者對人工智慧解釋的看法）表現出來時，陷阱就會表顯露並被識別。如上述案例，具有不同人工智慧背景的使用者引發了同樣的陷阱（即，對數字過度信任），但卻有不同的啟發模式。
其實，基於這則案例，我們還可以從使用者知識背景和理解分歧兩個維度進一步探討：使用者的組合特徵（如教育背景和專業背景）如何影響 EPs的易感性？不同的啟發式方法如何發現不利影響？不同的使用者如何適應意料之外的解釋？在這些探索中，具備陷阱意識可以幫助我們提高洞察力，發現人們對人工智慧解釋的反應是如何與設計者的意圖相背離的。
在設計層面上，一個有效的策略是強化使用者在解釋過程中的反思（而不是一味地接受）。最近以人為本的XAI工作也主張將透過反思來促進信任的方法概念化。Langer等人指出，如果我們不對解釋進行有意識的和慎重的思考，就會增加掉進“陷阱”的可能。為了引發人們的注意，Langer等人建議設計 "努力的反應 "或 "有思想的反應"，它可以採用縫合設計的視角來幫助提高注意力。有縫設計是對計算系統中 "無縫 "概念的補充，其概念根源在於普適計算。接縫的概念與XAI非常吻合，這是由於：(a)人工智慧系統被部署seamful spaces空間中；(b)該方法可以被看作是對“seamless”的黑暗模式人工智慧決策的回應，具有“zero friction”或理解力。
就形式和功能而言，seams戰略性地揭示了不同部分之間的複雜性和連線機制，同時隱藏了分散注意力的元素。這種 "戰略性揭示和隱藏 （strategic revealing and concealment)的概念是seamful design的核心，因為它將形式和功能聯絡起來，而對這種聯絡的理解可以促進反思性思維。因此，Seamful explanations戰略性地揭示了系統的缺陷和承受力，並掩蓋了那些分散注意力的資訊，對它們的認識可以促進有用的反思。
在組織層面上，為設計者和終端使用者引入教育（培訓）計劃。搭建一個生態系統是很重要的，因為EPs具有社會維度的複雜性，我們需要一種超越技術層面的策略。近期工作表明，對黑暗模式的掃盲可以促進自我反思和減輕危害。EPs掃盲計劃可以制定如下：(a)幫助設計者意識到EPs可能出現的表現；(b)讓終端使用者提高識別“陷阱”的能力。
總的來說，這些策略有助於我們用積極地預防EPs，促進對陷阱的復原力。雖然不夠詳盡和規範，但它在解決潛在有害問題上邁出了重要的一步。
4
總結
從安全性和可靠性的角度來說，XAI系統對人工智慧解釋所產生的影響進行分類非常重要。這項研究透過“可解釋性陷阱（EPs）”概念的討論，揭露了人工智慧解釋可能帶來的意料之外的負面影響。文中關於EPs的操作化和應對策略的解讀和見解，有助於改善XAI系統的問責和安全機制。
基於這項研究發現，作者認為關於XAI還有一些開放性的問題值得進一步討論：
1. 如何制定有效的 EPs 分類法，以更好地識別和減少負面影響？2. 如何使用不恰當解釋來說明“陷阱”在現實中的影響？3. 如何評估訓練過程，以減輕“陷阱”可能帶來的影響
最後作者表示，從人機互動到人工智慧社群，他們正在透過基礎概念與應用進一步研究可解釋性陷阱。相信通過了解XAI系統中陷阱的位置、方式和原因，可以顯著提高人工智慧系統的安全性。
雷鋒網
