挑戰(zhàn)在于人們是否可以信任這些決定。復(fù)雜的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)做出的決策通常無需解釋。由于這些系統(tǒng)基本上是自己編程的，因此它們的決策缺乏可解釋性。這被稱為"黑匣子AI"。正在進(jìn)行的研究旨在提高AI決策的透明度。
對于那些現(xiàn)在部署AI的人來說，我們怎么知道我們是否可以相信AI所說的話？處理不良購買建議或錯誤拒絕信用購買的影響只是一些小事，當(dāng)關(guān)鍵操作(尤其是我們的安全)依賴于AI時會發(fā)生什么？
信任是對某人或某事的可靠性、真理、能力和/或力量的堅(jiān)定信念。要讓人們相信AI，他們需要的不僅僅是一個黑匣子解釋"AI就是工作"。它需要超越這一點(diǎn)，用戶需要通過以下方式信任AI：
◆可解釋性: 用戶需要知道為什么AI系統(tǒng)會做出他們所做的決定。
◆局限性：用戶必須了解AI的局限性。此外，AI系統(tǒng)還需要意識到并適應(yīng)自己的局限性。
◆運(yùn)營透明度：用戶必須實(shí)時查看AI系統(tǒng)的運(yùn)行方式，并知道它們?yōu)槭裁磿@樣做。
◆可預(yù)測性：用戶必須能夠預(yù)測AI系統(tǒng)在特定情況下的反應(yīng)。
◆道德：AI系統(tǒng)必須避免道德問題，如果不小心解決，這些問題可能會破壞信任。
信任的重要性
英特爾前工業(yè)創(chuàng)新高級總監(jiān)Irene Petrick在談到信任時表示，"我們詢問科技公司什么對他們最重要。大約三分之一的評論圍繞著信任(圖1)，比如AI是否以正確的方式使用正確的數(shù)據(jù)。AI應(yīng)該以預(yù)測其他問題的方式，迅速推動更多更好的行動。如果用戶不信任人工智能，這就無法推動行動。"
Neurala首席技術(shù)官Anatoli Gorchet在2022年AI和智能自動化會議上的演講中描述了歸納局限性可能引起的信任問題。例如，常見的AI盲點(diǎn)是環(huán)境差異。如果只在早上捕獲訓(xùn)練模型數(shù)據(jù)，則由于太陽的角度發(fā)生了變化，模型精度將在下午或晚上直線下降。這給用戶帶來了信任問題，因?yàn)橥ǔＨ祟惒粫高@樣的錯誤。
請注意，環(huán)境差異可能非常微妙。考慮將成功的AI部署到準(zhǔn)確性嚴(yán)重下降的新生產(chǎn)線上。盡管工程師認(rèn)為這條線與原始生產(chǎn)線相同，但事實(shí)并非如此：新操作員比原始操作員高六英寸，并阻擋了更多的背景光，改變了環(huán)境條件，而這些可能足以使神經(jīng)網(wǎng)絡(luò)癱瘓。
Gorchet指出，信任需要很多時間來發(fā)展，但只需要一個事件就可以打破。挑戰(zhàn)在于，我們?nèi)绾谓倘藗冃湃慰赡芟襁@樣失敗的系統(tǒng)？
圖1 雖然AI應(yīng)該以預(yù)測其他問題的方式驅(qū)動，但如果用戶不信任 AI，這是沒有意義的
生成可信賴的數(shù)據(jù)
AI模型建立在數(shù)據(jù)之上。因此，如果用戶要信任AI，他們必須能夠信任用于構(gòu)建它的數(shù)據(jù)，這是有道理的。Micropsi Industries首席技術(shù)官Dominik Boesl分享了數(shù)據(jù)影響信任的多種不同方式。
對數(shù)據(jù)的信任始于仔細(xì)捕獲數(shù)據(jù)。"在一個案例中，訓(xùn)練期間桌子上有一支筆。AI認(rèn)為筆是一個參考點(diǎn)，"Boesl說，只需要一張沒有筆的圖像就可以表明它不是必需的。
開發(fā)人員還需要考慮采樣偏差，因?yàn)樗鼤绊懴到y(tǒng)的準(zhǔn)確性。采樣偏差的一個常見示例是照明等環(huán)境條件。AI并不總是相同的。有不同的類型和技術(shù)。一個人尋找的東西并不一定與AI正在尋找的東西相匹配。早在1995年，北約就使用識別軟件來區(qū)分友方坦克和敵方坦克。它表現(xiàn)不佳。經(jīng)過幾個月的故障排除，他們發(fā)現(xiàn)訓(xùn)練數(shù)據(jù)是從明亮的光線下干凈的小冊子圖片中獲取的，而不是被泥土覆蓋或光線不足的坦克。AI的專注點(diǎn)在于清晰與骯臟。"
"方差在數(shù)據(jù)中至關(guān)重要，"Boesl說，"考慮一下特斯拉演示車手必須擁有95%的駕駛記錄。這輛車正在接受訓(xùn)練，以期待一個可預(yù)測的司機(jī)。但并不是每個司機(jī)都是可以預(yù)測的。添加方差通過顯示可接受的更大樣本來消除盲點(diǎn)。"
他說，"有了足夠的方差，就沒有必要表現(xiàn)出不想要的狀態(tài)，不需要說好或壞。我們確保使用各種白色和彩色背景來教AI不要專注于背景特征。為了獲得燈光獨(dú)立性，我們在訓(xùn)練時使用視頻投影儀照亮系統(tǒng)。由于光線在不斷變化，這告訴AI光不是一個相關(guān)的特征。并讓訓(xùn)練有素的操作員教AI而不是工程師。操作員是專家，也是最終與AI合作的人。"
GE研究院機(jī)器學(xué)習(xí)高級科學(xué)家兼"謙遜人工智能計(jì)劃"負(fù)責(zé)人Nurali Virani博士說："從根本上說，如果模型在訓(xùn)練數(shù)據(jù)有限，或沒有訓(xùn)練數(shù)據(jù)的罕見和具有挑戰(zhàn)性的情況下，對其預(yù)測過于自信，那么它可能會產(chǎn)生推斷錯誤。這有助于理解用戶的觀點(diǎn)。許多技術(shù)人員和最終用戶擁有數(shù)年甚至數(shù)十年的經(jīng)驗(yàn)。理所當(dāng)然，他們可以質(zhì)疑，'在如此具有挑戰(zhàn)性的情況下，AI怎么能比我更清楚？'"
還有人為錯誤的問題。如果某些數(shù)據(jù)標(biāo)記不正確，則AI對于類似實(shí)例將不可靠。如果AI依靠這些數(shù)據(jù)進(jìn)行自信的預(yù)測，那么它可能會導(dǎo)致違反信任。但是，如果AI能夠知道哪些標(biāo)簽可能是錯誤的，并且對某些標(biāo)簽錯誤具有魯棒性，那么它就可以要求反饋以保持信任。
Gorchet認(rèn)為，AI系統(tǒng)的開發(fā)方式會影響信任。考慮到當(dāng)開發(fā)人員更改硬件時，他們可能還必須更改Cuda版本。某些用戶的模型可能不受支持，因?yàn)樾掳姹静恢С諸ensorflow。這可能會導(dǎo)致用戶質(zhì)疑其他可能不起作用的內(nèi)容。從用戶中抽象出此類開發(fā)問題至關(guān)重要。
AI與局限性
信任AI的另一個基礎(chǔ)是意識到它的局限性。Virani說："我們創(chuàng)造了'謙卑的AI'一詞，指的是一種意識到自己能力、可以尋求幫助并隨著時間的推移而提高能力的AI。當(dāng)它發(fā)現(xiàn)超出其權(quán)限范圍時，它會將決定權(quán)傳遞給操作員或回退到其他安全操作模式。最終，這些新數(shù)據(jù)可以進(jìn)入模型，以提高AI的能力水平。"
這是一個重要的想法。AI不需要在一開始就到處工作。它可以在具有足夠數(shù)據(jù)以提供幫助和信任的地方使用。例如，AI可能不知道如何診斷工業(yè)系統(tǒng)中的新故障。它可以說，"我不知道，你是專家，請幫助我。"然而，AI可能知道足夠的信息來說明情況不是什么。"這不是故障A，但可能是故障B或故障C。"
當(dāng)開發(fā)人員接受局限性是一個因素時，這也有助于建立信任。Virani說："沒有對局限性的認(rèn)識，AI即使不知道答案也會做出決定。"與其冒著給出錯誤建議和破壞用戶信任的風(fēng)險，AI可以縮小選擇范圍。它仍然有幫助。它仍然可以是正確的。因此，它繼續(xù)在其有能力的領(lǐng)域建立信任并減少工作量。
"廣義AI面臨著在所有條件下工作的挑戰(zhàn)。" Virani說，但是，如果AI的所有數(shù)據(jù)都來自白天，那么它可能會在晚上遇到麻煩。你不可能在一開始就涵蓋所有的可能性。因此，對于模特來說，能夠說"我在這里不能被信任"是很重要的。它需要對自己的局限性有自我意識。從相關(guān)地區(qū)的支持開始，而不是完全自治。分階段地建立信任。
這提出了一種通過將復(fù)雜問題分解為更小的部分來部署AI的方法。起初，整體精度可能較低。例如，Virani與GE機(jī)器學(xué)習(xí)團(tuán)隊(duì)的一項(xiàng)合作表明，用于維護(hù)記錄標(biāo)記的AI模型可能總體性能較差(80%)，但在該模型認(rèn)為可以信任的能力范圍內(nèi)，它可以提供97%的準(zhǔn)確率。
因此，超過50%的文檔標(biāo)記案例可以自動化，而其他案例需要一些人工幫助來標(biāo)記不明確或異常的實(shí)例。這些來自人類的新標(biāo)簽可用于更新模型。參與一個值得信賴的AI的訓(xùn)練，看到它的發(fā)展，可以成為它成為可信AI的堅(jiān)實(shí)基礎(chǔ)。
Boesl 說："我們?yōu)槊總€客戶區(qū)分任務(wù)。解決專用問題比解決一般問題更容易、更快捷。例如，我們教機(jī)器人如何插入特定的電纜，而不是一般的電纜。我們還對某個設(shè)施進(jìn)行培訓(xùn)，以捕捉其環(huán)境條件。AI可以通過重新校準(zhǔn)過程將技能轉(zhuǎn)移到第二根電纜或第二個設(shè)施，該過程捕獲場景之間的所有相關(guān)差異。重新校準(zhǔn)需要一些工作，但比從頭開始或創(chuàng)建完全通用的方法要少得多。通過這種方法，智能機(jī)器人可以在數(shù)小時或數(shù)天內(nèi)完成訓(xùn)練，而不是數(shù)周，以逐行對機(jī)器人進(jìn)行編程。此外，機(jī)器人可以再培訓(xùn)或以更少的投資改變生產(chǎn)線。"
Gorchet建議，與其針對所有可能的情況進(jìn)行訓(xùn)練，不如針對已經(jīng)發(fā)生的場景進(jìn)行訓(xùn)練。這可能比創(chuàng)建通用模型便宜，即使團(tuán)隊(duì)必須進(jìn)行多個特定的訓(xùn)練。
它有助于記住AI是一個不斷發(fā)展的領(lǐng)域。如果AI沒有提供所需的結(jié)果，那么這很可能不是AI今天能夠解決的問題。最好承認(rèn)這一點(diǎn)，而不是聲稱AI可以做它不能做的事情。因?yàn)楫?dāng)它第一次失敗時，信任就會被打破，很難重新獲得。
此外，用戶應(yīng)該能夠停止或暫停智能設(shè)備。Boesl表示，人們必須有一種感覺，即他們處于控制之中，如果出現(xiàn)問題，機(jī)器也可以關(guān)閉。人類控制機(jī)器，而不是機(jī)器控制人類。當(dāng)用戶覺得自己被控制時，可能會失去很多信任。同時，用戶需要解釋AI的局限性。例如，在工廠車間行走的人必須意識到移動機(jī)器人通行權(quán)，或者如果他們踩到地板上的黑色和黃色膠帶，他們可能會受到嚴(yán)重傷害。
通過可解釋性建立對AI的信任
可解釋性是建立AI信任的主要工具之一。簡而言之，它的想法是，如果用戶了解AI如何做出決策，他們將更愿意相信其建議。可解釋性的另一個好處是，它可以更輕松地驗(yàn)證 AI 是否按預(yù)期執(zhí)行。這可以加速工程師的開發(fā)，并與用戶建立信任。
例如，經(jīng)理可能會問："為什么這個機(jī)器人這么慢？"雖然機(jī)器人可以走得更快，但它的速度是為了保護(hù)工人。Gorchet 描述了AI的"黑匣子"問題(圖2)。試圖向用戶解釋神經(jīng)網(wǎng)絡(luò)的工作原理不是可解釋性的。
圖2 試圖向用戶解釋神經(jīng)網(wǎng)絡(luò)是如何工作的是不可解釋的，也沒有觸及人工智能為什么選擇以某種方式做某事的核心。
Petrick說："可解釋性始于，'我到底為什么要這樣做？' 如果不解釋原因，就會為不安和不信任奠定基礎(chǔ)。為了獲得員工的支持，鼓勵他們的參與，他們需要了解公司面臨的挑戰(zhàn)，AI如何提供幫助，以及他們自己在整個解決方案中的重要作用。只有這樣，你才能討論黑匣子里發(fā)生了什么。接下來，我們提倡用通俗易懂的語言解釋AI是如何工作的。接下來是 AI 如何分解任務(wù)、評估任務(wù)以及如何提出建議。正因?yàn)锳I解決方案可以100%自動化，它可以幫助分階段引入這種自動化。一旦用戶收到正確的建議，他們往往會更放心地將該決定作為合作伙伴發(fā)布給AI。"
Gorchet描述了如何使用優(yōu)質(zhì)產(chǎn)品的圖像進(jìn)行培訓(xùn)，這樣就不需要貼標(biāo)簽了。當(dāng)AI認(rèn)為它檢測到缺陷時，它會在它認(rèn)為缺陷所在的地方繪制一個分割掩碼。你可以看到系統(tǒng)為什么會做出這樣的決定。如果掩碼顯示的東西不是缺陷，則系統(tǒng)會學(xué)習(xí)錯誤并可以糾正它。
Virani將能力和可解釋性聯(lián)系在一起。特定AI在某些驗(yàn)證數(shù)據(jù)集上的整體準(zhǔn)確性并不像了解當(dāng)前建議的預(yù)期準(zhǔn)確性那么重要。還需要一定程度的可解釋性來解釋為什么AI在特定情況下有信心或不自信。例如，使用帶有標(biāo)簽的訓(xùn)練數(shù)據(jù)創(chuàng)建包裝器使 AI 能夠引用用于做出決策的相關(guān)數(shù)據(jù)。我們已經(jīng)探索了AI模型的這種基于示例的可解釋性，以便為它們在我們的項(xiàng)目中的預(yù)測提供理由。當(dāng)然，這并不總是有用的。如果決策是在圖像的像素級別做出的，那么當(dāng)AI向他們展示來自訓(xùn)練數(shù)據(jù)的像素示例時，用戶可能無法理解他們在看什么。
這是可解釋性問題的一部分。AI可能很復(fù)雜，可用的工具為開發(fā)人員抽象了這種復(fù)雜性。例如，對于無代碼生成的AI系統(tǒng)，開發(fā)人員告訴AI他們想要做什么，AI生成自己的程序。然而，這種抽象只會使黑匣子更加不透明。開發(fā)人員檢查AI所能做的就是輸入數(shù)據(jù)并驗(yàn)證結(jié)果是否正確。在某些情況下，可能幾乎沒有可解釋性。
Petrick說："如果開發(fā)人員不理解或無法解釋黑匣子的工作原理，那么用戶怎么能理解呢？如果理解和評估AI的可靠性需要太多的工作，用戶可能會認(rèn)為不使用AI更有效率。"
解決可解釋性挑戰(zhàn)的一種方法是雙向溝通。Petrick說："AI工程師正在艱難地學(xué)習(xí)，他們不了解工廠車間的細(xì)微差別。在工廠車間訓(xùn)練的AI解決方案應(yīng)該很容易轉(zhuǎn)移到另一個以相同方式布置的工廠。但事實(shí)往往并非如此。例如，照明、灰塵、噴水、相機(jī)角度等環(huán)境因素使每種情況都不同。有效的可解釋性包括一個反饋渠道，使用AI的用戶可以在其中提供有關(guān)AI如何不能滿足他們需求的見解。"
倫理在AI中的作用
信任的一部分包括感覺用戶的最大利益被牢記在心。當(dāng)用戶感到害怕或他們不是必需的時，信任就會受到侵蝕。
Petrick說："機(jī)器人解放了人們?nèi)プ鲋挥腥祟惒拍芡瓿傻娜蝿?wù)。機(jī)器人有助于最大限度地發(fā)揮一個人創(chuàng)造價值的潛力。但是，當(dāng)AI被認(rèn)為比用戶更可靠時，這可能會使用戶和AI發(fā)生沖突。用戶需要能夠說，'我做決定。AI幫助了我，做了我不想做的事情。' 目前，只有20%的受訪制造商考慮AI技術(shù)的道德規(guī)范。許多人認(rèn)為道德都是關(guān)于數(shù)據(jù)偏見的。例如，氧脈監(jiān)護(hù)儀中的AI對深色皮膚的影響可能較小，因?yàn)楣こ倘藛T沒有意識到傳感器不能很好地讀取。數(shù)據(jù)偏差的挑戰(zhàn)之一是偏差不是故意的。這通常是一個盲點(diǎn)，一種沒有人考慮過的可能性。但這并不是唯一需要考慮的道德問題。"
隱私對于信任也至關(guān)重要。操作員想知道如何使用有關(guān)它們的數(shù)據(jù)。Petrick說："我們傾向于衡量最容易衡量的東西。"
辦公室工作人員不希望通過他們點(diǎn)擊鼠標(biāo)的次數(shù)來評估他們的生產(chǎn)力，因?yàn)檫@并不能準(zhǔn)確反映他們所做的工作。操作員對可用于對他們的生產(chǎn)力的任意評估也有同樣的感覺。考慮一個用戶，由于他們的專業(yè)知識而遇到更多麻煩的情況；由于難度較高，它們產(chǎn)生的產(chǎn)量更少。系統(tǒng)需要在操作過程中了解一個人，但有些人認(rèn)為需要從數(shù)據(jù)中清除這個人。Petrick說："這個行業(yè)在隱私方面只是冰山一角。"
還有公平的因素需要考慮進(jìn)去。Virani說："考慮一個想要推薦最好的技術(shù)人員來修復(fù)某些問題的 AI。如果數(shù)據(jù)集不夠多樣化，AI會讓這個人只做他們以前做得很好的任務(wù)。這不僅會成為技術(shù)人員的負(fù)擔(dān)，而且從道德的角度來看，技術(shù)人員將沒有機(jī)會獲得新的經(jīng)驗(yàn)和在公司內(nèi)成長。因此，當(dāng)人員參與其中時，需要確保他們的需求也得到滿足。"
這種方法也可能造成單點(diǎn)故障，因?yàn)橹挥杏邢薜募夹g(shù)人員獲得處理此問題的經(jīng)驗(yàn)。你的人才庫中可能有更多的選擇，但它們從未被探索過，所以沒有其他人可以學(xué)習(xí)如何解決這個問題。
當(dāng)談到問責(zé)制時，Petrick說，"當(dāng)AI失敗時會發(fā)生什么，看起來用戶有責(zé)任？可解釋性需要擴(kuò)展，以便不僅能夠解釋將要發(fā)生的事情，而且能夠解釋實(shí)際發(fā)生的事情。如果用戶不相信他們有辦法保護(hù)自己，他們對系統(tǒng)的信任就會降低。這不是毫無根據(jù)的考慮。工程師們正在為他們從未工作過的環(huán)境創(chuàng)造AI。"
考慮數(shù)據(jù)的道德使用。Boesl說："有了像GDPR這樣的法規(guī)，關(guān)于誰擁有數(shù)據(jù)有很多爭論。還可能出現(xiàn)道德問題。例如，一家AI公司是否可以使用在客戶設(shè)施收集的數(shù)據(jù)來改善客戶競爭對手的運(yùn)營？如果不仔細(xì)解決，這樣的問題可能會破壞信任。"
道德問題只會變得更加普遍和復(fù)雜。如今，相機(jī)對準(zhǔn)生產(chǎn)線。但是，當(dāng)這些相機(jī)轉(zhuǎn)身并包括用戶時，必須考慮廣泛的道德問題，這些問題因國家而異。
正如我們所看到的，信任對于充分利用AI技術(shù)至關(guān)重要。有了可解釋性，可以更快地建立信任，并得到用戶的支持。當(dāng)?shù)赖聠栴}被認(rèn)為很重要時，這是保護(hù)信任不被破壞的最佳防御措施。
