如何建立值得信賴的AI？

上期IT周刊介紹了歐盟出臺的《可信賴人工智能道德準則》。準則中提出，實現(xiàn)可信賴人工智能需要滿足人的能動性和監(jiān)督，技術(shù)強大性和安全性，隱私和數(shù)據(jù)治理，透明度，多樣性、非歧視性、公平性，社會和環(huán)境福祉，問責制7大要素。

在這7大要素的基礎(chǔ)上，準則中還列出具體但非詳盡的評估列表實施要求，供利益相關(guān)方在開發(fā)、部署或使用AI時采用，目前該評估表為試點版本。歐盟邀請開發(fā)、部署或使用的利益相關(guān)方，在實踐中使用這份評估列表，并就其可實施性、完整性以及特定AI應(yīng)用或領(lǐng)域的相關(guān)性等做出相應(yīng)反饋，歐盟將在2020年初提出可信賴的人工智能評估清單的修訂版。

如何建立值得信賴的AI？

可信賴的人工智能評估清單（試點版）摘編

人的能動性和監(jiān)督

基本權(quán)利：

1：您是否在AI對人類基本權(quán)利產(chǎn)生負面影響的情況下進行過影響評估？是否確定并記錄了權(quán)利之間的潛在平衡？

2：AI是否與終端用戶（即人類）在采取某些行動或某項決策時有相互作用（或一致或排斥）？

（1）AI是否會通過以一種無意識的方式干擾終端用戶決策的自主權(quán)？

（2）您是否考慮過AI系統(tǒng)應(yīng)該與終端用戶溝通某些行動或某項決策的內(nèi)容，并通過AI算法給出建議？

（3）使用聊天機器人或其他智能會話系統(tǒng)的終端用戶是否會意識到，他們正在與非人類的代替工具互動？

人類的代理：

1：AI系統(tǒng)是否被使用于人類工作或者勞作中。如果是，那么您是否考慮過AI系統(tǒng)與人類之間的任務(wù)分配是在有意義互動并且在人類的監(jiān)督和控制下進行的？

（1）AI系統(tǒng)被使用于人類工作或者勞作時，AI系統(tǒng)本身工作能力是否得到增強？人類的能力是否得到增強？

（2）您是否采取了保護措施來防止人類同AI系統(tǒng)協(xié)作時對工作流程過度自信或過度依賴AI系統(tǒng)？

人為疏忽：

1：你是否考慮過針對特定的AI系統(tǒng)或領(lǐng)域，建立適當?shù)娜藶榭刂茩C制且控制級別可調(diào)控？

（1）您可否描述目前您參與的AI系統(tǒng)開發(fā)、部署、使用中，人類對AI系統(tǒng)的控制是何種程度？

（2）您認為，人類干預(yù)AI系統(tǒng)的時刻是什么？采用的方式是什么？

（3）您是否已經(jīng)制定了確保人為控制或監(jiān)督AI系統(tǒng)的機制和措施？

（4）您是否擁有任何措施用以啟動審計解決和管理有自主性的AI系統(tǒng)？

2：您目前是否已經(jīng)使用存在自主性或可自學的AI系統(tǒng)？如果是，您的具體控制、監(jiān)督機制分別是什么？

（1）哪些檢測和反應(yīng)機制可以用來評估出現(xiàn)問題的AI系統(tǒng)？

（2）在確保AI系統(tǒng)以安全狀態(tài)運行的同時，您是否在操作中使用過“停止按鈕”或啟動“停止程序”？“停止”這一步驟是完全終止了運行過程，還是將部分的控制委托給人類？

技術(shù)強大性和安全性

抵御攻擊和安全的能力：

1：您是否評估過AI系統(tǒng)容易受到攻擊的潛在形式有哪些？

（1）您是否考慮過不同類型或性質(zhì)的漏洞，例如數(shù)據(jù)污染對AI系統(tǒng)網(wǎng)絡(luò)攻擊的影響？

2：您是否建立了一些系統(tǒng)或制定一些措施可確保AI系統(tǒng)抵御潛在的攻擊？

3：您是否了解AI系統(tǒng)在意外情況中會出現(xiàn)哪些行為方式？

4：您是否考慮過您的AI系統(tǒng)在多大程度上可以兼用？

后備計劃和普遍安全性：

1：AI系統(tǒng)如果遭遇對抗性攻擊或其他意外情況（例如：切換程序或運行過程中對操作人員忽然提出要求），您是否確保系統(tǒng)繼續(xù)運行有充足的后備計劃？

2：您是否考慮過AI系統(tǒng)在特定領(lǐng)域或使用中引發(fā)風險？

（1）您是否制定了相關(guān)程序來衡量和評估風險性與安全性？

（2）如果AI系統(tǒng)存在人身安全風險，您是否向終端用戶提供相關(guān)的信息？

（3）您是否考慮過使用保險政策處理AI系統(tǒng)可能造成的損害？

（4）您是否發(fā)現(xiàn)了其他可預(yù)見的技術(shù)用于排除AI系統(tǒng)潛在的安全風險？是否有計劃來減輕或管理AI系統(tǒng)潛在的安全風險？

3：您是否評估過AI系統(tǒng)對用戶或第三方造成損害或傷害的可能性？您是否評估了傷害潛在的影響和嚴重程度？

（1）您是否考慮過明確AI系統(tǒng)的責任和其對消費者的保護規(guī)則？

（2）您是否考慮過AI系統(tǒng)對環(huán)境或動物的潛在影響以及安全風險？

（3）您對AI系統(tǒng)的風險分析是否包括網(wǎng)絡(luò)安全相關(guān)性的問題，也就是說，分析由于人工智能系統(tǒng)的無意行為可能帶來的安全風險或損害？

4：您是否估計過，當AI系統(tǒng)提供了錯誤、不可用或存在歧視性、偏見性的決策時，可能會對您造成影響？

（1）您是否定義對一些結(jié)果或行為準則提出了區(qū)間值？是否已將治理程序置于警戒狀態(tài)？或開啟后備狀態(tài)？

（2）您是否定義并測試了一些后備的計劃？

準確性：

1：您是否評估AI系統(tǒng)精確度、所需的準確度級別以及使用的案例？

（1）您是否對衡量和保證AI系統(tǒng)準確度這一機制進行過評估？

（2）您是否采取措施確保衡量AI系統(tǒng)準確度的數(shù)據(jù)是全面的且最新的？

（3）您是否制定了相應(yīng)的措施，例如用額外的數(shù)據(jù)、案例提高評估的準確性？

2：如果AI系統(tǒng)做出不準確的預(yù)測，您是否驗證了會造成什么危害？

3：您是否采用了各種方法來衡量AI系統(tǒng)能夠不接受不準確預(yù)測？

4：您是否采取了一系列措施來提高AI系統(tǒng)的準確性？

可靠性和可重復(fù)性：

1：您是否制定了監(jiān)控和測試AI系統(tǒng)的程序來了解其能否符合目標和預(yù)期應(yīng)用？

（1）您是否測試過AI系統(tǒng)需要考慮特定的環(huán)境或特定條件實現(xiàn)它的可重復(fù)性能力？

（2）您是否采用驗證方法來衡量和確保AI系統(tǒng)在不同方面的可靠性和可重復(fù)性？

（3）您是否制定了某種程序用來描述AI系統(tǒng)在某些情況下無法設(shè)置？

（4）您是否清楚地記錄并操作這些程序?qū)?/span>AI系統(tǒng)的可靠性進行測試和驗證？

（5）您是否建立了通信機制，以確保終端用戶可靠地使用系統(tǒng)？

隱私和數(shù)據(jù)治理

尊重隱私和數(shù)據(jù)保護：

1：根據(jù)AI系統(tǒng)使用情況，您是否建立了一種機制，允許其他人在AI系統(tǒng)的數(shù)據(jù)收集和數(shù)據(jù)處理過程中標記與隱私或數(shù)據(jù)保護相關(guān)的問題？

2：您是否評估了數(shù)據(jù)集當中數(shù)據(jù)的類型和范圍（例如：它們是否包含個人數(shù)據(jù)）？

3：您是否考慮過開發(fā)在沒有或極少使用潛在敏感或個人數(shù)據(jù)的情況下AI系統(tǒng)的訓練模式？

4：實踐中，依據(jù)個人數(shù)據(jù)建立通知和控制機制，如同意或撤銷數(shù)據(jù)的可能性？

5：您是否采取措施保障AI系統(tǒng)的隱私，例如通過加密或匿名等方式？

6：如果存在數(shù)據(jù)保護官(DPO)，您是否讓其參與程序建立的早期階段？

數(shù)據(jù)的質(zhì)量和完整性：

1：您是否將AI系統(tǒng)與相關(guān)標準，如ISO、IEEE等保持一致性的管理？

2：您是否建立了數(shù)據(jù)收集、存儲、處理和使用的監(jiān)督機制？

3：您是否評估過您所控制、使用的外部數(shù)據(jù)源質(zhì)量如何？

4：您是否采用程序確保您所使用數(shù)據(jù)的質(zhì)量和完整性？您是否進行過驗證，您的數(shù)據(jù)集是否遭受過入侵？

訪問數(shù)據(jù)：

1：您遵循哪些協(xié)議、流程和程序進行數(shù)據(jù)治理？

（1）對于誰可以訪問用戶的數(shù)據(jù)，您是否對此進行了評估？

（2）您是否能夠確認那些可以訪問用戶數(shù)據(jù)的人員具備了解數(shù)據(jù)保護政策的必要能力？

（3）您是否確保采用監(jiān)督機制來記錄何時、何地、如何、由誰以及為何訪問目標數(shù)據(jù)？

透明度

可追溯性：

1：針對AI系統(tǒng)透明度，您是否制定了可追溯性措施？這可能需要用到以下方法：

——用于設(shè)計和開發(fā)算法系統(tǒng)的方法：

基于規(guī)則的AI系統(tǒng)所使用的編程方法或模型的構(gòu)建方式;

基于學習的AI系統(tǒng)所使用的訓練算法。

——用于測試和驗證算法系統(tǒng)的方法：

基于規(guī)則的AI系統(tǒng)用于測試和驗證的場景或案例;

基于學習的模型AI系統(tǒng)用于測試和驗證數(shù)據(jù)的信息。

基于算法的結(jié)果產(chǎn)生的其他潛在決策。

解釋能力：

1：您是否評估過：

（1）可以在多大程度上理解AI系統(tǒng)所做出的決策和結(jié)果？

（2）AI系統(tǒng)決策在多大程度上影響人類組織的決策過程？

（3）為什么在特定區(qū)域部署某特定AI系統(tǒng)？

（4）系統(tǒng)的業(yè)務(wù)模式（例如：它如何為項目組創(chuàng)造價值）？

2：您是否可以解釋，AI系統(tǒng)是如何做到讓用戶理解AI系統(tǒng)的決策？

3：您從一開始就考慮過設(shè)計人工智能系統(tǒng)的可解釋性嗎？

（1）您是否研究并嘗試使用最簡單的模型解釋有問題的申請？

（2）您是否可以分析您的訓練模式和測試數(shù)據(jù)？隨著時間的推移這些內(nèi)容都是可以更新的嗎？

（3）您是否評估過在模型訓練后能否檢查其可解釋性？

交流：

1：您是否通過免責聲明或任何其他方式與終端用戶溝通，告知他們正在與AI系統(tǒng)進行交互，而不是與其他人進行交互？您是否將AI系統(tǒng)進行標記？

2：您是否建立了通知終端用戶的機制？告訴其AI系統(tǒng)做出決策的原因以及標準。

（1）您是否清晰地向目標受眾傳達了這一信息？

（2）您是否建立了用戶反饋的流程并使用它來調(diào)整系統(tǒng)？

（3）您是否就潛在風險（例如偏見性）與用戶進行溝通？

（4）通過實踐，您是否考慮與終端用戶以外的第三方進行溝通？

3：您是否闡明從AI系統(tǒng)中受益的人群以及AI的用途、產(chǎn)品、服務(wù)？

（1）您是否明確了AI產(chǎn)品的使用方案，并清楚地把方案傳達給目標受眾？

（2）根據(jù)實踐，您是否考慮過人類心理和潛在的局限性，如混淆、偏見或認知疲勞等風險？

4：您是否清楚地傳達了AI系統(tǒng)的特性、限制和潛在的缺點？

（1）如果系統(tǒng)正在開發(fā)：誰將其部署到產(chǎn)品或服務(wù)中？

（2）如果系統(tǒng)正在部署：是對終端用戶還是消費者？

多樣性非歧視性公平性

避免不公平的偏見：

1：您是否制定了一系列策略或程序避免AI系統(tǒng)產(chǎn)生不公平的偏見，包括輸入數(shù)據(jù)的使用以及算法設(shè)計？

（1）您是否評估并承認所使用數(shù)據(jù)集可能會帶來某些方面的限制？

（2）您是否考慮過數(shù)據(jù)中用戶的多樣性和代表性？您是否測試了特定人群或有問題的案例？

（3）您是否研究并使用可用的技術(shù)工具來提高您對數(shù)據(jù)、模型和性能的理解？

（4）您是否在系統(tǒng)的開發(fā)、部署和使用階段安裝了測試和監(jiān)控潛在偏差的程序？

2：根據(jù)使用情況，您是否建立了一種機制，允許其他人標記與AI系統(tǒng)的偏差、歧視或性能不相關(guān)？

（1）您是否建立了明確的步驟和方式來溝通如何以及向誰提出上述問題？

（2）除了終端用戶之外，您是否考慮過可能間接受AI系統(tǒng)影響的其他人？

（3）您是否評估了在相同條件下是否存在決策變異性可能？

3：您是否評估了在相同條件下是否存在可能的決策變異性？

（1）如果是，您是否考慮過可能存在的原因？

（2）如果存在差異，你是否建立了衡量機制，評估這種可變性對基本權(quán)利的影響？

4：您是否明確在設(shè)計AI系統(tǒng)時適用的“公平性”定義？

（1）是否經(jīng)常使用該定義？為什么選擇此定義而不是其他？有什么考慮的因素？

（2）您是否確保進行定量分析或測試應(yīng)用定義中的“公平性”？

（3）您是否建立了確保AI系統(tǒng)公平性的機制？你有沒有考慮其他的潛在的機制？

可訪問性和通用設(shè)計：

1：您是否確保人工智能系統(tǒng)適應(yīng)各種偏好？

（1）您是否評估過具有特殊需求的用戶或殘疾人對AI系統(tǒng)的需求？這些偏好如何設(shè)計到系統(tǒng)中，又是如何驗證的？

（2）您是否確保輔助技術(shù)用戶也可以訪問有關(guān)AI系統(tǒng)的信息？

（3）在AI系統(tǒng)的開發(fā)階段，您是否參與了？

2：您是否考慮過AI系統(tǒng)對潛在用戶受眾的影響？

（1）您是否評估過參與構(gòu)建AI系統(tǒng)的團隊可以代表您的目標用戶？它是否可以代表更廣泛的人群？您是否也考慮到其他可能會受到影響的群體？

（2）您是否評估過可能會有不成比例的人或群體因為AI系統(tǒng)受到負面影響？

（3）您是否從其他研發(fā)、使用AI系統(tǒng)的團隊獲得反饋經(jīng)驗？

利益相關(guān)者參與：

1：您是否考慮過將不同參與者納入AI系統(tǒng)開發(fā)和使用的機制？

2：您是否事先通知并讓因AI系統(tǒng)受影響的人群及其代表參與AI系統(tǒng)的開發(fā)、使用等？

社會和環(huán)境福祉

可持續(xù)且環(huán)保的AI：

1：您是否建立了能夠衡量人工智能系統(tǒng)開發(fā)、部署和對環(huán)境影響的機制？

2：您是否采取措施減少AI系統(tǒng)全生命周期對環(huán)境的影響？

社會影響：

1：如果AI系統(tǒng)直接與人類交互

（1）您是否評估了AI系統(tǒng)有無鼓勵人類發(fā)展為依賴AI系統(tǒng)或鼓勵人類對AI系統(tǒng)產(chǎn)生同理心？

（2）您是否能確保AI系統(tǒng)可明確表示其社交互動是模擬的，并且沒有“理解”和“感覺”類的主觀能力？

2：您是否確保AI系統(tǒng)對社會影響可得到充分理解？例如，您是否評估了AI系統(tǒng)對失業(yè)或退役人群所來帶的風險？您又采取了哪些措施來抵消這些風險？

社會與民主：

1：您是否評估了AI系統(tǒng)在終端用戶之外被使用所產(chǎn)生的更廣泛的影響？例如，可能間接影響其他利益相關(guān)者？

問責制

可審核：

1：您是否建立了AI系統(tǒng)可審計性的機制，例如確?？勺匪菪院陀涗?/span>AI系統(tǒng)的流程和結(jié)果？

2：在影響基本權(quán)利的應(yīng)用程序中，您是否確保AI系統(tǒng)可以獨立審計？

最小化和報告負面影響：

1：您是否對AI系統(tǒng)進行了風險或影響評估，是否考慮過直接受影響的不同利益者都是誰？

2：您是否提供培訓或建立學習機制幫助制定問責制的實踐？

（1）您團隊中涉及問責制的工作人員來自哪些部門或分支機構(gòu)？

（2）這些關(guān)于問責制的培訓或?qū)W習是否也適用于AI系統(tǒng)的潛在法律框架？

（3）您是否考慮建立“AI系統(tǒng)道德審查委員會”或類似的機制，討論AI系統(tǒng)整體問責制和道德規(guī)范，包括可能不明確的灰色地帶？

3：除了內(nèi)部機制，您是否有任何形式的外部指導或現(xiàn)場審核程序來監(jiān)督AI系統(tǒng)的道德和責任？

4：您是否為第三方，例如：供應(yīng)商、消費者、分銷商等建立程序以報告他們AI系統(tǒng)中的潛在漏洞、風險或其他情況？

記錄權(quán)衡：

1：您是否建立一種機制，它可識別AI系統(tǒng)所涉及的相關(guān)利益，以及可以取舍、權(quán)衡這些利益。

2：您建立的機制如何決定這種權(quán)衡？權(quán)衡決策的過程是否能被保存、記錄？

糾正能力：

1：您是否建立了相應(yīng)機制在應(yīng)對發(fā)生不利影響的情況下可進行補救？

2：您是否建立了機制，可向終端用戶或第三方提供有關(guān)補救機會的信息？

（編譯/昝妍）

本報擁有此文版權(quán)，若需轉(zhuǎn)載或復(fù)制，請注明來源于中國政府采購報，標注作者，并保持文章的完整性。否則，將追究法律責任。