在線客服
企業(yè)微信
核心提示：將于 2024 年底生效的歐盟《人工智能法案》，和《通用數(shù)據(jù)保護條例》（GDPR，General Data Protection Regulation）一樣，將約束為歐盟客戶提供服務(wù)的所有機構(gòu)。
編者按：銀行記者卡列娜·馬科托夫（Kalyeena Makortoff）拋出重彈——基于人工智能的“黑盒”歧視似乎超出了使用者的控制范圍，這再次引發(fā)了一場圍繞公共和私營行業(yè)人工智能使用的廣泛辯論。當人們在某些特定情況下應(yīng)用人工智能時，它所帶來的風險真實且重大。最大的危險之一就是無意的偏見，它會對個人造成傷害。針對于此，歐盟的政治家們正計劃推出首個全面的全球人工智能監(jiān)管模板。將于 2024 年底生效的《人工智能法案》將產(chǎn)生廣泛的影響。與歐盟的《通用數(shù)據(jù)保護條例》一樣，《人工智能法案》將約束為歐盟客戶提供服務(wù)的所有機構(gòu)，確保這些機構(gòu)使用被政府批準的人工智能，避免客戶受到傷害。另外，當經(jīng)過批準的人工智能系統(tǒng)發(fā)生故障或?qū)�人造成傷害時，政府將提供補救措施。本文來自翻譯，希望對您有幫助。
銀行記者卡列娜·馬科托夫這樣寫道：“基于人工智能（AI，Artificial Intelligence）的“黑盒”歧視似乎超出了使用它的組織的控制范圍。”
一切源自 2019 年 11 月的一條推特：知名科技企業(yè)家大衛(wèi)·海涅邁爾·漢森（David Heinemeier Hansson）強烈抨擊蘋果新推出的信用卡，稱其為妻子提供的信用額度比自己低 20 倍，是赤裸裸的“性別歧視”。
這些指控以野火之勢蔓延開來，漢森強調(diào)，做出上述性別歧視行為的罪魁禍首，是當前被廣泛用于做出貸款決策的人工智能。“蘋果代表的意圖并不重要，重要的是他們完全信任的算法。被信任的算法做出的卻是歧視行為。這太糟糕了。”
盡管蘋果及其承銷商高盛（Goldman Sachs）去年已經(jīng)被美國監(jiān)管機構(gòu)判定違反了公平放貸規(guī)則，漢森關(guān)于“人工智能歧視”的上述指控再次引發(fā)了一場更為廣泛的圍繞公共和私營行業(yè)人工智能使用的辯論。
為了提高效率，各機構(gòu)正越來越多地將日常任務(wù)自動化以削減成本，歐盟的政治家們正計劃推出首個全面的全球人工智能監(jiān)管模板。
這項《人工智能法案》立法的影響不會止步于歐盟，與歐盟的《通用數(shù)據(jù)保護條例》一樣，它將適用于為歐盟客戶服務(wù)的任何機構(gòu)，包括英國的銀行在內(nèi)。艾達·洛夫萊斯研究所（Ada Lovelace Institute）的歐洲公共政策負責人亞歷克山德魯·斯修馬如（Alexandru Circiumaru）說：“這項法案一旦被采用，怎樣夸大其影響都不為過。”
歐盟人工智能“高風險”用途的最終清單，促進出臺了嚴格的規(guī)則，這些規(guī)則規(guī)范了將人工智能用于篩選工作、大學或福利申請的方式，以及貸款機構(gòu)評估潛在借款人信譽的方式。
歐盟官員希望，通過額外的監(jiān)督和限制可使用的人工智能模型類型，來遏制基于機器的歧視。這些歧視可能會影響改變生活的決定，比如自己是否能負擔住房或?qū)W生貸款。
獨立金融技術(shù)顧問莎拉·科齊安斯基（Sarah Kociansk）說：“可以使用人工智能分析我們的整個財務(wù)狀況，包括支出、儲蓄和其他債務(wù)，從而得出一個更全面的規(guī)劃圖景。如果設(shè)計得當，這樣的系統(tǒng)可以提供更廣泛的可負擔信貸渠道。”
但最大的危險之一就是無意的偏見，系統(tǒng)所使用的算法最終會拒絕向女性、移民或有色人種等部分群體提供貸款或賬戶。
人工智能分析存在的部分問題在于，大多數(shù)人工智能模型只能從提供給系統(tǒng)的歷史數(shù)據(jù)中反饋出學習信息，這就意味著它們將會了解之前給哪些客戶貸過款，以及哪些客戶被標記為失信人員。科齊安斯基說：“有一種風險存在，即系統(tǒng)會對‘誠信’借款人的‘長相’產(chǎn)生偏見。值得注意的是，性別和種族往往在人工智能的決策過程中發(fā)揮作用，而這些決策過程是基于人工智能所訓練出來的數(shù)據(jù)——所考慮的因素與個人償還貸款的能力毫不相關(guān)。”
除此之外，一些模型在被設(shè)計時沒有考慮所謂的受保護特性，也就意味著它們不打算考慮性別、種族、族裔或殘疾的影響。但這些人工智能模型仍然可以通過分析郵政編碼等其他數(shù)據(jù)特征對客戶進行區(qū)分，這些數(shù)據(jù)的來源可能是之前從未有過申請、擔保、償還或抵押貸款歷史記錄的弱勢群體。
在大多數(shù)情況下，當一個算法做出決定時，任何人都很難理解它是如何得出這個結(jié)論的，這導致了人們通常所說的“黑盒”綜合征。這意味著一些未知的存在，比如：銀行可能很難解釋申請人可以采取哪些不同的做法來獲得貸款或信用卡的資格，或者將申請人的性別從男性改為女性是否會產(chǎn)生不同的結(jié)果。
斯修馬如表示，將于 2024 年底生效的人工智能法案，會惠及那些成功開發(fā)出符合歐盟新規(guī)則的“可信 AI”模型的科技公司。
人工智能初創(chuàng)公司因果鏡頭的總部位于倫敦，其首席執(zhí)行官兼聯(lián)合創(chuàng)始人達爾科·馬托夫斯基（Darko Matovski）相信，causaLens 就是新規(guī)則的受惠公司之一。（譯者注：causaLens，因果人工智能軟件公司，開創(chuàng)了“因果人工智能”的先河。因果人工智能是新一代智能機器，最終能夠理解“因果關(guān)系”——這是邁向真正人工智能的重要一步。）
人工智能初創(chuàng)公司 causaLens 于 2021 年 1 月公開成立，已經(jīng)將自己的技術(shù)授權(quán)給了資產(chǎn)管理公司 Aviva 和量化交易公司 Tibra 等公司。該公司表示，在歐盟規(guī)定生效之前，許多零售銀行正在與自己簽署協(xié)議。
企業(yè)家馬托夫斯基表示，causaLens 提供了一種更先進的人工智能形式，通過計算和控制數(shù)據(jù)中的歧視相關(guān)性來避免潛在的偏見。他說：“基于相關(guān)性的模型只能學習過去的錯誤，并將其重演到未來。”
他堅信，自己開發(fā)的這種被稱之為因果人工智能的模型，將為可能失去教育和賺錢機會的邊緣化群體帶來更好的未來。
他說：“我們真的難以知道人工智能已經(jīng)造成的破壞規(guī)模有多大，因為無法真正檢查這個模型。我們不知道有多少人因為混亂的算法而不能上大學，也不知道有多少人因為算法偏差而無法獲得抵押貸款。我們都不知道。”
馬托夫斯基說，防止?jié)撛谄缫暤奈ㄒ环椒ň褪禽斎胧鼙Ｗo的數(shù)據(jù)特征，如殘疾、性別、種族，但要保證無論這些輸入的具體值是什么樣的，系統(tǒng)的決定都不會改變。
他表示，解決這一問題確保了人工智能模型能夠反映我們當前的社會價值觀，并避免延續(xù)過去任何種族主義、殘疾主義或歧視女性的決策。他說：“社會普遍認為，無論人們的性別，郵政編碼及種族是什么，都應(yīng)該得到平等的對待。因此，算法不僅要努力做到這一點，還必須保證做到這一點。”
盡管歐盟的新規(guī)定很可能向遏制基于機器的偏見邁出了一大步，但包括艾達·洛夫萊斯研究所在內(nèi)的一些專家也同時在推動消費者維護自己的權(quán)益：如果認為自己處于不利地位，有權(quán)投訴和尋求賠償。
斯修馬如說：“尤其是人們在某些特定情況下應(yīng)用人工智能時，它已經(jīng)帶來了真實的、重大的風險。”
他還表示，“人工智能監(jiān)管應(yīng)確保通過批準或不批準某項人工智能的使用，來恰當?shù)乇Ｗo個人免受傷害，并在經(jīng)過批準的人工智能系統(tǒng)發(fā)生故障或?qū)�人造成傷害時提供補救措施。我們不能假設(shè)經(jīng)過批準的人工智能系統(tǒng)總能完美運作，而在它們不能完美運作的情況下疏于防備。”
圖1. 歐盟的《人工智能法案》（Artificial Intelligence Act）和《通用數(shù)據(jù)保護條例》（GDPR，General Data Protection Regulation）一樣，將約束為歐盟客戶提供服務(wù)的所有機構(gòu)。
銀行記者卡列娜·馬科托夫這樣寫道：“基于人工智能（AI，Artificial Intelligence）的“黑盒”歧視似乎超出了使用它的組織的控制范圍。”
一切源自 2019 年 11 月的一條推特：知名科技企業(yè)家大衛(wèi)·海涅邁爾·漢森（David Heinemeier Hansson）強烈抨擊蘋果新推出的信用卡，稱其為妻子提供的信用額度比自己低 20 倍，是赤裸裸的“性別歧視”。
這些指控以野火之勢蔓延開來，漢森強調(diào)，做出上述性別歧視行為的罪魁禍首，是當前被廣泛用于做出貸款決策的人工智能。“蘋果代表的意圖并不重要，重要的是他們完全信任的算法。被信任的算法做出的卻是歧視行為。這太糟糕了。”
盡管蘋果及其承銷商高盛（Goldman Sachs）去年已經(jīng)被美國監(jiān)管機構(gòu)判定違反了公平放貸規(guī)則，漢森關(guān)于“人工智能歧視”的上述指控再次引發(fā)了一場更為廣泛的圍繞公共和私營行業(yè)人工智能使用的辯論。
為了提高效率，各機構(gòu)正越來越多地將日常任務(wù)自動化以削減成本，歐盟的政治家們正計劃推出首個全面的全球人工智能監(jiān)管模板。
這項《人工智能法案》立法的影響不會止步于歐盟，與歐盟的《通用數(shù)據(jù)保護條例》一樣，它將適用于為歐盟客戶服務(wù)的任何機構(gòu)，包括英國的銀行在內(nèi)。艾達·洛夫萊斯研究所（Ada Lovelace Institute）的歐洲公共政策負責人亞歷克山德魯·斯修馬如（Alexandru Circiumaru）說：“這項法案一旦被采用，怎樣夸大其影響都不為過。”
歐盟人工智能“高風險”用途的最終清單，促進出臺了嚴格的規(guī)則，這些規(guī)則規(guī)范了將人工智能用于篩選工作、大學或福利申請的方式，以及貸款機構(gòu)評估潛在借款人信譽的方式。
歐盟官員希望，通過額外的監(jiān)督和限制可使用的人工智能模型類型，來遏制基于機器的歧視。這些歧視可能會影響改變生活的決定，比如自己是否能負擔住房或?qū)W生貸款。
獨立金融技術(shù)顧問莎拉·科齊安斯基（Sarah Kociansk）說：“可以使用人工智能分析我們的整個財務(wù)狀況，包括支出、儲蓄和其他債務(wù)，從而得出一個更全面的規(guī)劃圖景。如果設(shè)計得當，這樣的系統(tǒng)可以提供更廣泛的可負擔信貸渠道。”
但最大的危險之一就是無意的偏見，系統(tǒng)所使用的算法最終會拒絕向女性、移民或有色人種等部分群體提供貸款或賬戶。
人工智能分析存在的部分問題在于，大多數(shù)人工智能模型只能從提供給系統(tǒng)的歷史數(shù)據(jù)中反饋出學習信息，這就意味著它們將會了解之前給哪些客戶貸過款，以及哪些客戶被標記為失信人員。科齊安斯基說：“有一種風險存在，即系統(tǒng)會對‘誠信’借款人的‘長相’產(chǎn)生偏見。值得注意的是，性別和種族往往在人工智能的決策過程中發(fā)揮作用，而這些決策過程是基于人工智能所訓練出來的數(shù)據(jù)——所考慮的因素與個人償還貸款的能力毫不相關(guān)。”
除此之外，一些模型在被設(shè)計時沒有考慮所謂的受保護特性，也就意味著它們不打算考慮性別、種族、族裔或殘疾的影響。但這些人工智能模型仍然可以通過分析郵政編碼等其他數(shù)據(jù)特征對客戶進行區(qū)分，這些數(shù)據(jù)的來源可能是之前從未有過申請、擔保、償還或抵押貸款歷史記錄的弱勢群體。
圖2. 人工智能最大的危險之一是無意的偏見，即算法歧視某些群體，包括女性、移民或有色人種。
在大多數(shù)情況下，當一個算法做出決定時，任何人都很難理解它是如何得出這個結(jié)論的，這導致了人們通常所說的“黑盒”綜合征。這意味著一些未知的存在，比如：銀行可能很難解釋申請人可以采取哪些不同的做法來獲得貸款或信用卡的資格，或者將申請人的性別從男性改為女性是否會產(chǎn)生不同的結(jié)果。
斯修馬如表示，將于 2024 年底生效的人工智能法案，會惠及那些成功開發(fā)出符合歐盟新規(guī)則的“可信 AI”模型的科技公司。
人工智能初創(chuàng)公司因果鏡頭的總部位于倫敦，其首席執(zhí)行官兼聯(lián)合創(chuàng)始人達爾科·馬托夫斯基（Darko Matovski）相信，causaLens 就是新規(guī)則的受惠公司之一。（譯者注：causaLens，因果人工智能軟件公司，開創(chuàng)了“因果人工智能”的先河。因果人工智能是新一代智能機器，最終能夠理解“因果關(guān)系”——這是邁向真正人工智能的重要一步。）
人工智能初創(chuàng)公司 causaLens 于 2021 年 1 月公開成立，已經(jīng)將自己的技術(shù)授權(quán)給了資產(chǎn)管理公司 Aviva 和量化交易公司 Tibra 等公司。該公司表示，在歐盟規(guī)定生效之前，許多零售銀行正在與自己簽署協(xié)議。
企業(yè)家馬托夫斯基表示，causaLens 提供了一種更先進的人工智能形式，通過計算和控制數(shù)據(jù)中的歧視相關(guān)性來避免潛在的偏見。他說：“基于相關(guān)性的模型只能學習過去的錯誤，并將其重演到未來。”
他堅信，自己開發(fā)的這種被稱之為因果人工智能的模型，將為可能失去教育和賺錢機會的邊緣化群體帶來更好的未來。
他說：“我們真的難以知道人工智能已經(jīng)造成的破壞規(guī)模有多大，因為無法真正檢查這個模型。我們不知道有多少人因為混亂的算法而不能上大學，也不知道有多少人因為算法偏差而無法獲得抵押貸款。我們都不知道。”
馬托夫斯基說，防止?jié)撛谄缫暤奈ㄒ环椒ň褪禽斎胧鼙Ｗo的數(shù)據(jù)特征，如殘疾、性別、種族，但要保證無論這些輸入的具體值是什么樣的，系統(tǒng)的決定都不會改變。
他表示，解決這一問題確保了人工智能模型能夠反映我們當前的社會價值觀，并避免延續(xù)過去任何種族主義、殘疾主義或歧視女性的決策。他說：“社會普遍認為，無論人們的性別，郵政編碼及種族是什么，都應(yīng)該得到平等的對待。因此，算法不僅要努力做到這一點，還必須保證做到這一點。”
盡管歐盟的新規(guī)定很可能向遏制基于機器的偏見邁出了一大步，但包括艾達·洛夫萊斯研究所在內(nèi)的一些專家也同時在推動消費者維護自己的權(quán)益：如果認為自己處于不利地位，有權(quán)投訴和尋求賠償。
斯修馬如說：“尤其是人們在某些特定情況下應(yīng)用人工智能時，它已經(jīng)帶來了真實的、重大的風險。”
他還表示，“人工智能監(jiān)管應(yīng)確保通過批準或不批準某項人工智能的使用，來恰當?shù)乇Ｗo個人免受傷害，并在經(jīng)過批準的人工智能系統(tǒng)發(fā)生故障或?qū)�人造成傷害時提供補救措施。我們不能假設(shè)經(jīng)過批準的人工智能系統(tǒng)總能完美運作，而在它們不能完美運作的情況下疏于防備。”
