我不想特意去討論計(jì)算機(jī)和人工智能所帶來的可能性。它們能為人類帶來的好處可謂數(shù)不勝數(shù)，而且大家都耳熟能詳了。媒體也經(jīng)常討論計(jì)算機(jī)和人工智能給我們的生活、工作和學(xué)習(xí)方式帶來的根本變化。流程和服務(wù)的自動(dòng)化為人們帶來了效率的優(yōu)勢(shì)。在沒有直接人工干預(yù)的情況下，我們便能以最佳方式對(duì)能源、電信和運(yùn)輸?shù)炔块T的資源進(jìn)行“實(shí)時(shí)”控制，從而實(shí)現(xiàn)規(guī)模經(jīng)濟(jì)和質(zhì)量經(jīng)濟(jì)。

接下來，我想要深入討論的是計(jì)算機(jī)和人工智能所帶來的風(fēng)險(xiǎn)，這些風(fēng)險(xiǎn)有些是假想的，有些則是實(shí)際存在的。

假想的風(fēng)險(xiǎn)

【資料圖】

最近，關(guān)于計(jì)算機(jī)“超智能”的神話越來越多。根據(jù)其中一個(gè)版本，計(jì)算機(jī)智能最終將超過人類智能，我們最終可能會(huì)成為機(jī)器的寵物。

史蒂芬霍金、比爾蓋茨和埃隆馬斯克等人都支持這類觀點(diǎn)。有些人受到雷蒙德庫茨魏爾的影響，認(rèn)為技術(shù)奇點(diǎn)即將到來，當(dāng)機(jī)器的計(jì)算能力超過人腦的計(jì)算能力時(shí)，技術(shù)奇點(diǎn)就會(huì)出現(xiàn)。

顯然，這些觀點(diǎn)缺乏嚴(yán)肅性，是站不住腳的。再?gòu)?qiáng)大的機(jī)器也不足以戰(zhàn)勝人類的智慧。但他們的這些想法在媒體中找到了滋生的溫床，被不加批判地廣泛傳播，在很大程度上引起了公眾的共鳴。

我認(rèn)為科學(xué)界應(yīng)該對(duì)這種蒙昧主義和信口開河的混雜產(chǎn)物做出反應(yīng)，并基于科學(xué)和技術(shù)標(biāo)準(zhǔn)，對(duì)人工智能的前景給出清醒的評(píng)估。不幸的是，人們喜歡相信驚心動(dòng)魄的故事以及想象中的危險(xiǎn)。

輿論很容易被假想的威脅（如外星人入侵或根據(jù)瑪雅歷法推算的世界末日）影響。相比之下，人們對(duì)通過冷靜和理性的分析所發(fā)現(xiàn)的真正python風(fēng)險(xiǎn)卻置若罔聞，對(duì)其做出反應(yīng)時(shí)常常為時(shí)已晚(例如，經(jīng)濟(jì)危機(jī)本可預(yù)見并提前做出防范，但最終卻因?yàn)闊o所作為而導(dǎo)致經(jīng)濟(jì)崩潰)。

對(duì)于以上假想的風(fēng)險(xiǎn)，我引用著名科幻作家艾薩克阿西莫夫提出的三條基本道理準(zhǔn)則，機(jī)器人必須遵守:（1）不傷害人類;(2)服從人類;(3)保護(hù)自己。當(dāng)然，我們使用的計(jì)算系統(tǒng)并不是科幻小說中的“邪惡機(jī)器人”。但沒有人想過這些系統(tǒng)是否會(huì)違反上述任何一條(或所有)準(zhǔn)則，并造成嚴(yán)重后果。當(dāng)然，我們不能像科幻小說中寫的那樣，將這些后果歸咎于機(jī)器人的惡意。

風(fēng)險(xiǎn)其一:失業(yè)

人們都在熱議計(jì)算機(jī)智能的假想風(fēng)險(xiǎn)，也許把真正的風(fēng)險(xiǎn)掩蓋住了。而這些真正的風(fēng)險(xiǎn)才是問題所在，因?yàn)樗鼈兩婕吧鐣?huì)組織的類型及其所服務(wù)的關(guān)系，特別是社會(huì)和政治性質(zhì)的問題。

很久以前人們就發(fā)現(xiàn)，自動(dòng)化程度不斷提高帶來的一個(gè)風(fēng)險(xiǎn)是，機(jī)器人使用越普遍的行業(yè)失業(yè)率越高。因此，我們會(huì)看到農(nóng)業(yè)和工業(yè)等部門，以及可以被自動(dòng)化替代的服務(wù)部門的工作崗位數(shù)量在逐漸減少。而需要?jiǎng)?chuàng)造力的職業(yè)（編程如系統(tǒng)編程和設(shè)計(jì)），或者雖然不需要特殊資質(zhì)但不易被系統(tǒng)化的職業(yè)(如郵件分發(fā))仍然會(huì)有工作機(jī)會(huì)。

除了引發(fā)高失業(yè)率之外，自動(dòng)化的趨勢(shì)還會(huì)進(jìn)一步擴(kuò)大需要技能和知識(shí)的高薪工作與其他體力勞動(dòng)之間的差距。

當(dāng)然，有些人認(rèn)為，傳統(tǒng)工作崗位的消失會(huì)被新需求所創(chuàng)造的崗位抵消。我認(rèn)為，除非對(duì)職業(yè)結(jié)構(gòu)進(jìn)行徹底改革，否則失業(yè)和工資差距的問題將會(huì)惡化。我不會(huì)進(jìn)一步討論這個(gè)問題。

風(fēng)險(xiǎn)其二:防護(hù)與安全管理

當(dāng)自動(dòng)化集成程度超過某個(gè)水平時(shí)，信息系統(tǒng)如果缺乏安全保護(hù)可能是極其危險(xiǎn)的。眾所周知，即使對(duì)那些最重要的系統(tǒng)，人們也無法做到全面保護(hù)它們不遭受網(wǎng)絡(luò)攻擊，我們充其量只能希望及時(shí)發(fā)現(xiàn)入侵者。

不幸的是，由于技術(shù)和其他原因，計(jì)算機(jī)系統(tǒng)在可預(yù)見的未來仍然極易受到攻擊。這意味著我們不能排除災(zāi)難的發(fā)生，特別是國(guó)家之間出現(xiàn)緊張局勢(shì)所引發(fā)的災(zāi)難。今天，網(wǎng)絡(luò)戰(zhàn)已經(jīng)不再是由個(gè)人黑客發(fā)動(dòng)，而是由組織良好的企業(yè)甚至國(guó)家發(fā)動(dòng)。

一個(gè)相關(guān)的安全風(fēng)險(xiǎn)是，系統(tǒng)的解決方案往往相互依賴，這些解決方案一般是由越來越復(fù)雜的技術(shù)基礎(chǔ)設(shè)施提供的，就像金字塔一樣，以一種經(jīng)驗(yàn)的方式堆疊起來。大家都知道，對(duì)于一些用舊的編程語言（如 Fortran）編寫的復(fù)雜軟件，我們是無法更改的。

不幸的是，大型計(jì)算機(jī)系統(tǒng)并不像機(jī)電系統(tǒng)那樣以模塊化方式構(gòu)建。想要在不破壞大型計(jì)算機(jī)系統(tǒng)功能的前提下分離出它們的某些組件，并用同等甚至更好的組件進(jìn)行替換，不是一件容易的事。這種變動(dòng)所面臨的風(fēng)險(xiǎn)難以評(píng)估。

這種替換和改進(jìn)的困難使我們不得不依賴某些初始的選擇，這是一種束縛。例如，如果你要把交通規(guī)則從靠右行駛改為靠左行駛，那么所面臨的成本和風(fēng)險(xiǎn)將是巨大的。目前的互聯(lián)網(wǎng)協(xié)議在安全性和反應(yīng)性方面都不具備我們所期望的特性，然而由編程于當(dāng)初的選擇，我們只能繼續(xù)使用這些協(xié)議。

我已經(jīng)在討論中指出，在引入人工智能和自主系統(tǒng)的領(lǐng)域，其風(fēng)險(xiǎn)管理與在其他領(lǐng)域有顯著的差異。在這些領(lǐng)域中，不再有獨(dú)立的國(guó)家機(jī)構(gòu)來保證和控制系統(tǒng)的質(zhì)量及安全。這個(gè)責(zé)任轉(zhuǎn)移給了制造商。其中的風(fēng)險(xiǎn)是顯而易見的，因?yàn)橛脩舻陌踩?jí)別將不再由透明的技術(shù)標(biāo)準(zhǔn)決定，而是由制造成本和能夠覆蓋事故賠償金的保險(xiǎn)成本之間的最佳平衡值來決定。

不幸的是，目前被大量采用的信息和電信技術(shù)被看作是理所當(dāng)然。沒有人問我們應(yīng)該開發(fā)什么樣的技術(shù)，為什么要開發(fā)，或者如何以最合適的方式使用現(xiàn)有的技術(shù)，也沒有關(guān)于這些技術(shù)對(duì)經(jīng)濟(jì)、社會(huì)和政治會(huì)產(chǎn)生什編程客棧么影響的公開辯論。

各國(guó)政府和國(guó)際組織明顯是缺席和不作為的。他們好像認(rèn)為技術(shù)進(jìn)步本身就是目的。他們很少關(guān)心互聯(lián)網(wǎng)上發(fā)生的違法行為。他們認(rèn)為風(fēng)險(xiǎn)不可避免，因此干脆對(duì)其放任自流，就好像進(jìn)步一定會(huì)帶來某些不可避免和無法控制的弊病一樣。

大型科技公司的宣傳口號(hào)也顯得十分愚蠢，例如“科技向善”或“科技守護(hù)安全”。谷歌、推特和臉書都有響亮的口號(hào)，例如“不作惡”、“幫助提升公眾交流的集體健康、開放和文明程度”，以及“賦予人們建立社區(qū)的權(quán)利，讓世界更緊密地聯(lián)系在一起”。當(dāng)然，如果期望這些公司關(guān)心創(chuàng)新和技術(shù)革命所帶來的社會(huì)問題，js那就太天真了。

因此，公眾輿論仍然處于混亂迷失狀態(tài)，而且在一定程度上被那些既不負(fù)責(zé)也不客觀的聲音操縱了。一些人夸大了風(fēng)險(xiǎn)，而另一些人則為了推廣技術(shù)應(yīng)用而淡化風(fēng)險(xiǎn)。公眾卻樂于接受錯(cuò)誤的思想，并隨波逐流。

那些對(duì)經(jīng)濟(jì)和社會(huì)組織順暢運(yùn)作至關(guān)重要的流程和服務(wù)，其自動(dòng)化程度越來越高，但與此同時(shí)也導(dǎo)致對(duì)網(wǎng)絡(luò)控制的決策越來越集中化。這個(gè)問題本質(zhì)上是政治問題:決策的民主控制才是合理、安全地使用基礎(chǔ)設(shè)施和服務(wù)的關(guān)鍵

風(fēng)險(xiǎn)其三:技術(shù)依賴

技術(shù)的應(yīng)用解決了人們的許多實(shí)際問題并使生活變得更舒適，但這也意味著我們喪失了某些解決問題的技能。例如，今天很少有人知道如何使用摩擦生火，這是史前人類掌握的基本生存技能。今天的人們也不知道如何在野外生存或建造小屋來保護(hù)自己。

直到20世紀(jì)（包括20世紀(jì)），乘法口訣表一直是兒童數(shù)學(xué)教育的基礎(chǔ)，然而在未來，孩子們也許不再需要背誦它了。擔(dān)心人們過度依賴技術(shù)并非杞人憂天。因?yàn)楝F(xiàn)在技術(shù)不僅是解決單個(gè)問題，而且為人們提供了全面的解決方案。這意味著我們正在過渡到一種新的生活方式——技術(shù)提供大量的服務(wù)，減輕了我們管理決策的負(fù)擔(dān)。在這種生活方式中，有越來越多的技能 / 知識(shí)不再是我們必須掌握的了。

那么，哪些基本技能 / 知識(shí)是我們必須掌握的呢?

為了解釋其中的風(fēng)險(xiǎn)，有些人引用了“溫水煮青蛙”的寓言。如果我們突然提高水溫，青蛙就會(huì)從鍋里跳出來。然而，如果我們逐漸提高水溫，青蛙最初會(huì)感覺很舒服，并會(huì)一直待在鍋里直到死去。

目前，社交媒體的用戶愿意提供他們的個(gè)人數(shù)據(jù)，以換取更高質(zhì)量的服務(wù)。然而這卻是控制輿論的重要基礎(chǔ)。每個(gè)人的個(gè)人喜好和信息對(duì)他們來說當(dāng)然沒有商業(yè)價(jià)值。然而，對(duì)非常大的數(shù)據(jù)集進(jìn)行深入分析得出的結(jié)果，不僅對(duì)資源和系統(tǒng)的可預(yù)測(cè)性與控制性來說至關(guān)重要，而且對(duì)于市場(chǎng)和群體行為的可預(yù)測(cè)性與控制性也非常關(guān)鍵?？赡芪覀冞€不理解這些信息的重要性，因?yàn)檫@些信息仍然是秘密，只掌握在那些當(dāng)權(quán)者和愿意為此付費(fèi)的人手中。

面對(duì)我們個(gè)人的威脅

我發(fā)現(xiàn)個(gè)人自由面臨兩種威脅。

第一種威脅是侵犯隱私權(quán)，它常常打著為了保護(hù)社會(huì)免受恐怖主義或犯罪行為侵害的旗號(hào)。有許多計(jì)劃是通過開發(fā)特定的技術(shù)解決方案來增加對(duì)個(gè)人的監(jiān)控。例如征信系統(tǒng)（為了利用個(gè)人信譽(yù)建立征信，它允許用戶在在線社區(qū)中相互評(píng)分）。

利用這樣的系統(tǒng)，有人就可以通過武斷的程序和標(biāo)準(zhǔn)來污蔑或排斥其他公民。毋庸置疑，對(duì)于這些侵犯隱私的工具的使用，有必要建立一個(gè)監(jiān)管框架。

第二種威脅來自自主系統(tǒng)和服務(wù)的廣泛使用，而這往往會(huì)打著提高效率的旗號(hào)。普及自主系統(tǒng)和服務(wù)的愿景正在通過物聯(lián)網(wǎng)得到推廣。這個(gè)愿景的構(gòu)想是在沒有人為干預(yù)的情況下實(shí)現(xiàn)關(guān)鍵資源和基礎(chǔ)設(shè)施管理的自動(dòng)化。其中的決策標(biāo)準(zhǔn)可能非常復(fù)雜，以至于超出了人類理解和控制的范圍。

因此，我們可能會(huì)形成一個(gè)技術(shù)專制的系統(tǒng)，尤其是因?yàn)樽詣?dòng)化使決策越來越集中。因此，真正的風(fēng)險(xiǎn)是計(jì)算機(jī)生成的知識(shí)被不受控制地用于決策，并在關(guān)鍵流程中取代人類。

正確、合理地使用人工智能和自主系統(tǒng)取決于以下兩個(gè)因素。

第一，根據(jù)客觀標(biāo)準(zhǔn)評(píng)估我們是否可以信任計(jì)算機(jī)生成的知識(shí)。這是目前正在研究的課題——希望這些研究能夠給我們提供一個(gè)答案。我們正在嘗試開發(fā)“可解釋的”人工智能，讓我們能夠理解并在某種程度上控制系統(tǒng)的行為。此外，我們需要一種評(píng)估知識(shí)的新方法，來彌合科學(xué)知識(shí)與人工智能經(jīng)驗(yàn)知識(shí)之間的差距。

第二，全社會(huì)的警惕性和政治責(zé)任感。當(dāng)使用計(jì)算機(jī)生成的知識(shí)做出關(guān)鍵決策時(shí)，我們必須確保這些知識(shí)是安全的和中立的。自主系統(tǒng)的安全性必須得到獨(dú)立機(jī)構(gòu)的認(rèn)證，而不是留給開發(fā)它們的人。在這方面，立法并建立監(jiān)管框架，以及讓機(jī)構(gòu)參與風(fēng)險(xiǎn)管理可能會(huì)起到一定的作用。