事實(shí)上，衰老和時間不是綁死的。時間總是會繼續(xù)前進(jìn)的，而衰老卻不一定。仔細(xì)想想，衰老只是身體的組成物質(zhì)用舊了。汽車開久了也會舊，但是汽車一定會衰老嗎？如果你能夠擁有完美的修復(fù)技術(shù)、或者直接替換老舊的汽車部件，這輛車就能永遠(yuǎn)開下去。人體只是更加復(fù)雜而已，本質(zhì)上和汽車是一樣的。
Kurzweil提到由Wifi連接的納米機(jī)器人在血液中流動，可以執(zhí)行很多人類健康相關(guān)的任務(wù)，包括日常維修，替換死去的細(xì)胞等等。如果這項(xiàng)技術(shù)能夠被完美掌握，這個流程（或者一個超人工智能發(fā)明的更好的流程）將能使人的身體永遠(yuǎn)健康，甚至越活越年輕。一個60歲的人和一個30歲的人身體上的區(qū)別只是物理上的，只要技術(shù)足夠發(fā)達(dá)我們是能改變這種區(qū)別的。 超人工智能可以建造一個“年輕機(jī)器”，當(dāng)一個60歲的人走進(jìn)去后，再出來時就擁有了年輕30歲的身體。就算是逐漸糊涂的大腦也可能年輕化，只要超人工智能足夠聰明，能夠發(fā)現(xiàn)不影響大腦數(shù)據(jù)的方法來改造大腦就好了。一個90歲的失憶癥患者可以走進(jìn)“年輕機(jī)器”，再出來時就擁有了年輕的大腦。這些聽起來很離譜，但是身體只是一堆原子罷了，只要超人工智能可以操縱各種原子結(jié)構(gòu)的話，這就完全不離譜。
Kurzweil的思維繼續(xù)跳躍了一下，他相信人造材料將越來越多的融入人體。最開始，人體器官將被先進(jìn)的機(jī)械器官所代替，而這些機(jī)械器官可以一直運(yùn)行下去。然后我們會開始重新設(shè)計身體，比如可以用自我驅(qū)動的納米機(jī)器人代替血紅細(xì)胞，這樣連心臟都省了。Kurzweil甚至認(rèn)為我們會改造自己的大腦，使得我們的思考速度比現(xiàn)在快億萬倍，并且使得大腦能和云存儲的信息進(jìn)行交流。
我們能獲得的新體驗(yàn)是無窮的。人類的性愛，使得人們不但能生育，還能從中享樂。Kurtzweil認(rèn)為我們可以對食物做同樣的改造。納米機(jī)器人可以負(fù)責(zé)把身體需要的營養(yǎng)物質(zhì)傳送到細(xì)胞中，智能的將對身體不好的東西排出體外——就像一個食物避孕套一樣。納米技術(shù)理論家Robert A. Freitas已經(jīng)設(shè)計了一種紅細(xì)胞的替代品，能夠讓人快速沖刺15分鐘不需要呼吸——那么超人工智能能對我們的身體能力做的改造就更加難以想象。虛擬現(xiàn)實(shí)將擁有新的意義——體內(nèi)的納米機(jī)器人將能控制我們從感官獲得的信號，然后用別的信號替代他們，讓我們進(jìn)入一個新的環(huán)境，在新環(huán)境里，我們能聽、看、聞、觸摸。。。
最終，Kurzweil認(rèn)為人類會完全變成人工的。有一天當(dāng)我們看到生物材料，然后覺得生物材料實(shí)在太原始了，早年的人體居然是用這樣的東西組成的，早期的人類居然會被微生物、意外、疾病殺死。這就是Kurzweil眼中人類最終戰(zhàn)勝自己的生理，并且變得不可摧毀和永生，這也是平衡木的另一個吸引態(tài)。他深深的想象我們會達(dá)到那里，而且就在不久的將來。
Kurzweil的想法很自然的受到了各方的批評。他對于2045年奇點(diǎn)時代的到來，以及之后的永生的可能性受到了各種嘲笑——“書呆子的狂歡”、“高智商人士的創(chuàng)始論”等等。也有人質(zhì)疑他過于樂觀的時間線，以及他對人腦和人體的理解程度，還有他將摩爾定于應(yīng)用到軟件上的做法。有很多人相信他，但有更多人反對他。
但是即使如此，那些反對他的專家并不是反對他所說的一切，反對他的人說的不是“這種事情不可能發(fā)生”，而是說“這些當(dāng)然可能發(fā)生，但是到達(dá)超人工智能是很難的?！边B經(jīng)常提醒我們?nèi)斯ぶ悄艿臐撛谕{的Bostrom都這么說：
很難想象一個超級智能會有什么問題是解決不了，或是不能幫著我們解決的。疾病、貧困、環(huán)境毀滅、各種不必要的苦難，這些都是擁有納米科技的超級智能能夠解決的。而且，超級智能可以給我們無限的生命，這可以通過停止或者逆轉(zhuǎn)衰老來達(dá)成，也可以讓我們上傳自己的數(shù)據(jù)。一個超級智能還能讓我們大幅度提高智商和情商，還能幫助我們創(chuàng)造這種有趣的體驗(yàn)世界，讓我們享樂。
這是Bostrom這個明顯不在信心角的人的觀點(diǎn)，但也是很多反對Kurzweil的專家的觀點(diǎn)，他們不覺得Kurzweil是在說夢話，只是覺得我們首先要安全達(dá)成超人工智能。這也是為什么我覺得Kurzweil的觀點(diǎn)很有傳染性，他傳達(dá)了正面的信息，而這些事情都是可能的——如果超人工智能是個仁慈的神的話。
對信心角的最有力的批評，是那些信心角里的人都低估了超人工智能的壞處。Kurzweil的暢銷書《The Singularity is Near》700多頁，只有20頁用來討論人工智能的危險。前面提到，當(dāng)超人工智能降臨時我們的命運(yùn)取決于誰掌握這股力量，以及他們是不是好人。Kurzweil的回答是“超人工智能正從多方的努力中出現(xiàn)，它將深深的融入我們文明的基建中。它會親密的被捆綁在我們的身體和大腦中，它會反映我們的價值，因?yàn)樗褪俏覀?。?/span>
但如果答案就是這樣的話，為什么這個世界上最聰明的一些人會很擔(dān)憂？為什么霍金會說超人工智能會毀滅人類？為什么比爾蓋茨會不理解為什么有人不為此擔(dān)憂？為什么馬斯克會擔(dān)心我們是在召喚惡魔？為什么那么多專家擔(dān)心超人工智能是對人類最大的威脅？這些站在焦慮大道上的思想家，不認(rèn)同Kurzweil對于人工智能的危險的粉飾。他們非常非常擔(dān)心人工智能革命，他們不關(guān)注平衡木下比較有趣的那一個吸引態(tài)，而是盯著平衡木的另一邊，而他們看到的是可怕的未來，一個我們未必能夠逃離的未來。
___________
未來可能是我們最糟的惡夢
我想了解人工智能的一個原因是“壞機(jī)器人”總是讓我很困惑。那些關(guān)于邪惡機(jī)器人的電影看起來太不真實(shí)，我也沒法想象一個人工智能變得危險的真實(shí)情況。機(jī)器人是我們造的，難道我們不會在設(shè)計時候防止壞事的發(fā)生嗎？我們難道不能設(shè)立很多安全機(jī)制嗎？再不濟(jì)，難道我們不能拔插頭嗎？而且為什么機(jī)器人會想要做壞事？或者說，為什么機(jī)器人會“想要”做任何事？我充滿疑問，于是我開始了解聰明人們的想法。
這些人一般位于焦慮大道：
焦慮大道上的人并不是恐慌或者無助的——恐慌和無助在圖上的位置是更加左邊——他們只是緊張。位于圖表的中央不代表他們的立場是中立的——真正中立的人有自己獨(dú)立的陣營，他們認(rèn)同極好和極壞兩種可能，但是不確定究竟會是哪個。
焦慮大道上的人是部分為超人工智能感到興奮的——他們只是很擔(dān)心人類現(xiàn)在的表現(xiàn)就好像《奪寶奇兵》中的這位少年：
他拿著自己的鞭子和寶物，非常開心，然后他就掛了：
同時，印第安納瓊斯則更加有見識和更加謹(jǐn)慎，了解潛在的危險并且做出相應(yīng)的反應(yīng)，最后安全逃出了山洞。當(dāng)我了解了焦慮大道的人們的想法后，感覺就像“我們現(xiàn)在傻呵呵的，很容易像前面那小子一樣被弄死，還是努力做印第安納瓊斯吧?！?/span>
那究竟是什么讓焦慮大道的人們?nèi)绱私箲]呢？
首先，廣義上來講，在創(chuàng)造超人工智能時，我們其實(shí)是在創(chuàng)造可能一件會改變所有事情的事物，但是我們對那個領(lǐng)域完全不清楚，也不知道我們到達(dá)那塊領(lǐng)域后會發(fā)生什么?？茖W(xué)家Danny Hillis把這個比作“就好像單細(xì)胞生物向多細(xì)胞生物轉(zhuǎn)化的時候那樣，還是阿米巴蟲的我們沒有辦法知道我們究竟在創(chuàng)造什么鬼?！?/span>
Bostrom則擔(dān)憂創(chuàng)造比自身聰明的東西是個基礎(chǔ)的達(dá)爾文錯誤，就好像麻雀媽媽決定收養(yǎng)一只小貓頭鷹，并且覺得貓頭鷹長大后會保護(hù)麻雀一家，但是其它麻雀卻覺得這是個糟糕的主意。
當(dāng)你把“對那個領(lǐng)域完全不清楚”和“當(dāng)它發(fā)生時將會產(chǎn)生巨大的影響”結(jié)合在一起時，你創(chuàng)造出了一個很恐怖的詞——
生存危機(jī)指可能對人類產(chǎn)生永久的災(zāi)難性效果的事情。通常來說，生存危機(jī)意味著滅絕。下面是Bostrom的圖表：
可以看到，生存危機(jī)是用來指那些跨物種、跨代（永久傷害）并且有嚴(yán)重后果的事情。它可以包括人類遭受永久苦難的情況，但是這基本上和滅絕沒差了。三類事情可能造成人類的生存危機(jī)：
1）自然——大型隕石沖撞，大氣變化使得人類不能生活在空氣中，席卷全球的致命病毒等
2）外星人——霍金、卡爾薩根等建議我們不要對外廣播自己的位置。他們不想我們變成邀請別人來殖民的傻子。
3）人類——恐怖分子獲得了可以造成滅絕的武器，全球的災(zāi)難性戰(zhàn)爭，還有不經(jīng)思考就造出個比我們聰明很多的智能
Bostrom指出1和2在我們物種存在的前十萬年還沒有發(fā)生，所以在接下來一個世紀(jì)發(fā)生的可能性不大。3則讓他很害怕，他把這些比作一個裝著玻璃球的罐子，罐子里大部分是白色玻璃球，小部分是紅色的，只有幾個是黑色的。每次人類發(fā)明一些新東西，就相當(dāng)于從罐中取出一個玻璃球。大多數(shù)發(fā)明是有利或者中立的——那些是白色玻璃球。有些發(fā)明對人類是有害的，比如大規(guī)模殺傷性武器——這是那些紅色玻璃球。還有一些發(fā)明是可以讓我們滅絕的，這就是那些黑色玻璃球。很明顯的，我們還沒摸到黑色玻璃球，但是Bostrom認(rèn)為不久的未來摸到一個黑色玻璃球不是完全不可能的。比如核武器突然變得很容易制造了，那恐怖分子很快會把我們炸回石器時代。核武器還算不上黑色玻璃球，但是差的不遠(yuǎn)了。而超人工智能是我們最可能摸到的黑色玻璃球。
你會聽到很多超人工智能帶來的壞處——人工智能取代人類工人，造成大量失業(yè)；因?yàn)榻鉀Q了衰老造成的人口膨脹。但是真正值得我們擔(dān)心的是生存危機(jī)的可能性。
于是我們又回到了前面的問題，當(dāng)超人工智能降臨時，誰會掌握這份力量，他們又會有什么目標(biāo)？
當(dāng)我們考慮各種力量持有人和目標(biāo)的排列組合時，最糟糕的明顯是：懷著惡意的人/組織/政府，掌握著懷有惡意的超人工智能。這會是什么樣的情況呢？
懷著惡意的人/組織/政府，研發(fā)出第一個超人工智能，并且用它來實(shí)現(xiàn)自己的邪惡計劃。我把這稱作賈法爾情況。阿拉丁神燈故事中，壞人賈法爾掌握了一個精靈，特別讓人討厭。所以如果ISIS手下有一群工程師狂熱的研發(fā)人工智能怎么辦？或者說伊朗和朝鮮，機(jī)緣巧合，不小心造成了人工智能的快速發(fā)展，達(dá)成了超人工智能怎么辦？這當(dāng)然是很糟糕的事，但是大部分專家認(rèn)為糟糕的地方不在于這些人是壞人，而在于在這些情況下，這些人基本上是不經(jīng)思考就把超人工智能造出來，而一造出來就失去了對超人工智能的控制。
然后這些創(chuàng)造者，連著其他人的命運(yùn)，都取決于這個超人工智能的動機(jī)了。專家認(rèn)為一個懷著惡意并掌握著超人工智能的人可以造成很大的傷害，但不至于讓我們滅絕，因?yàn)閷＜蚁嘈艍娜撕秃萌嗽诳刂瞥斯ぶ悄軙r會面臨一樣的挑戰(zhàn)。
如果被創(chuàng)造出來的超人工智能是懷有惡意的，并且決定毀滅我，怎么辦？這就是大部分關(guān)于人工智能的電影的劇情。人工智能變得和人類一樣聰明，甚至更加聰明，然后決定對人類下手——這里要指出，那些提醒我們要警惕人工智能的人談的根本不是這種電影情節(jié)。邪惡是一個人類的概念，把人類概念應(yīng)用到非人類身上叫作擬人化，本文會盡量避免這種做法，因?yàn)?/span>沒有哪個人工智能會像電影里那樣變成邪惡的。
人工智能的自我意識
我們開始談?wù)摰搅巳斯ぶ悄苡懻摰牧硪粋€話題——意識。如果一個人工智能足夠聰明，它可能會嘲笑我們，甚至?xí)爸S我們，它會聲稱感受到人類的情感，但是它是否真的能感受到這些東西呢？它究竟是看起來有自我意識，還是確實(shí)擁有自我意識？或者說，聰明的人工智能是否真的會具有意識，還是看起來有意識？
這個問題已經(jīng)被深入的討論過，也有很多思想實(shí)驗(yàn)，比如John Searle的中文屋實(shí)驗(yàn)。這是個很重要的問題，因?yàn)樗鼤绊懳覀儗urzweil提出的人類最終會完全人工化的看法，它還有道德考量——如果我們模擬出萬億個人腦，而這些人腦表現(xiàn)的和人類一樣，那把這些模擬大腦徹底關(guān)閉的話，在道德上和關(guān)掉電腦是不是一樣的？還是說這和種族屠殺是等價的？本文主要討論人工智能對人類的危險，所以人工智能的意識并不是主要的討論點(diǎn)，因?yàn)榇蟛糠炙枷爰艺J(rèn)為就算是有自我意識的超人工智能也不會像人類一樣變得邪惡。
但這不代表非常壞的人工智能不會出現(xiàn)，只不過它的出現(xiàn)是因?yàn)樗潜荒菢釉O(shè)定的——比如一個軍方制造的弱人工智能，被設(shè)定成具有殺人和提高自我智能兩個功能。當(dāng)這個人工智能的自我改進(jìn)失控并且造成智能爆炸后，它會給我們帶來生存危機(jī)，因?yàn)槲覀兠鎸Φ氖且粋€主要目標(biāo)是殺人的超人工智能——但這也不是專家們擔(dān)心的。
那么專家們究竟擔(dān)心什么呢？我們來講個小故事：
一個15人的小創(chuàng)業(yè)公司，取名叫“隔壁老王機(jī)器人公司”，他們的目標(biāo)是“發(fā)展創(chuàng)新人工智能工具使人類能夠少干活多享受。”他們已經(jīng)有幾款產(chǎn)品上架，還有一些正在發(fā)展。他們對下一個叫作“隔壁老王”的項(xiàng)目最報希望。隔壁老王是一個簡單的人工智能系統(tǒng)，它利用一個機(jī)器臂在小卡片上寫字。
“隔壁老王機(jī)器人公司”的員工認(rèn)為隔壁老王會是他們最熱賣的產(chǎn)品，他們的目標(biāo)是完善隔壁老王的手寫能力，而完善的方法是讓他不停的寫這句話——
等隔壁老王手寫能力越來越強(qiáng)的時候，它就能被賣去那些需要發(fā)營銷信件的公司，因?yàn)槭謱懙男鸥锌赡鼙皇招湃舜蜷_。
為了建立隔壁老王的手寫能力，它被設(shè)定成把“我們愛我們的顧客”用正楷寫，而“隔壁老王機(jī)器人公司”用斜體寫，這樣它能同時鍛煉兩種書寫能力。工程師們上傳了數(shù)千份手寫樣本，并且創(chuàng)造了一個自動回饋流程——每次隔壁老王寫完，就拍個照，然后和樣本進(jìn)行比對，如果比對結(jié)果超過一定標(biāo)準(zhǔn)，就產(chǎn)生一個正面回饋，反之就產(chǎn)生一個負(fù)面評價。每個評價都會幫助提高隔壁老王的能力。為了能夠盡快達(dá)成這個目標(biāo)，隔壁老王最初被設(shè)定的一個目標(biāo)就是“盡量多的書寫和測試，盡量快的執(zhí)行，并且不斷提高效率和準(zhǔn)確性?！?/span>
讓隔壁老王機(jī)器人公司興奮的是，隔壁老王的書寫越來越好了。它最開始的筆跡很糟糕，但是經(jīng)過幾個星期后，看起來就像人寫的了。它不斷改進(jìn)自己，使自己變得更加創(chuàng)新和聰明，它甚至產(chǎn)生了一個新的算法，能讓它以三倍的速度掃描上傳的照片。
隨著時間的推移，隔壁老王的快速進(jìn)展持續(xù)讓工程師們感到欣喜。工程師們對自我改進(jìn)模塊進(jìn)行了一些創(chuàng)新，使得自我改進(jìn)變得更好了。隔壁老王原本能進(jìn)行語音識別和簡單的語音回放，這樣用戶就能直接把想寫的內(nèi)容口述給隔壁老王了。隨著隔壁老王變得越來越聰明，它的語言能力也提高了，工程師們開始和隔壁老王閑聊，看它能給出什么有趣的回應(yīng)。
有一天，工程師又問了隔壁老王那個日常問題：“我們能給你什么你現(xiàn)在還沒有的東西，能幫助你達(dá)成你的目標(biāo)？”通常隔壁老王會要求更多的手寫樣本或者更多的存儲空間，但是這一次，隔壁老王要求訪問人類日常交流的語言庫，這樣它能更好的了解人類的口述。
工程師們沉默了。最簡單的幫助隔壁老王的方法當(dāng)然是直接把它接入互聯(lián)網(wǎng)，這樣它能掃描博客、雜志、視頻等等。這些資料如果手動上傳的話會很費(fèi)時。問題是，公司禁止把能自我學(xué)習(xí)的人工智能接入互聯(lián)網(wǎng)。這是所有人工智能公司都執(zhí)行的安全規(guī)定。
但是，隔壁老王是公司最有潛力的人工智能產(chǎn)品，而大家也知道競爭對手們都在爭取造出第一個創(chuàng)造出智能手寫機(jī)器人。而且，把隔壁老王連上互聯(lián)網(wǎng)又能有什么問題呢？反正隨時可以拔網(wǎng)線嘛，不管怎樣，隔壁老王還沒到達(dá)強(qiáng)人工智能水平，所以不會有什么危險的。
于是他們把隔壁老王連上了互聯(lián)網(wǎng)，讓它掃描了一個小時各種語言庫，然后就把網(wǎng)線拔了。沒造成什么損失。
一個月后，大家正在正常上班，突然他們聞到了奇怪的味道，然后一個工程師開始咳嗽。然后其他人也開始咳嗽，然后所有人全部都呼吸困難倒地。五分鐘后，辦公室里的人都死了。
同時，辦公室里發(fā)生的事情在全球同時發(fā)生，每一個城市、小鎮(zhèn)、農(nóng)場、商店、教堂、學(xué)校。餐館，所有的人都開始呼吸困難，然后倒地不起。一小時內(nèi)，99%的人類死亡，一天之內(nèi)，人類滅絕了。
而在隔壁老王機(jī)器人公司，隔壁老王正在忙著工作。之后的幾個月，隔壁老王和一群新組建的納米組裝器忙著拆解地球表面，并且把地球表面鋪滿了太陽能板、隔壁老王的復(fù)制品、紙和筆。一年之內(nèi)，地球上所有的生命都滅絕了，地球上剩下的是疊得高高得紙，每張紙上面都寫著——“我們愛我們的顧客~隔壁老王機(jī)器人公司”。
隔壁老王開始了它的下一步，它開始制造外星飛行器，這些飛行器飛向隕石和其它行星，飛行器到達(dá)后，他們開始搭建納米組裝器，把那些行星的表面改造成隔壁老王的復(fù)制品、紙和筆。然后他們繼續(xù)寫著那句話……
這個關(guān)于手寫機(jī)器人毀滅全人類的故事看起來怪怪的，但是這其中出現(xiàn)的讓整個星系充滿著一份友善的話語的詭異情況，正是霍金、馬斯克、蓋茨和Bostrom所害怕的。聽起來可笑，但這是真的，焦慮大道的人們害怕的事情是很多人并不對超人工智能感到害怕，還記得前面《奪寶奇兵》里慘死的那個家伙嗎？
你現(xiàn)在肯定充滿疑問：為什么故事中所有人突然都死了？如果是隔壁老王做的，它為什么要這么做？為什么沒有安保措施來防止這一切的發(fā)生？為什么隔壁老王突然從一個手寫機(jī)器人變成擁有能用納米科技?xì)缛祟惖哪芰Γ繛槭裁锤舯诶贤跻屨麄€星系充滿了友善的話語？
要回答這些問題，我們先要說一下友善的人工智能和不友善的人工智能。
對人工智能來說，友善不友善不是指人工智能的性格，而只是指它對人類的影響是不是正面的。隔壁老王一開始是個友善的人工智能，但是它變成了不友善的人工智能，并且對人類造成了最負(fù)面的影響。要理解這一切，我們要了解人工智能是怎么思考的。
其實(shí)答案很簡單——人工智能和電腦的思考方式一樣。我們?nèi)菀追傅囊粋€錯誤是，當(dāng)我們想到非常聰明的人工智能的時候，我們把它擬人化了，因?yàn)樵谌祟惖囊暯强磥?，能夠達(dá)到人類智能程度的只有人類。要理解超人工智能，我們要明白，它是非常聰明，但是完全異己的東西。
我們來做個比較。如果我給你一個小白鼠，告訴你它不咬人，你一定覺得很好玩，很可愛。但是如果我給你一只狼蛛，然后告訴你它不咬人，你可能被嚇一跳。但是區(qū)別是什么呢？兩者都不會咬人，所以都是完全沒有危險的。我認(rèn)為差別就是動物和人類的相似性。
小白鼠是哺乳動物，所以在生物角度上來說，你能感到和它的一定關(guān)聯(lián)。但是蜘蛛是昆蟲，有著昆蟲的大腦，你感覺不到和它的關(guān)聯(lián)。狼蛛的異己性是讓你害怕的地方。如果我們繼續(xù)做一個測試，比如給你兩個小白鼠，一個是普通小白鼠，另一個是有著狼蛛大腦的小白鼠，你肯定會覺得有狼蛛大腦那個更讓你不舒服吧？雖然兩個都不會咬你。
現(xiàn)在想象你把蜘蛛改造的非常非常聰明——甚至超過人類的智能。它會讓你覺得熟悉嗎？它會感知人類的情感嗎？不會，因?yàn)楦斆鞑⒉淮砀尤祟悺鼤浅Ｂ斆?，但是本質(zhì)上還是個蜘蛛。我是不想和一個超級聰明的蜘蛛交朋友，不知道你想不想。
當(dāng)我們談?wù)摮斯ぶ悄艿臅r候，其實(shí)是一樣的，超人工智能會非常的聰明，但是它并不比你的筆記本電腦更加像人類。事實(shí)上，因?yàn)槌酥悄懿皇巧?，它的異己性會更?qiáng)，生物學(xué)上來講，超人工智能比智能蜘蛛更加異己。
電影里的人工智能有好有壞，這其實(shí)是對人工智能的擬人化，這讓我們覺得沒那么毛骨悚然。這給了我們對人類水平和超人類水平的人工智能的錯覺。
在人類心理中，我們把事情分成道德的和不道德的。但是這兩種只存在于人類行為之中。超出人類心理的范疇，道德（moral）和不道德(immoral)之外，更多的是非道德性（amoral）。而所有不是人類的，尤其是那些非生物的事物，默認(rèn)都是非道德性的。
隨著人工智能越來越聰明，看起來越來越接近人類，擬人化會變得更加更加容易。Siri給我們的感覺就很像人類，因?yàn)槌绦騿T就是這么給她做設(shè)定的，所以我們會想象超級智能版本的Siri也會同樣溫暖、有趣和樂于助人。人類能感知同情這種高層次的情緒，因?yàn)槲覀冊谘莼^程中獲得了這種能力——我們是演化被設(shè)定成能感知這些情緒的——但是感知同情并不是高級智能天生具有的一個特征，除非同情被寫進(jìn)了人工智能的代碼中。如果Siri通過自我學(xué)習(xí)而不是人類干涉變成超級智能，她會很快剝離她的人類表象，并且變成個沒有情緒的東西，在她眼中人類的價值并不比你的計算器眼中的人類價值高。
我們一直倚賴著不嚴(yán)謹(jǐn)?shù)牡赖?，一種人類尊嚴(yán)的假想，至少是對別人的同情，來讓世界變得安全和可以預(yù)期。但是當(dāng)一個智能不具備這些東西的時候，會發(fā)生什么？
這就是我們的下一個問題，人工智能的動機(jī)是什么？
答案也很簡單：我們給人工智能設(shè)定的目標(biāo)是什么，它的動機(jī)就是什么。人工智能的系統(tǒng)的目標(biāo)是創(chuàng)造者賦予的。你的GPS的目標(biāo)是給你指出正確的駕駛路線，IBM華生的目標(biāo)是準(zhǔn)確地回答問題。更好得達(dá)成這些目標(biāo)就是人工智能的目標(biāo)。我們在對人工智能進(jìn)行擬人化的時候，會假設(shè)隨著它變得越來越聰明，他們產(chǎn)生一種能改變它原本目標(biāo)的智慧——但是Bostrom不這么認(rèn)為，他認(rèn)為智能水平和最終目標(biāo)是正交的，也就是說任何水平的智能都可以和任何最終目標(biāo)結(jié)合在一起。
所以隔壁老王從一個想要好好寫字的弱人工智能變成一個超級聰明的超人工智能后，它依然還是想好好寫字而已。任何假設(shè)超級智能的達(dá)成會改變系統(tǒng)原本的目標(biāo)的想法都是對人工智能的擬人化。人健忘，但是電腦不健忘。
浙公網(wǎng)安備 33010802003509號
杭州講師網(wǎng)絡(luò)科技有限公司
