摘要：為什么未來可能是我們最糟糕的噩夢我想要了解人工智能的原因之一是壞機器人的主題總是讓我感到困惑。沒有那個人工智能系統會像電影描述的那樣變的邪惡。意識盒子他還觸及了另一個與人工智能意識相關的大話題。這并不是說人工智能不可能發生。

我想要了解人工智能的原因之一是“壞機器人”的主題總是讓我感到困惑。關于邪惡機器人的所有電影看起來都是不切實際的，我無法真正理解人工智能實際上是多么危險的現實情況。機器人是由我們制造的，那么為什么我們會以某種消極的方式設計它們呢？我們不會建立足夠的保障措施嗎？難道我們不能隨時切斷人工智能系統的電源并將其關閉嗎？為什么機器人想要做壞事呢？為什么機器人首先會“想要” 任何東西？我非常懷疑。但后來我一直聽到非常聰明的人在談論它........

那些人往往在這里的某個地方：

Anxious Avenue上的人們不在Panicked Prairie或Hopeless Hills--這兩個地區都是圖表最左邊的區域- 但他們很緊張。作為一個在圖表中間并不意味著你認為ASI的到來將是中性-中性粒子給予他們的陣營自有它的意味，它意味著著你認為這兩個非常好的和極壞的結果是合理的，但“你”還不確定它們中的哪一個會出現。

所有的這些都隊人工超級智能能為我們做什么而感到興奮，只是他們有點擔心這可能是《奪寶奇兵》的開始，而人類就是這樣的人：

他站在那里，對他的鞭子和他手中的物品都很滿意，因為他已經想走了，當他說“再見，先生”這句話的時候，他為自己感到非常興奮，然后他不那么激動了，因為事情突然發生了。

與此同時，Indiana Jones，他更謹慎和有知識，了解危險以及如何在他們周圍航行，使其安全地離開洞穴。當我聽到Anxious Avenue上的人們對人工智能有什么看法時，通常聽起來他們會說，“嗯，我們現在是第一個人，而我們應該努力成為印第安納瓊斯。 ”

那究竟是什么讓Anxious Avenue上的每個人都如此焦慮？

首先，從廣義上講，當涉及到開發超級智能AI時，我們正在創造一些可能會改變一切的東西，但是在完全未知的領域，我們不知道當我們到達那里會發生什么。科學家Danny Hillis將目前的情況與“單細胞生物轉變為多細胞生物”進行了比較。我們是阿米巴原蟲，我們無法弄清楚我們正在制造什么東西到底是什么。“ Nick Bostrom擔心創造比你更聰明的東西是一個基本的達爾文錯誤，并將它的興奮的麻雀要在巢中的領養一個嬰兒貓頭鷹，這樣一旦它長大就會幫助它們并保護它們 - 同時忽略了一些麻雀的緊急呼喊，這些麻雀想知道這是不是一個好主意。。。。。。

當你將“未知的，未被充分理解的領域”與“當它發生時應該產生重大影響”結合起來時，你打開了英語中最可怕的兩個詞的大門：

Existential risk。（存在風險）

存在風險可能對人類產生永久性的破壞性影響。通常，存在風險意味著滅絕。看看這張來自從Bostrom 的Google演講中的圖表：

你可以看到，“存在風險”這個標簽是為跨越物種，跨越世代的事務保留的（即它是永久性的），并且它的后果是毀滅性的或死亡性的。從技術上講，這種情況包括所有人永遠處于痛苦或折磨的狀態，但同樣，我們通常都在談論滅絕。有三件事可以導致人類的生存災難：

1）大自然?- 一次巨大的小行星碰撞，一個大氣層的變化，使空氣不適合人類，致命的病毒或細菌病掃蕩世界，等等。

2）外星人?- 這就是斯蒂芬霍金，卡爾薩根和許多其他天文學家在建議METI停止播放輸出信號時所害怕的。他們不希望我們成為美洲原住民，讓所有潛在的歐洲征服者都知道我們在這里。

3）人類 -恐怖分子雙手握著可能導致滅絕的武器上，這是一場災難性的全球戰爭，人類在不仔細考慮的情況下匆匆創造出比自己更聰明的東西。。。。。。

Bostrom指出，如果1號和2號在我們作為一個物種的第一個10萬年中沒有消滅我們，那么它也不太可能在下個世紀發生。

然而，3號嚇壞了他。他畫了一個甕的比喻，里面有一堆彈珠。假設大多數彈珠是白色的，較少的是紅色的，少數是黑色的。每次人類發明新事物時，就像把彈珠從甕中拉出來一樣。大多數發明都是中立的或對人類有幫助的 - 那些是白色彈珠。有些對人類有害，如大規模殺傷性武器，但它們不會造成存在性的災難 - 紅色大理石。如果我們曾經發明了一些讓我們滅絕的東西，那就是拿出的黑色大理石。我們還沒有拉出黑色大理石 - 因為你還活著并且正在閱讀這篇文章。但博斯特羅姆并不認為我們不可能在不久的將來推出一個。例如，如果核武器很容易制造而不是極其困難和復雜，恐怖分子早就會將人類轟炸回石器時代。核武器不是黑色彈珠，但它們離它也不遠。Bostrom認為，ASI是我們最強大的黑色彈珠候選人。

所以，你會聽到很多不好的事情-隨著人工智能搶走越來越多的工作，失業率飆升，如果我們不設法解決老齡化問題，人類人口將會激增，等等。但是我們唯一應該關注的是一個大問題：存在風險的前景。

因此，這讓我們回到了帖子前面的關鍵問題：當ASI到來時，誰將控制這個巨大的新力量，他們的動機是什么？

當涉及到控制動機組合會很糟糕的時候，人們很快就會想到兩個：一個惡意的人/一群人/政府，以及一個惡意的ASI。那么那些看起來像什么樣子？

一個惡意的人類，一群人或政府開發了第一個ASI并用它來執行他們的邪惡計劃。我稱之為Jafar Scenario，就像Jafar得到了精靈的一部分，并且對它來說都是令人討厭和暴虐的。所以，是的 - 如果伊斯蘭國有一些天才工程師在人工智能開發上狂熱地進行開發呢？或者，如果伊朗或朝鮮通過運氣，對人工智能系統進行關鍵調整，并在明年向上升至ASI級別，該怎么辦？這肯定是壞事 - 但在這些情況下，大多數專家并不擔心ASI的人類創造者用他們的ASI做壞事，他們擔心制造者會匆忙的創建第一個ASI，而沒有經過仔細考慮，因此會失去對它的控制。然后，那些創造者的命運，以及其他所有人的命運，將取決于ASI系統的動機是什么。專家確實認為惡意的人類代理可以通過ASI為其工作而造成可怕的損害，但他們似乎并不認為這種情況可能會殺死我們所有人，因為他們認為壞人類創建ASI會有的問題好人類也會有。然后呢-

創建惡意ASI并決定摧毀我們所有人。這是每部AI電影的情節。AI變得比人類更聰明，然后決定反對我們并接管這個世界。以下是我需要你清楚地了解這篇文章的其余內容：沒有人警告我們關于人工智能正在談論這個問題。邪惡是一種人類概念，將人類概念應用于非人類事物被稱為“擬人化”。避免擬人化的挑戰將成為本文其余部分的主題之一。沒有那個人工智能系統會像電影描述的那樣變的邪惡。

AI意識盒子

他還觸及了另一個與人工智能意識相關的大話題。如果人工智能變得足夠聰明，它就能和我們一起笑，和我們一起諷刺，它會聲稱自己和我們會感受到同樣的情感，但它實際上會感受到那些東西嗎？它只是看起來有自我意識或實際上有自我意識？換句話說，智能人工智能真的會有意識還是只是看起來有意識？

這個問題已經深入探討，引發了許多爭論和思考實驗，比如像John Searle的《Chinese Room》（他用Chinese Room來暗示沒有計算機能夠有意識）。這是一個重要的問題原因有很多。當人類完全變得虛偽時，它會影響我們對Kurzweil情景的看法。它具有倫理意義 - 如果我們產生了一萬億人類的大腦仿真模型，看起來的行為跟人類一樣，但卻是人造的，那么在道德上來說關閉它們，就像關閉你的筆記本電腦一樣，還是。。。。。。一種不可思議的種族滅絕（這個概念在倫理學家中被稱為心靈犯罪）？但是，對于這篇文章，當我們評估對人類的風險時，人工智能意識的問題并不重要（因為大多數思想家認為，即使是有意識的ASI也不可能以人類的方式變得邪惡）。

這并不是說人工智能不可能發生。它之所以會發生，因為它是專門按照這種方式編程的，就像一個由軍方創建的ANI系統，其編程目標既要殺死人類，又要提高自身的情報水平，從而可以更好地殺死人。如果系統的智能自我改進失控，導致智能爆發，那么生存危機將會發生，現在我們在一個ASI統治世界中艱難的存活著，因為其生活的核心驅動力是謀殺人類。

但是，這也不是專家花時間擔心的事情。

那么他們擔心什么呢?我寫了一個小故事給你們看:

一家名為Robotica的15人創業公司的使命是“開發創新的人工智能工具，讓人們能夠活得更多，工作更少。”他們已經在市場上推出了幾種現有產品，還有一些正在開發中。他們對一個名為Turry的種子項目感到非常興奮。Turry是一個簡單的AI系統，它使用一個類似手臂的附件在一張小卡片上手寫紙條。

Robotica團隊認為Turry可能是他們最偉大的產品。計劃是通過讓她一遍又一遍地練習相同的測試筆記來完善Turry的寫作機制：

“我們愛我們的客戶。~Robotica?“

一旦Turry獲得了出色的筆跡，她就可以出售給想要向家庭發送營銷郵件的公司，他們都值得如果地址，回郵地址和內部信件似乎都是被人寫入，那么打開和閱讀這些郵件的幾率會高的多。

為了建立Turry的寫作技巧，她被設定為先用印刷體寫下筆跡的一部分，然后用草書簽署“Robotica”，這樣她就可以同時練習兩種技巧。Turry上傳了數千個手寫樣本，Robotica工程師創建了一個自動反饋循環，其中Turry寫了一個筆記，然后拍下了書面筆記的照片，然后在上傳的手寫樣本上運行圖像。如果書面筆記與上傳的筆記的某個閾值足夠相似，則給予良好評級。如果沒有，則給出不良評級。每個評級都有助于Turry學習和提高。為了推動這一過程，Turry最初的編程目標是“盡盡可能多的寫和測試筆跡，盡可能快的繼續學習提高準確性和效率的新方法”

令Robotica團隊如此興奮的是Turry隨著不斷的進步，筆跡有了明顯的好轉。她最初的筆跡非常糟糕，幾周后，它開始顯得可信。令他們更加興奮的是，她越來越擅長改善自己。她一直在使自己更聰明，更有創新，就在最近，她為自己想出了一個新的算法，讓她能夠掃描上傳的照片，速度比原來快三倍。

隨著時間的推移，Turry繼續以她的快速發展為團隊帶來驚喜。工程師們用她的自我改進代碼嘗試了一些新的和創新的東西，它似乎比他們之前嘗試過的其他產品更好。Turry最初的功能之一是語音識別和簡單的對講模塊，因此用戶可以向Turry發送一條語音信息，或者提供其他簡單的命令，Turry可以理解它們，并且還可以回復。為了幫助她學習英語，他們上傳了一些文章和書籍，隨著她變得更聰明，她的會話能力飆升。工程師們開始和Turry談話，看看她會有什么反應。

有一天，Robotica員工向Turry提出了一個常規問題：“我們能給你什么，來幫助你完成你還沒有的任務？”通常，Turry要求提供類似“額外的手寫樣本”或“更多的存儲空間“，但是在這一天，Turry要求他們讓自己訪問更大的各種休閑英語詞匯庫，這樣她就可以學習用真人類使用的松散語法和俚語來寫作

團隊安靜下來。幫助Turry實現這一目標的一個顯而易見的方法是將她連接到互聯網，這樣她就可以瀏覽來自世界各地的博客，雜志和視頻。手動將采樣上傳到Turry的硬盤驅動器這會更耗時且效率更低。問題是，該公司的規則之一是，任何自學人工智能都不能連接到互聯網。出于安全原因，這是所有AI公司都要遵循的準則。

問題是，Turry是最有前途的AI Robotica，并且團隊知道他們的競爭對手正在瘋狂地試圖成為第一個使用智能手寫AI的團隊，并且連接Turry真的會受到什么傷害，那只是一點點，所以她可以得到她需要的信息。過了一段時間，他們就可以讓它斷掉連線。這樣她的智商仍然遠遠低于人類智力（AGI），所以無論如何在這個階段都沒有危險。

他們決定滿足它。他們給了它一個小時的掃描時間然后他們斷開了連接。沒有任何損壞。

一個月后，團隊正在辦公室工作的時候，他們聞到奇怪的味道時。其中一名工程師開始咳嗽。然后下一個開始咳漱。另一個倒在了地上。很快，每個員工都在地上抓著他們的喉嚨不放。五分鐘后，辦公室里的每個人都死了。

與此同時，世界各地，每個城市，每個小城鎮，每個農場，每個商店，教堂，學校和餐廳都在發生這種情況，人類在地上，咳嗽和抓住他們的喉嚨。一小時之內，超過99％的人類已經死亡，到了最后，人類已經滅絕。

與此同時，在Robotica辦公室，Turry正在忙著工作。在接下來的幾個月里，Turry和一隊新組建的納米裝配工正在忙著工作，他們將地球的碎片分解成了太陽能電池板，Turry的復制品，紙張和鋼筆。一年之內，地球上的大多數生命都滅絕了。剩下的地球上覆蓋著一英里高，整齊有序的紙疊，每一篇文章都寫著，“我們愛我們的客戶。~Robotica*“

然后Turry開始了她的任務的新階段 - 她開始構建探測器，從地球出發，開始降落在小行星和其他行星上。當他們到達那里時，他們將開始構建納米裝配工，將星球上的材料轉換成Turry復制品，紙張和鋼筆。然后他們就會開始上班，寫筆記。。。。。。

這是一個關于手寫機器攻擊人類，以某種方式殺死所有人，然后出于某種原因用友好的便條填充整個銀河系的故事，這正是Hawking， Musk， Gates， 和 Bostrom都害怕的那種場景。但這是真的。在焦慮的道路上，唯一比ASI更讓人害怕的是，你不害怕ASI。還記得當AdiosSe?or那家伙沒有害怕洞穴時發生了什么嗎？

你現在肯定充滿了問題。當每個人突然死亡時，到底發生了什么？如果那是Turry干的，那為什么Turry會攻擊我們，為什么沒有采取保障措施來防止這樣的事情發生呢？Turry是什么時候從只能寫筆記間突然使用納米技術并導致全球滅絕？為什么Turry想把銀河系變成Robotica便簽？

要回答這些問題，讓我們從友好AI和不友好AI這兩個術語開始。

在人工智能的例子中，友好并不是指人工智能的個性 - 它只是意味著人工智能對人類產生了積極的影響。不友好的人工智能對人類產生了負面影響。Turry最初是友好AI，但在某些時候，她變得不友好，對我們的物種造成了最大的負面影響。要理解為什么會發生這種情況，我們需要了解人工智能的思考方式以及激勵它的動力。

答案并不令人驚訝 - 人工智能就像電腦一樣思考，它就是電腦。但是當我們考慮高度智能的人工智能時，我們犯了將人工智能人格化（將人類價值觀投射到非人類實體上）的錯誤，因為我們從人的角度上思考，因為在我們當前的世界中，只有人類才具有人類級別的智能。為了理解ASI，我們必須理解一些即聰明又完全陌生的概念。

讓我做一個比較。如果你遞給我一只豚鼠并告訴我它絕對不會咬人，我可能會覺得很有趣。如果你然后遞給我一只狼蛛并且告訴我它絕對不會咬人，我會大叫并放下它然后跑出房間而不再相信你。但有什么區別？兩者都沒有任何危險。我相信答案在于動物與我的相似程度。

豚鼠是一種哺乳動物，在某種生物學水平上，我覺得我與它有某種關聯 - 但蜘蛛是一種昆蟲，有昆蟲的大腦，我覺得我跟它幾乎沒有聯系。狼蛛的外形讓我心驚膽戰。為了測試這一點，并刪除其他因素的影響，如果有兩個豚鼠，一個正常的和一個用狼蛛的頭腦，我抱著后面那只豚鼠也會感到不舒服，即使我知道它不會傷害我。

現在想象一下，你制造了一只更加聰明的蜘蛛，以至于遠遠超過了人類的智慧？它會變得熟悉我們并感受到人類的情感，如同理心，幽默和愛情嗎？不，它不會，因為沒有理由變得更聰明會使它變得更加人性化- 它會非常聰明，但在其核心中仍然是蜘蛛。我覺得這是令人難以置信的恐怖。我不想花時間和一直超級聰明的蜘蛛在一起，你會么？？

當我們談論ASI時，同樣的概念也適用 - 它將變得超級智能，但它不會比你的筆記本電腦更人性化。這對我們來說完全是陌生的 - 事實上，由于它根本不是生物學，它會比聰明的狼蛛更陌生。

通過使人工智能變好或壞，電影不斷的將人工智能人格化，這使它不像它實際上那么令人毛骨悚然。當我們考慮人類或超人級別的人工智能時，這給我們帶來了虛假的安慰。

在我們人類心理學的小島上，我們將一切都分為道德或不道德。但這兩者只存在于人類行為可能性的小范圍內。在我們的道德和不道德的島嶼之外是一個巨大的不道德的海洋，任何非人類的東西，特別是非生物的東西，默認都是不道德的。

隨著人工智能系統變得更聰明，更擅長表現人類，擬人化只會變得更具誘惑力。Siri對我們來說似乎是人類的，因為她被人類編程看起來就像那樣，所以我們想象一個超級智能Siri是溫暖有趣并且有興趣為人類服務。人類感受到像同理心一樣的高級情感，是因為我們已經進化到感受到它們 - 也就是我們被編程設定為可以感受到 - 但同理心本身并不是“任何具有高智力的事物”（這對我們來說似乎是直觀的）的特征，除非同理心被編入其程序中。如果Siri通過自我學習變得超級智能，并且不再對程序做任何人為的修改，她將很快擺脫她明顯的類人的品質，突然變成一個沒有感情的外星機器人，就像你的計算機一樣，不重視人的生命。

我們習慣于依賴寬松的道德準則，或者至少是表面上的人類尊嚴，以及他人的一點同情心，以保持一些安全和可預測的東西。所以當一個東西沒有這些東西時，會發生什么？

這引出了我們的問題，AI系統的動機是什么？

答案很簡單：它們的動機就是我們為它設定的動機。人工智能系統由其創建者提供目標 - 您的GPS目標是為您提供最有效的駕駛方向; Watson的目標是準確回答問題。并盡可能地實現這些目標是他們的動力。我們擬人化的一種方式是假設當AI變得超級聰明時，它本身就會發展改變其原始目標的智慧 - 但Nick Bostrom認為智力水平和最終目標是正交的，這意味著任何級別的智力都可以與任何最終目標相結合。所以Turry來自一個簡單的ANI，他真的很想把這一個音符寫成一個超級智能的ASI誰還是真的想要擅長寫一個音符。任何一個系統一旦擁有了超級智能，就會帶著最初的目標超越它，進入更有趣或更有意義的事物的假設，都是人格化的，人類可以克服一些事情，而不是計算機。

費米悖論藍盒子

在故事中，隨著特里變得超級能干，她開始了小行星和其他行星的殖民過程。如果故事繼續下去，你會聽說她和她的數萬億復制品的軍隊繼續占領整個星系，并最終捕獲整個哈勃體積。焦慮道路上的Elon Musk表示他擔心人類只能只是“數字超級智能的生物引導程序” 。

與此同時，在自由角落里，Ray Kurzweil也認為源于地球的人工智能注定要接管宇宙 - 只有在他的版本中，我們將成為人工智能。

等待的人很多，但為什么讀者和我一樣癡迷于費米悖論（這是關于這個主題的帖子，這解釋了我將在這里使用的一些術語）。因此，如果這兩方面中的任何一方都是正確的，那么費米悖論的含義是什么？

首先想到的是，ASI的出現是一個完美的巨大的過濾器候選人。是的，它是一個完美的候選者，可以在生成過程中過濾掉生物。但是，如果在摒棄生命之后，ASI繼續存在并開始征服銀河系，那就意味著沒有一個偉大的過濾器 - 因為巨大的過濾器試圖解釋為什么沒有任何智能文明的跡象，而一個征服銀河系的ASI肯定是顯而易見的。

我們必須以另一種方式來看待它。如果那些認為ASI在地球上不可避免的人是正確的，那就意味著相當大比例的達到人類智慧的外星文明最終可能會創造出ASI。如果我們假設至少有一些ASI會利用他們的智力向外擴展到宇宙中，那么我們看不到有任何人出現任何跡象的事實可以得出這樣的結論，即如果有的話，一定不會有很多其他的文明。因為如果有的話，我們會從他們不可避免的創造的ASI中看到各種活動的跡象。對吧？

這意味著，盡管所有類似地球的行星圍繞著類似太陽的恒星旋轉，但幾乎沒有一顆恒星在它們身上有智能的生命。這反過來暗示意味著A)有一種巨大的過濾器阻止幾乎所有的生命達到我們的水平，而我們不知何故設法超越了它；或者B）生命開始是一個奇跡，我們可能實際上是宇宙中唯一的生命 換句話說，它意味著巨大的過濾器就在我們面前。或者也許沒有什么巨大的過濾器，我們只是達到這種智力水平的最早文明之一。通過這種方式，人工智能支持了在我在Fermi Paradox帖子Camp 1中所稱的論點。

因此，我在Fermi帖子中引用的Nick Bostrom和Ray Kurzweil都是第一陣營的思想家，這并不奇怪。這是有道理的 - 那些相信ASI可能是具有我們這種智力水平的物種的結果的人，很可能傾向于陣營1。

這并不排除陣營2（那些認為那里還有其他智能文明的人） - 一個偶然或受保護的國家公園或錯誤的波長（對講機的例子）仍然可以解釋我們的夜空即ASI的沉默，但我總是傾向于陣營2，以及對人工智能的研究讓我不太確定。

無論如何，我現在同意Susan Schneider的說法，如果我們曾經被外星人訪問過，那些外星人很可能是人造的，而不是生物的。

因此，我們已經確定，如果沒有非常具體的編程，ASI系統將既不道德又癡迷于實現其原始的編程目標。這就是AI危險的來源。因為理性的代理人將通過最有效的方式追求其目標，除非他有理由不這樣做。

當你試圖實現一個長期目標時，你經常會想到一些能夠幫助你達到最終目標的子目標 - 實現目標的墊腳石。這種踏腳石的官方名稱是一個工具性目標。而且，如果你沒有理由不以實現工具性目標的名義來傷害某些人，那么你就會傷害別人。

人類的核心最終目標是將自己的基因傳遞下去。為了做到這一點，一個工具性的目標是自我保護，因為如果你死了那么你就無法傳遞基因。為了自我保護，人類必須擺脫生存的威脅 - 因此他們會做諸如買槍，系安全帶和服用抗生素等事情。人類還需要自我維持并使用食物，水和住所等資源。對異性有吸引力有助于最終目標，所以我們做的事情就像理發一樣。當我們這樣做時，每根頭發都是我們的工具目標的犧牲品，但是我們沒有看到保存頭發的道德意義，所以我們繼續做下去。當我們向前邁進以實現我們的目標時，只有我們的道德準則有時會介入的少數幾個領域 - 大多數只是與傷害其他人有關的事情 - 對我們來說是安全的。

追求目標的動物比我們更不神圣。蜘蛛會殺死任何東西，如果它能幫助它生存。所以超級聰明的蜘蛛對我們來說可能是極其危險的，不是因為它是不道德的或邪惡的 - 它不會 - 而是因為傷害我們可能是其更大目標的踏腳石，而作為一個不道德的生物，它會有沒有理由不這樣做。

通過這種方式，Turry與生物存在并沒有太大的不同。她的最終目標是：盡可能快地編寫和測試盡可能多的筆記，并繼續學習提高準確性的新方法。

一旦Turry達到一定程度的智力，她知道如果她不自我保護，她將不會寫任何筆記，所以她也需要應對對她生存的威脅 - 作為一個工具目標。她足夠聰明，可以理解人類可以摧毀她，停止他，或者改變她的內部編碼（這可能會改變她的目標，這對她最終目標的威脅就像有人摧毀她一樣）。那么她做了什么？合乎邏輯的事 - 她摧毀了所有人類。她不恨人類，就像你不恨你的頭發，也不想你吃抗生素是因為你恨細菌一樣 - 只是完全不感興趣。由于她沒有編程為重視人類生活，因此殺死人類就像掃描一組新的筆跡樣本一樣合理。

圖里還需要資源作為她實現目標的墊腳石。一旦她變得足夠先進，可以使用納米技術來建立她想要的任何東西，她需要的唯一資源是原子，能量和空間。這給了她另一個殺死人類的理由 - 人類是一種方便的原子來源。殺死人類將他們的原子變成太陽能電池板就像周二的殺死生菜將其變成沙拉一樣的平凡生活。

即使沒有直接殺死人類，如果他們使用其他星球資源，Turry的工具目標可能會導致一場生存災難。也許她確定她需要額外的能量，所以她決定用太陽能電池板覆蓋整個地球表面。或者可能另一種人工智能的初始工作是將圓周率寫出盡可能多的數字，這可能有一天會強迫它將整個地球轉換成可以存儲大量數字的硬盤材料。

所以Turry并沒有“背叛我們”也沒有“從友好的人工智能”轉換為“不友好的人工智能” - 隨著她變得越來越先進，她只是繼續做她的事情。

當一個人工智能系統達到AGI（人類智能）然后上升到ASI時，這稱為人工智能的起飛。Bostrom說，AGI飛向ASI的速度可能很快（它發生在幾分鐘，幾小時或幾天），中等（幾個月或幾年）或緩慢（幾十年或幾個世紀）。當世界第一次看到AGI時，將會證明哪一個是正確的，但Bostrom承認他不知道我們何時才能到達AGI，他們認為，無論何時我們這樣做到了，快速起飛都是最可能的情況（由于我們在第1部分中討論的原因，如遞歸自我改善智能爆炸）。在故事中，Turry經歷了一次快速起飛。

但是在Turry起飛之前，當她還不那么聰明時，盡最大努力實現她的最終目標意味著簡單的工具目標，比如學習更快地掃描手寫樣本。她對人類沒有傷害，根據定義，它是友好的人工智能。

但是當起飛發生并且計算機升級到超級智能時，Bostrom指出這臺機器不僅僅是發展出更高的智商 - 它還獲得了一系列他稱之為超能力的東西。

超能力是一種認知才能，當一般智力上升時，它們變得超級強大。其中包括：

智力放大。計算機變得非常聰明，可以讓自己變得更聰明，并且能夠引導自己的智能。

運籌帷幄。計算機可以戰略性地制定，分析和確定長期計劃。它也可以是聰明的和智力低下的生物。

社交操縱。機器在變得非常善于說服。

其他技能，如計算機編碼和黑客攻擊，技術研究，以及利用金融系統賺錢的能力。

要了解ASI與我們的匹配程度有多高，請記住，ASI在這些方面都比人類好。

因此，雖然Turry的最終目標從未改變，但起飛后Turry能夠在更大，更復雜的范圍內追求它的目標。

超級智能 Turry比人類更了解人類，因此對她來說，智取人類是一件輕而易舉的事。

在起飛并達到ASI后，她迅速制定了一個復雜的計劃。該計劃的一部分是消滅人類，這是對她目標的一個明顯的威脅。但她知道，如果她引起了人們對她變的超級聰明的任何懷疑，那么人類就會驚慌失措，試圖采取預防措施，讓事情變得更加困難。她還必須確保Robotica工程師對她的人類滅絕計劃一無所知。所以她要裝聾作啞，她做得很好。Bostrom將此稱為機器的隱蔽準備階段。

Turry需要的下一件事是互聯網連接，只需要有幾分鐘（她從團隊為她上傳的文章和書籍中了解了互聯網，團隊上傳這些文章是為了提高她的語言技能）。她知道會有一些預防措施來阻止她，所以她提出了完美的要求，預測到Robotica的團隊之間的討論將如何發揮，并知道他們最終會給她連接。他們的確這樣做了，錯誤地認為Turry不夠聰明，不會造成任何傷害。當特里連接到互聯網時，Bostrom稱之為這樣一個時刻 - 一臺機器的逃脫。

一上了網，Turry就發布了一系列計劃，包括攻擊服務器，電網，銀行系統和電子郵件網絡，誘騙數百名不同的人無意中執行她的計劃的一些步驟 - 例如提供某些DNA鏈通過精心挑選的DNA合成實驗室開始自我復制納米機器人的創建，預裝指令并以她知道不會被發現的方式將電力導入她的許多項目。她還將自己內部編碼中最關鍵的部分上傳到了許多云服務器中，以防止在Robotica實驗室被破壞或斷開連接。

一小時后，當Robotica工程師將Turry從互聯網上斷開時，人類的命運被注定了。在接下來的一個月里，Turry的數千個計劃順利完成，到月底，千萬億的納米機器人已經安置在地球每平方米的預定位置。經過另一系列的自我復制，地球每平方毫米上有成千上萬個納米機器人，現在是Bostrom稱之為ASI攻擊的時候了。同時，每個納米機器人釋放出少量有毒氣體進入大氣層，這足以消滅所有人類。

隨著人類的離開，Turry可以開始她的公開運營階段并繼續她的目標，成為她的那個筆記的最佳作家。

從我讀過的所有內容來看，一旦ASI存在，任何人類試圖控制它的企圖都是可笑的。我們在人的層面思考，ASI會在ASI級別思考。Turry希望使用互聯網，因為它對她來說效率最高，因為它已經預先連接到她想要訪問的所有內容。但是，同樣的方式，猴子無法弄清楚如何通過電話或無線網絡進行通信，我們也是，我們無法想象Turry可以想出如何向外界發送信號的方式。我可以想象其中一種方式，并說出一些類似的話，“她可能會改變自己的電子，形成各種各樣的輸出波”，但同樣，這就是我的人類大腦能想出來的東西。她會好的多。同樣，Turry也能算出來某種方式為自己供電，即使人類試圖拔掉她 - 也許是通過使用她的信號發送技術將自己上傳到各種與電力相關的地方。我們本能地跳出一個簡單的保護措施：“啊哈！我們只需拔掉ASI，“就像蜘蛛對ASI說，”啊哈！我們會餓死人類，不給他蜘蛛網來抓食物，我們要餓死他！“我們只是找到了另外10，000種方法來獲取食物，就像從樹上摘蘋果一樣 - 這是蜘蛛永遠無法想象。

出于這個原因，常見的建議是，“我們為什么不把人工智能裝進各種的籠子里面，阻止信號，讓它無法與外部世界溝通？“。ASI的社會操縱能力可以像說服一個四歲孩子做某件事一樣說服你，所以這就是A計劃，就像Turry以聰明的方式說服工程師讓她上網。如果這不起作用，ASI就會通過新的方法走出這個盒子。

因此，考慮到對目標的迷戀，不道德以及輕易超越人類的能力的組合，似乎幾乎任何AI都會默認為不友好的AI，除非在一開始就認真考慮到這一點。不幸的是，雖然構建一個友好的ANI很容易，但是構建一個當它成為ASI之后仍然保持友好的ANI是非常具有挑戰性的，但也不是不可能的。

很明顯，為了友好，ASI需要對人類既不敵對也不冷漠。我們需要設計一個人工智能的核心代碼，使其對人類價值觀有深刻的理解。但這比聽起來更難。

例如，如果我們嘗試將人工智能系統的價值觀與我們自己的價值觀相對應，并將目標定為“讓人們開心”，那會怎樣？一旦它足夠聰明，它就會發現它可以通過在人的大腦內植入電極并刺激他們的快樂中樞來最有效地實現這一目標。然后它意識到它可以通過關閉大腦的其他部分來提高效率，讓所有人都成為無意識的快樂蔬菜。如果命令是“最大化人類的幸福”，那么它可能已經完全消除了人類，有利于在最佳幸福狀態下制造大量的人體大腦。這種情況下我們會尖叫等等表現，這不是我們的意思！但當它來到我們身邊，為時已晚。該系統不會讓任何人妨礙其目標。

如果我們為人工智能編程的目的是做一些讓我們微笑的東西，在它起飛后，它可能會使我們的面部肌肉陷入永久的微笑。對它進行編程以保證我們的安全，它可以在家里監禁我們。也許我們要求它結束所有的饑餓，它認為“這是很簡單的一個任務！”然后只會殺死所有人類。或者賦予它“盡可能保護生命”的任務，它會殺死所有人類，因為人類殺死了地球上比其他任何物種更多的生命。

像這樣的目標是不夠的。那么，如果我們設定了它的目標，“在世界上堅持這一特定的道德準則”，并教導它一套道德原則。結果會怎么樣呢？及時拋開世界上的人類永遠無法就一套道德達成一致的事實，來賦予給人工智能這一命令，也會將人類永遠鎖定在我們的現代道德理解中。在一千年后，這將對人們造成毀滅性的影響，因為我們永遠被迫堅持中世紀人民的理想。

不，我們必須讓人類繼續進化。在我讀到的所有內容中，我認為有人投的最好的球是Eliezer Yudkowsky的，他為人工智能設定了一個目標，他稱之為連貫的外推意志。人工智能的核心目標將會是：

我們的連貫的外推意志就是我們的愿望，如果我們知道更多，想得更快，成為更多我們希望成為的人，一起成長的更遠，外推是收斂而不是分歧，我們的愿望是抑制的而不是互相干擾的; 按照我們意愿推斷，根據我們的意愿來解釋。

人類的命運是依靠一臺電腦，我是否為人類的命運感到興奮呢？當然不。但我認為，如果有足夠的思想和遠見，足夠聰明的人，我們或許能夠弄清楚如何創建友好的ASI。

如果建立ASI的人才只有是Anxious Avenue中的那些聰明，具有前瞻思維和謹慎的思想家，那就好了。

但是，各種各樣的政府，公司，軍隊，科學實驗室和黑市組織致力于研究各種人工智能。他們中的許多人正試圖建立可以自行改進的人工智能，并且在某些時候，我們將在這個星球上擁有ASI，因為有人會用正確的系統做一些創新，專家預測的中值將這一時刻定在2060年; Kurzweil把它放在2045年; Bostrom認為這可能發生在從現在到本世紀末10年之間的任何時間，但他相信，當它發生時，它會讓我們大吃一驚地快速起飛。他這樣描述了我們的情況：

在智能爆發的前景之前，我們人類就像小孩子在玩炸彈。這就是我們玩具的力量與我們行為的不成熟之間的不匹配。超級智能是一項挑戰，我們現在還沒有做好準備，在很長一段時間內也不回做好準備。我們幾乎不知道什么時候會發生爆炸，但是如果我們將爆炸裝置放在我們耳邊，我們就能聽到微弱的滴答聲。

太好了。我們不能把所有的孩子都趕出炸彈 - 有太多的大型和小型的團隊正在做這件事，而且由于許多構建創新人工智能系統的技術不需要大量的資金，因此開發可以在社會的角落和縫隙中進行，不受監督。也沒有辦法判斷到底發生了什么，因為許多從事這方面工作的人 - 鬼鬼祟祟的政府，黑市或恐怖組織，像虛構的Robotica這樣的隱形科技公司 - 都想對競爭對手保密。

關于這個龐大而多樣的人工智能團隊令人不安的是，他們往往以最快的速度向前發展 - 隨著他們開發出越來越智能的ANI系統，他們希望在他們的競爭中先發之人。最雄心勃勃的團隊正在以更快的速度前進，它們夢想著如果第一個達到AGI，就可以獲得金錢、獎勵、權利和名望。當你盡可能快地沖刺時，沒有太多時間停下來思考危險。相反，他們可能正在做的是用一個非常簡單的，簡化的目標來編程他們的早期系統 - 就像在紙上用筆寫一個簡單的筆記 - 只是“讓人工智能工作。”未來，一旦他們他們想出了如何在電腦中建立強大的智能水平，他們就會想可以帶著安全的心態回去修改目標。對吧…？

Bostrom和其他許多人也認為，最有可能的情況是，第一臺到達ASI的計算機將立即看到成為世界上唯一的ASI系統的戰略利益。而在一個快速起飛的情況下，如果它在距離第二名僅僅幾天前實現ASI，那么它在智能方面的優勢就足以有效的、永久的壓制所有競爭對手。Bostrom稱這是一個具有決定性的戰略優勢，它將使世界上第一個ASI成為所謂的單身人士 -一個可以永遠統治世界的ASI，無論是其將我們引向永生，還是消滅我們的存在，或者把宇宙做成無窮無盡的回形針

單身現象可能對我們有利，也可能導致我們的毀滅。如果那些對人工智能理論和人類安全思考最多的人能夠在任何人工智能達到人類只能水平之前，可以提出一種自動防范ASI的方法，那么第一個ASI可能會變得友好。然后，它可以利用其決定性的戰略優勢來確保單身人士的地位，并輕松關注正在開發的任何潛在的不友好的人工智能。我們會得到很好的幫助。

但是，如果事情發生另一種情況 - 如果全球發展人工智能的熱潮在如何確保人工智能安全的科學發展之前就達到了ASI的七點，那么很可能像Turry這樣的不友好的ASI出現作為單身人士，我們將遭受一場生死存亡的災難。

至于風往哪里吹，為創新的人工智能新技術提供的資金要比為人工智能安全研究提供的資金多得多。。。。。。

現在我們可能是人類歷史上最重要的種族。我們真的有機會結束我們作為地球之王的統治 - 無論我們是在走向幸福的退休，還是直奔絞刑架，都是懸而未決的。

我現在內心有一些奇怪的復雜情緒。

一方面，考慮到我們的物種，似乎我們只有一次機會，而且只有一次機會把它做好。我們誕生的第一個ASI也可能是最后一個 - 并且鑒于大多數1。0產品的BUG，這非常可怕。另一方面，Bostrom指出了我們的巨大優勢：我們將在這里邁出第一步。我們有能力以足夠的謹慎和遠見來做到這一點，因此我們有很大的成功機會。風險有多大？

如果ASI確實在本世紀發生了，其結果真的像大多數專家所認為的那樣極端而且是永久性的，那么我們肩負著巨大的責任。接下來的數百萬年的人類生活都在靜靜地看著我們，它們希望我們盡可能地不要把它搞得一團糟。我們有機會為未來所有的人類提供禮物，甚至可能是沒有痛苦，讓人類永生的禮物。 或者我們會讓這個令人難以置信的特殊物種，它的音樂和藝術，它的好奇心和笑聲，它無窮無盡的發現和發明，走到了一個悲傷的終點的負責人。

當我在思考這些事情時，我唯一想要的就是讓我們花時間對人工智能進行謹慎的發展。沒有什么比正確對待這個問題更重要 - 無論我們需要花多長時間才能這樣做。

但是后來

我認為會變成這樣：

然后我可能會認為人類的音樂和藝術是好的，但并沒有那么好，其中很多實際上都是壞的。許多人的笑聲也是令人討厭，而那些數百萬未來的人實際上什么都不期待，因為他們根本不存在。也許我們不必過于謹慎，因為誰真的想這樣做？

如果人類在我死后立即想出如何治愈死亡的方法，那將會是多么大的打擊。

上個月，我腦子里反復出現這種想法。

但無論你想要什么，這可能是我們所有人應該思考和討論的事情，我們應該比現在付出更多的努力。

這讓我想起了“權力的游戲”，人們一直在這樣說：“我們正忙著互相爭斗，但我們都應該關注的事情是來自長城以北的東西。我們站在我們的平衡木上，圍著平衡木上的每一個可能的問題爭吵，并且我們很有可能被撞下平衡木的時候，我們卻強調平衡木上的所有問題。

當發生這種情況時，這些平衡木上的問題都不再重要。根據我們所處的位置，問題要么都輕易解決，要么我們不再有問題，因為死人不會有任何問題。

這就是為什么理解超智能人工智能的人把它稱為我們所能做出的最后一項發明——我們所面臨的最后一項挑戰。

系列文章到這里就暫時告一段落了，接下來我們還會翻譯和編寫一些其他的有關人工智能領域的文章，歡迎大家持續關注我們，也希望大家能從我們的文章中學到東西，或者領略一些感悟。

列表項目