摘要：但牛津哲大學哲學家兼首席人工智能科學家認為，我們可以將所有的結果歸納為兩大類。認為，物種不朽與物種滅絕同樣具有吸引人的狀態，即如果我們能做到這一點，我們將永遠不受滅絕的影響我們將擁有戰勝死亡的機會。

我們面臨著一個非常困難的問題，在一個未知的時間內來解決它，而人類的整個未來很可能取決于這個問題。——Nick Bostrom

歡迎閱讀文章系列的第二部分的上篇。

第1部分開始，我們討論了弱人工智能（ANI）（人工智能專注于一個狹窄的任務，如導航或下棋），以及它如何在我們周圍的世界起著作用。然后，我們研究了為什么從ANI到強人工智能（AGI）（人工智能至少與人類一樣具有智力能力）從一開始就是如此巨大的挑戰，我們討論了為什么技術進步的指數速度告訴我們"過去看到的情況表明，AGI可能并不像看起來那么遙遠。第一部分以我告訴你的事實，一旦我們的機器達到人類智能，他們可能會有這樣的表現：

讓我們盯著屏幕，看著我們對人工超級智能的強烈概念，ASI（比任何人都聰明的人工智能），并試圖弄清楚當我們思考這個問題時，我們應該抱著那種情緒。

在我們深入研究之前，讓我們提醒一下自己機器來說，具備超級智能意味著什么。

一個關鍵的區別是高速率的超級智能和高質量的超級智能之間的區別。通常情況下，當他們想象一個超級智能計算機的人首先想到的是這是跟人一樣聰明，但可以比人想的更多，更快的人工智能，而且比人類快了一百萬倍，這意味著它可以在五分鐘內算出人類需要計算十年的數據。

這聽起來令人印象深刻，而且ASI的思維速度遠遠超過任何人，但真正的區別在于它在智力素質方面的優勢，這是完全不同的東西。人類之所以比黑猩猩擁有更高的智力，并不是因為思維速度不同 - 而是因為人類的大腦中包含許多復雜的認知模塊，這些模塊可以實現復雜的語言表達、長期計劃或抽象推理等功能，黑猩猩的大腦中并不存在這些功能。將黑猩猩的大腦加速數千倍不會使其達到我們的水平 - 即使在十年的時間里，他也無法弄清楚如何使用一套定制工具來組裝一個復雜的模型，而一個人類只需要幾個小時就可以完成。無論黑猩猩花多少時間嘗試都不可能實現人類的認知功能。

但不僅是黑猩猩不能做我們所做的，他的大腦無法理解世界的存在，一個黑猩猩也明白什么是人，什么是摩天大樓，但他不能夠理解摩天大樓是由人類建造 的。在他的世界里，任何巨大的東西都是大自然，歷史的一部分，而他不僅無法建造一座摩天大樓，也無法意識到任何建造摩天大樓可以由任何一個人來做。這就是智力素質差異的結果。

在我們今天談論的智力范圍方案中，甚至生物更小的范圍中，黑猩猩與人類之間的質量差距也很小。在之前的文章中，我用樓梯描述了生物認知能力的范圍：

為了理解超級智能機器有多大的優勢，想象一下一個人站在淡藍色的階梯上，而一臺超級智能站在深綠色的階梯上，只比人類高兩階。這臺機器可能只有一點點的超智能，但它相對于我們的認知能力的提高與我們剛才描述的黑猩猩和人類的差距一樣大。就像黑猩猩無法理解那些可以建造的摩天大樓一樣，即使機器試圖向我們解釋，我們也不會明白深綠色階梯上的機器可以做什么，更不用說讓我們去做這些事。這只比我們高出兩步。這個樓梯上的第二至最高臺階上，一臺機器對我們來說就像我們對螞蟻一樣 - 它可以嘗試很多年來試圖教會我們它所知道的最簡單的東西，但是這種嘗試是沒有希望的。

但是，我們今天所談論的這種超級智能在這個樓梯上遠遠超出了任何東西。在智能爆炸中 - 機器越聰明，它就能越快地增加自己的智能，直到它開始飆升向上 - 一臺機器可能需要數年時間才能從黑猩猩臺階上上升到上面的那一階，但也許只有幾個小時就能跳到我們上方第二階的深綠色臺階上，當它比我們高出十步時，它可能每秒都會跳躍四階。這就是為什么我們需要意識到，在關于第一臺機器達到人類級別AGI的重大新聞故事發布后不久，我們可能會面臨與這個在階梯上(可能高出一百萬倍)的東西在地球上共存。

而且，由于我們剛剛確定了一個絕望的活動來試圖理解機器的力量只比我們高出兩個步驟，讓我們非常具體地說明了什么叫一無所知，我們無法知道做出ASI后會做出什么或帶來什么樣的后果。?任何裝模作樣的人都不會明白超級智能的含義。

在數億年的時間里，進化在緩慢而漸進的推進著生物大腦的發展，從這個意義上說，如果人類誕生了ASI機器，我們將極大地踐踏了進化。或者也許這也是進化的一部分 - 也許進化的工作方式就是智能越來越多，直到它達到能夠創造機器超級智能的水平，而這個級別就像一個引發全球變化的爆炸的絆腳石。決定著所有生物的新未來：

我們稍后將討論的原因，科學界的很大一部分人認為，問題并不是我們是否會達到智力線，而是我們什么時候會撞上這條線，這是一條有點瘋狂的信息。

那我們該怎么做呢？

世界上沒有人，特別是我，能告訴你當我們遇到這條線時會發生什么。但牛津哲大學哲學家兼首席人工智能科學家Nick Bostrom認為，我們可以將所有的結果歸納為兩大類。

首先，看一下歷史，我們可以看到聲明是這樣運作的：物種突然出現，存在了一段時間，經過一段時間后，它們不可避免地從存在的平衡木上掉下來并走向滅絕 -

“所有物種最終都會滅絕”和“所有人類最終都會死”一樣，在歷史上這是一條可靠的規則。到目前為止，99。9％的物種已從平衡木上掉下來，而且很明顯，如果一個物種沿著梁向下搖晃，那么對于其他一些物種，有一些大自然的風或突然之間有小行星將其擊倒都只是時間問題。Bostrom用一種吸引狀態 - 來表示一個地方的物種都在搖搖欲墜的面臨掉入毀滅的深淵。

雖然我遇到的大多數科學家都承認ASI有能力使人類滅絕，但許多人也相信，ASI的能力可以用來將人類乃至整個物種帶到第二種狀態-物種不朽。Bostrom認為，物種不朽與物種滅絕同樣具有吸引人的狀態，即如果我們能做到這一點，我們將永遠不受滅絕的影響 - 我們將擁有戰勝死亡的機會。因此，即使到目前為止所有物種都已經從平衡木上掉下來并瀕臨滅絕，Bostrom仍然相信平衡木還有兩面，只是地球上的任何東西都沒有足夠的智能來弄清楚如何到達另一面。

如果Bostrom和其他人對的，從我所讀到的一切看來，它們似乎真的可能是對的，而我們有兩個相當令人震驚的事實要接受：

1）ASI的出現將首次為物種在平衡木上的不朽的一側上著陸提供可能性。

2）ASI的出現將產生如此難以想象的巨大影響，無論朝著那個方向，都很可能會把人類從平衡木上撞下來

很可能當我們進化到智力線的時候，它會永久地結束人類與平衡木的關系并創造一個新世界，不管有沒有人類。

似乎人類當前唯一應該問的問題是：我們什么時候才能達到那條線，當這種情況發生時，我們會落在這跟平衡木的哪一邊？

世界上沒有人知道這兩個問題的答案，但是許多聰明的人已經花了數十年的時間來思考這個問題。我們將用這篇文章的其余部分來探索他們提出的內容。

也就是第一臺機器達到超級智能需要多長時間？

不出所料，意見分歧很大，這是科學家和思想家之間的一場激烈的爭論。但是許多人，如Vernor Vinge授，科學家Ben Goertzel，Sun Microsystems聯合創始人Bill Joy，或者最著名的發明家和未來學家Ray Kurzweil，都同意機器學習專家Jeremy Howard在TED演講中提出的這張圖表：

這些人相信，這種情況很快就會發生 - 指數增長正在發揮著巨大的作用，機器學習現在雖然只是緩慢的向我們逼近，但在未來幾十年內會在我們身邊呼嘯而過。

但是其他一些人，如微軟聯合創始人Paul Allen，研究心理學家Gary Marcus，紐約大學計算機科學家Ernest Davis和科技企業家Mitch Kapor，認為像Kurzweil這樣的思想家大大低估了人類面對挑戰的能力，并認為我們實際上并不是那么的接近那條線。

Kurzweil陣營反駁說，唯一低估的是指數增長的速度，并且他們將懷疑者與那些在1985年看到互聯網增長緩慢的人群進行比較，并認為在群人在不久的將來對任何有影響力的事情都不會有影響。

懷疑者可能會反駁，他們認為使智力進步所需要的努力也會隨著后面的每一步的成倍增長而變的更加苦難，這將抵消技術進步的典型指數性質，等等。

包括Nick Bostrom在內的第三個陣營認為，兩派都沒有任何理由對時間線進行保證，并且承認:A)這絕對可能在不久的將來發生;B)但它可能需要更長的時間。

還有一些人，比如哲學家Hubert Dreyfus，認為三個群體都天真地認為相信會有智力線，他們認為ASI可能永遠無法實現。

那么當你把所有的這些意見放在一起時，你會得到什么？

2013年，VincentC。Müller和Nick Bostrom進行了一項調查，在一系列會議上向數百名AI專家提出以下問題：“就這個問題而言，假設人類的科學活動沒有重大的負面影響的情況下繼續發展。到了哪一年你會看到這樣的HLMI4存在的概率（10％/ 50％/ 90％的可能性）調查要求他們說出一個樂觀的年份（10的可能性可以擁有AGI） ），一個現實的猜測（那一年我們獲得AGI有50%的可能性-即在那一年后我們更可能擁有AGI），以及一個安全的猜測（90%的機會可以在那一年擁有AGI）。作為一個數據集收集在一起，結果如下：

樂觀年份中位數（10％可能性）：2022年

實際年份中位數（50％可能性）：2040年

悲觀年份中位數（90％可能性）：2075年

所以參與者認為我們25年后才會有可能擁有AGI。2075年的90％的中位答案意味著，如果你現在是青少年，那么中位數的受訪者，以及超過一半的AI專家，幾乎可以確定AGI將在你有生之年發生。

最近由作家James Barrat在Ben Goertzel年度AGI會議上進行的另一項研究，他取消了百分比，只是簡單地詢問參與者何時認為AGI將會實現。- 2030年，2050年，2100年，還是2100年之后，或者永遠不會實現。結果是：

到2030年：42％的受訪者選擇了這個選項

到2050年：25％的受訪者選擇了這個選項

到2100年：20％的受訪者選擇了這個選項

在2100年之后：10％的受訪者選擇了這個選項

永遠不會：2％的受訪者選擇了這個選項

非常類似于Müller和Bostrom的結果。在Barrat的調查中，超過三分之二的參與者認為AGI將在2050年出現，而只有不到一半的人預測AGI將在未來15年內出現。同樣令人吃驚的是，只有2％的受訪者認為AGI不會成為我們未來的一部分。

但是，AGI不是那條線的話。那么專家什么時候認為我們會達到ASI？

Müller和Bostrom還向專家詢問，他們認為我們什么擁有ASI的可能性:A)在擁有AGI的兩年內就會擁有ASI(幾乎是馬上就進行了智能爆炸)和B)在三十年內擁有ASI。結果是:

根據答案的中值表名，快速的從（2年）AGI→ASI轉換的可能性僅為10％，但較長的轉換30年或更短的時間，可能性為75％。

我們這些數據中的參與者有50%的可能性不會知道這個轉變時間的長度，但是為了達到大致的目的，基于上面的兩個答案，讓我們估計他們會說是20年。所以中間意見 - 人工智能專家領域對于認為我們何時能夠擊中ASI的那條線的最現實的猜測中值是(對AGI的2040年預測+我們對AGI向ASI轉變的20年過渡期估計]?= 2060年。

當然，以上所有統計數據都是推測性的，他們只代表人工智能專家社區的意見，但它告訴我們，對這一主題最了解的人中有很大一部分會同意對能改變時間的ASI的到來估計為2060年。距今僅45年。

好吧，現在上面問題的第二部分是：當我們達到那條線的時候時，會落到平衡木的哪一側？

超級智能將產生巨大的力量 - 對我們來說的關鍵問題是：

對此的答案將決定ASI會是一個令人難以置信的偉大發展，還是一個令人難以置信的糟糕發展，還是介于這兩者之間。

當然，專家團隊又討論了這個問題的答案。Müller和博斯特倫的調查要求參與者將概率分配到AGI會對人類的可能產生的影響上，發現反應的結果是，有52％的反應結果會是好或非常好，31％的反應結果將會是壞的或非常糟糕的。對于相對中性的反應，平均概率僅為17％。換句話說，對此最了解的人非常肯定這將是一個巨大的事情。同樣值得注意的是，這些概率僅僅是指AGI的出現 - 如果問題是關于ASI，我想中性百分比可能會更低。

在我們進一步深入研究這個問題的好結果與壞結果部分之前，讓我們將這個問題“它什么時候會發生？”和“它會好還是壞？”這個問題的一部分組合成一個包含視圖的圖表，其中包括大多數相關專家的意見：

我們稍后會詳細討論主要的陣營，但首先 - 你的觀點是什么？實際上我知道你的觀點是什么，因為在我開始研究這個話題之前，這也是我的觀點。大多數人沒有真正考慮這個主題的一些原因：

正如第1部分所述，電影通過呈現不切實際的人工智能場景讓我們覺得人工智能在一般情況下并不值得認真對待，從而混淆了事情。如果疾病控制中心在我們的未來發布了一個關于吸血鬼的嚴重警告，James Barrat會將情況與我們的反應進行比較。

由于某種所謂的認知偏見，我們很難相信某些東西是真實的，直到我們看到證據。我敢肯定，計算機科學家在1988年經常談論互聯網可能有多大的影響，但人們可能并不會認為它能改變生活，直到它真的改變了他們的生活。這在一定程度上是因為1988年的計算機還不能做這樣的事情，所以人們會看著他們的電腦并想：“真的嗎？這會改變我的一生么“他們的想象力僅限于他們的個人經歷告訴他們計算機是什么，這很難生動的描繪出計算機可能成為什么樣子。人工智能也正在發生同樣的事情。我們聽到的是這會是一個大事，但因為還沒有發生的，而且由于我們當前世界中使用的相對來說比較無用的人工智能的經驗，我們也很難真正相信這將極大地改變我們的生活。這些偏見是專家們所面臨的，因為他們瘋狂地試圖通過集體的表現來引起我們的注意。

即使我們確實相信它 - 今天有多少次你想過你將花費大部分的時間思考不存在的事？不是很多，對嗎？即使它比你今天所做的任何事情都要強烈得多嗎？這是因為我們的大腦通常專注于日常生活中的小事，無論我們身處的長期環境多么的瘋狂。這就是我們的思考方式。

這兩篇文章的目的之一就是讓你走出我喜歡"思考其他事物"的想法并進入一個專家營地，即使你只是站在上面廣場上兩條完全不確定的虛線的交叉點上。

在我的研究過程中，我遇到了幾十種不同的觀點，但我很快注意到大多數人的意見都屬于我所稱為的主流觀點，特別是超過四分之三的專家分成了主流觀點中的兩個子陣營：

我們要深入研究這兩個陣營。我們將在系列文章的中篇和下篇中放出針對未來的兩個陣營，歡迎大家繼續查看。