摘要：三人造神經元工作原理及電路實現人工神經網絡人工神經網絡，縮寫，簡稱神經網絡，縮寫，是一種模仿生物神經網絡的結構和功能的數學模型或計算模型。神經網絡是一種運算模型，由大量的節點或稱神經元，或單元和之間相互聯接構成。

一、與傳統計算機的區別

1946年美籍匈牙利科學家馮·諾依曼提出存儲程序原理，把程序本身當作數據來對待。此后的半個多世紀以來，計算機的發展取得了巨大的進步，但“馮·諾依曼架構”中信息存儲器和處理器的設計一直沿用至今，連接存儲器和處理器的信息傳遞通道仍然通過總線來實現。隨著處理的數據量海量地增長，總線有限的數據傳輸速率被稱為“馮·諾依曼瓶頸”——尤其是移動互聯網、社交網絡、物聯網、云計算、高通量測序等的興起，使得‘馮·諾依曼瓶頸’日益突出，而計算機的自我糾錯能力缺失的局限性也已成為發展障礙。

結構上的缺陷也導致功能上的局限。例如，從效率上看，計算機運算的功耗較高——盡管人腦處理的信息量不比計算機少，但顯然而功耗低得多。為此，學習更多層的神經網絡，讓計算機能夠更好地模擬人腦功能，成為上世紀后期以來研究的熱點。

在這些研究中，核心的研究是“馮·諾依曼架構”與“人腦架構”的本質結構區別——與計算機相比，人腦的信息存儲和處理，通過突觸這一基本單元來實現，因而沒有明顯的界限。正是人腦中的千萬億個突觸的可塑性——各種因素和各種條件經過一定的時間作用后引起的神經變化（可變性、可修飾性等），使得人腦的記憶和學習功能得以實現。

大腦有而計算機沒有的三個特性:低功耗（人腦的能耗僅約20瓦，而目前用來嘗試模擬人腦的超級計算機需要消耗數兆瓦的能量）；容錯性（壞掉一個晶體管就能毀掉一塊微處理器，但是大腦的神經元每時每刻都在死亡）；還有不需為其編制程序（大腦在與外界互動的同時也會進行學習和改變，而不是遵循預設算法的固定路徑和分支運行。）

這段描述可以說是“電”腦的最終理想了吧。

注：最早的電腦也是模擬電路實現的，之后發展成現在的只有0、1的數字CPU。

今天的計算機用的都是所謂的馮諾依曼結構，在一個中央處理器和記憶芯片之間以線性計算序列來回傳輸數據。這種方式在處理數字和執行較精確撰寫的程序時非常好用，但在處理圖片或聲音并理解它們的意義時效果不佳。

有件事很說明問題：2012年，谷歌展示了它的人工智能軟件在未被告知貓是什么東西的情況下，可以學會識別視頻中的貓，而完成這個任務用到了1.6萬臺處理器。

要繼續改善這類處理器的性能，生產商得在其中配備更多更快的晶體管、硅存儲緩存和數據通路，但所有這些組件產生的熱量限制了芯片的運作速度，尤其在電力有限的移動設備中。這可能會阻礙人們開發出有效處理圖片、聲音和其他感官信息的設備，以及將其應用于面部識別、機器人，或者交通設備航運等任務中。

神經形態芯片嘗試在硅片中模仿人腦以大規模的平行方式處理信息：幾十億神經元和千萬億個突觸對視覺和聲音刺激物這類感官輸入做出反應。

作為對圖像、聲音等內容的反應，這些神經元也會改變它們相互間連接的方式，我們把這個過程叫做學習。神經形態芯片納入了受人腦啟發的“神經網路”模式，因此能做同樣的事。

人工智能的頂尖思想家杰夫·霍金斯（Jeff Hawkins）說，在傳統處理器上用專門的軟件嘗試模擬人腦（谷歌在貓實驗中所做的），以此作為不斷提升的智能基礎，這太過低效了。

霍金斯創造了掌上電腦（Palm Pilot），后來又聯合創辦了Numenta公司，后者制造從人腦中獲得啟發的軟件?！澳悴豢赡苤辉谲浖薪ㄔ焖?，”他說到人工智能，“你必須在硅片中建造它?！?/p>

現有的計算機計算，程序的執行是一行一行執行的，而神經網絡計算機則有所不同。

現行的人工智能程式，基本上都是將大大小小的各種知識寫成一句一句的陳述句，再灌進系統之中。當輸入問題進去智能程式時，它就會搜尋本身的資料庫，再選擇出較佳或最近解。2011年時，IBM 有名的 Watson 智能電腦，便是使用這樣的技術，在美國的電視益智節目中打敗的人類的最強衛冕者。

（神經網絡計算機）以這種異步信號發送（因沒有能使其同步的中央時鐘而得名）處理數據的速度比同步信號發送更快，以為沒有時間浪費在等待時鐘發出信號上。異步信號發送消耗的能量也更少，這樣便滿足了邁耶博士理想的計算機的第一個特點。如果有一個處理器壞了，系統會從另一路線繞過它，這樣便滿足了邁耶博士理想的計算機的第二個特點。正是由于為異步信號發送編程并不容易，所以大多數計算機工程師都無視于此。然而其作為一種模仿大腦的方式堪稱完美。

功耗方面：

硬件方面，近年來主要是通過對大型神經網絡進行仿真，如 Google 的深度學習系統Google Brain，微軟的Adam等。但是這些網絡需要大量傳統計算機的集群。比方說 Google Brain 就采用了 1000 臺各帶 16 核處理器的計算機，這種架構盡管展現出了相當的能力，但是能耗依然巨大。而 IBM 則是在芯片上的模仿。4096 個內核，100 萬個“神經元”、2.56 億個“突觸”集成在直徑只有幾厘米的方寸（是 2011 年原型大小的 1/16）之間，而且能耗只有不到 70 毫瓦。

IBM 研究小組曾經利用做過 DARPA 的NeoVision2 Tower數據集做過演示。它能夠實時識別出用 30 幀每秒的正常速度拍攝自斯坦福大學胡佛塔的十字路口視頻中的人、自行車、公交車、卡車等，準確率達到了 80%。相比之下，一臺筆記本編程完成同樣的任務用時要慢 100 倍，能耗卻是 IBM 芯片的 1 萬倍。

Ref: A million spiking-neuron integrated circuit with a Scalable communication network and interface. Paul A. Merolla et al. Science 345, 668 (2014); DOI: 10.1126/science.1254642

因為需要擁有極多數據的Database 來做training以及需要極強大的計算能力來做prediction，現有的一些Deep learning如Andrew Ng的Google Brain、Apple的Siri等都需要連接網絡到云端的服務器。

二、爭議：

雖然深度學習已經被應用到尖端科學研究及日常生活當中，而 Google 已經實際搭載在核心的搜尋功能之中。但其他知名的人工智能實驗室，對於深度學習技術的反應並不一致。例如艾倫人工智慧中心的執行長 Oren Etzioni，就沒有考慮將深度學習納入當前開發中的人工智慧系統中。該機構目前的研究是以小學程度的科學知識為目標，希望能開發出光是看學校的教科書，就能夠輕鬆應付各類考試的智能程式。Oren Etzioni 以飛機為例，他表示，最成功的飛機設計都不是來自於模仿鳥的結構，所以腦神經的類比並無法保證人工智能的實現，因此他們暫不考慮借用深度學習技術來開發這個系統。

但是從短期來看，情況也許并沒有那么樂觀。

首先芯片的編程仍然是個大問題。芯片的編程要考慮選擇哪一個神經元來連接，以及神經元之間相互影響的程度。比方說，為了識別上述視頻中的汽車，編程人員首先要對芯片的仿真版進行必要的設置，然后再傳給實際的芯片。這種芯片需要顛覆以往傳統的編程思想，盡管 IBM 去年已經發布了一套工具，但是目前編程仍非常困難，IBM 團隊正在編制令該過程簡單一點的開發庫。（當然，如果我們回顧過去編程語言從匯編一路走來的歷史，這一點也許不會成為問題。）

其次，在部分專業人士看來，這種芯片的能力仍有待證實。

再者，真正的認知計算應該能從經驗中學習，尋找關聯，提出假設，記憶，并基于結果學習，而IBM 的演示里所有學習（training）都是在線下的馮諾依曼計算機上進行的。不過目前大多數的機器學習都是離線進行的，因為學習經常需要對算法進行調整，而 IBM 的硬件并不具備調整的靈活性，不擅長做這件事情。

三、人造神經元工作原理及電路實現

人工神經網絡

人工神經網絡（artificial neural network，縮寫ANN），簡稱神經網絡（neural network，縮寫NN），是一種模仿生物神經網絡的結構和功能的數學模型或計算模型。

神經網絡是一種運算模型，由大量的節點（或稱“神經元”，或“單元”）和之間相互聯接構成。每個節點代表一種特定的輸出函數，稱為激勵函數（activation function）。每兩個節點間的連接都代表一個對于通過該連接信號的加權值，稱之為權重（weight），這相當于人工神經網絡的記憶。網絡的輸出則依網絡的連接方式，權重值和激勵函數的不同而不同。而網絡自身通常都是對自然界某種算法或者函數的逼近，也可能是對一種邏輯策略的表達。

Ref：Wikipedia： 人工神經網絡

電路原理

神經遞質的分泌反過來又是對動作電位刺激的反應。然而神經元在接收到這些神經遞質信號中的一個后便不會再繼續發出動作電位。當然，它們會逐漸累加至一個極限值。在神經元接受了一定數量的信號并超過極限值后----從根本上講是一個模擬進程----然后它們會發出一個動作電位，并自行重置。Spikey的人造神經元也是這么做的，當它們每次受到激發時都會在電容中累積電荷，直至達到限值，電容再進行放電。

具體電路結構和分析之后有機會的話再更新。

現階段硬件的實現方式有數電（IBM、Qualcomm）、模電、數模混合（學界）、GPUs等等，還有各種不是基于硅半導體制程制作的神經元等的device方面的研究。

四、歷史

Neuromorphic engineering由老祖宗Carver Mead提出

卡福·米德是加州理工學院的一名工程師，被公認為神經形態計算機之父（當然還發明了“神經形態學”這個詞）

神經形態芯片的創意可以追溯到幾十年前。加州理工大學的退休教授、集成電路設計的傳奇人物卡弗·米德（Carver Mead）在1990年發表的一篇論文中首次提出了這個名稱。

這篇論文介紹了模擬芯片如何能夠模仿腦部神經元和突觸的電活動。所謂模擬芯片，其輸出是變化的，就像真實世界中發生的現象，這和數字芯片二進制、非開即關的性質不同。

Carver Mead是超大規模集成電路(VLSI)之父、定義了摩爾定律。

關于這個領域的著作 C. Mead, Analog VLSI and Neural Systems.Boston, MA, USA: Addison-Wesley, 1989.Analog VLSI and Neural Systems: Carver Mead: 9780201059922: Amazon.com: Books

Carver MeadCNS :: Carver Mead 中文介紹卡弗?米德-半導體人物

California Institute of Technology的Computation & Neural Systems group Computation & Neural Systems :: CALTECH

此外Jeff Hawkins在TED的演講也值得一看

Jeff Hawkins: How brain science will change computing

TED演講：Jeff Hawkins.大腦研究將改變計算機科學【高清中文字幕】

http://www.tudou.com/programs/view/tq07cQoYxB4/

摘其中有意思的一段：

后來這（大腦研究）成為我畢生的工作，我覺得我可以有所貢獻，我嘗試離開計算機行業而專注大腦研究。首先我去了MIT的人工智能研究院，我想，我也想設計和制作聰明的機器，但我的想法是先研究大腦怎么運作。而他們說，呃，你不需要這樣做，我們只需要計算機編程。而我說，不，你應該先研究大腦。他們說，呃，你錯了。而我說，不，你們錯了。最后我沒被錄取。但我真的有點失望，那時候年輕，但我再嘗試。幾年后再加州的Berkley，這次我嘗試去學習生物方面的研究。我開始攻讀生物物理博士課程。我在學習大腦了，而我想學理論。而他們說，不，你不可以學大腦的理論，這是不可以的，你不會拿到研究經費，而作為研究生，沒有經費是不可以的。我的天。

八卦：老師說neural network這個方向每20年火一次，之前有很長一段時間的沉寂期，甚至因為理論的不完善一度被認為是江湖術士的小把戲，申請研究經費都需要改課題名稱才能成功。（這段為小弟的道聽途說，請大家看過就忘。后來看相關的資料發現，這段歷史可能與2006年Geoffrey E. Hinton提出深度學習的概念這一革命性工作改變了之前的狀況有關。）

五、針對IBM這次的工作：

關于 SyNAPSE

美國國防部先進研究項目局的研究項目，由兩個大的group組成：IBM team和HRL Team。

Synapse在英文中是突觸的意思，而SyNAPSE是Systems of Neuromorphic Adaptive Plastic Scalable Electronics的簡稱。

Cognitive computing: Neurosynaptic chips

IBM produces first working chips modeled on the human brain

另一個SyNAPSE項目是由IBM阿爾馬登實驗室（位于圣何塞）的達爾門德拉·穆德哈負責。與四所美國大學（哥倫比亞大學，康奈爾大學，加州大學默塞德分校以及威斯康辛-麥迪遜大學）合作，穆德哈博士及其團隊制造了一臺神經形態學計算機的原型機，擁有256個“積分觸發式”神經元，之所以這么叫是因為這些神經元將自己的輸入累加（即積分）直至達到閾值，然后發出一個信號后再自行重置。它們在這一點上與Spikey中的神經元類似，但是電子方面的細節卻有所不同，因為它們是由一個數字儲存器而非許多電容來記錄輸入信號的。

Ref: A million spiking-neuron integrated circuit with a scalable communication network and interface. Paul A. Merolla et al. Science 345, 668 (2014); DOI: 10.1126/science.1254642

IBM 的網站上有一篇很好的報道供參考Cognitive computing: Neurosynaptic chips

中文的話36kr的這篇報道寫得非常好 http://www.36kr.com/p/214445.htm

六、Reference

以上引用部分的reference以及推薦幾篇看到的很有價值的干貨資料：

The Economist有一篇長文非常詳細 Neuromorphic computing: The machine of a new soul

（譯言的翻譯版 譯者： gg1122譯言網 | 計算機脫胎換骨）

生命科學研究快報 作者：于建榮 江洪波 神經形態芯片：仿生學的驅動力 --神經--新聞 --生物360 --中文生命科學界資訊站

36Kr 作者: boxi ?TrueNorth：IBM的百萬神經元類人腦芯片

搜狐IT “人腦”芯片離我們有多遠？

Nature Nicola JonesComputer science: The learning machines : Nature News & Comment

(譯文 曾郁蓁 ?深度學習──人工智能的現在與未來）

國立臺灣大學科學教育發展中心 特約寫手方程毅 【神經科學】漫談神經形態工程學

神經網絡和人工腦http://www.braincampaign.org/Common/Docs/Files/2766/chchap16.pdf

MITTechReview 羅伯特·霍夫（Robert D. Hof） 2014年全球十大突破技術：高通的神經形態芯片

學術論文：14年的兩篇IEEE Press很好

[1]B. V. Benjamin, P. Gao, E. McQuinn, S. Choudhary, A. Chandrasekaran, J.-M. Bussat, R. Alvarez-Icaza, J. Arthur, P. Merolla, and K. Boahen, “Neurogrid: A mixed-analog-digital multichip system for large-scale neural simulations,” Proceedings of the IEEE, vol. 102 no. 5, pp. 699–716, May 2014.

[2]Furber, S.B.; Galluppi, F.; Temple, S.; Plana, L.A The SpiNNaker Project.IEEE Proceedings, Vol:102, Iss:5 pp 652-665, May 2014. ISSN 0018-9219 IEEE Xplore Abstract

[3]以及IBM這次發表在Sceince上的這篇 Paul A. Merolla et al. A million spiking-neuron integrated circuit with a scalable communication network and interface. Science 345, 668 (2014); DOI: 10.1126/science.1254642Science Magazine: Sign In

[4]S Menon, S Fok, A Neckar, O Khatib, and K Boahen, Controlling Articulated Robots in Task-Space with Spiking Silicon Neurons, IEEE International Conference on Biomedical Robotics and Biomechatronics (BioRob), IEEE Press, pp nn-mm, 2014.

http://web.stanford.edu/group/brainsinsilicon/documents/Menon-BioRob.pdf

[5] Challenges for Brain Emulation: Why is Building a Brain so Difficult?

http://synapticlink.org/Brain%20Emulation%20Challenges.pdf

七、現有的部分業界學界神經形態芯片相關工作的介紹：

產業界：

IBM

高通 Zeroth

Introducing Qualcomm Zeroth Processors: Brain-Inspired Computing

新聞介紹Qualcomm’s Neuromorphic Chips Could Make Robots and Phones More Astute About the World

中文2014年全球十大突破技術：高通的神經形態芯片 （推薦）

Intel

上個月（2012），英特爾宣布啟動了一項模擬人類大腦活動的技術研究工作?，F在，該公司的工程師在預印本網站上遞交了一篇論文，透露了神經形態芯片設計，模擬大腦神經元行為。他們的設計基于兩項技術：橫向自旋閥（lateral spin valves）和憶阻器。橫向自旋閥是一種金屬線連接的小型磁鐵，能根據通過的電子自旋方向開關。憶阻器則是有記憶功能的非線性電阻器。英特爾工程師設計的芯片架構工作方式類似神經元，能復制出大腦處理能力。橫向自旋閥工作的終端電壓在毫伏內，遠低于傳統芯片，因此消耗的電力要少得多。

Intel Reveals Neuromorphic Chip Design

Solidot | 英特爾透露神經形態芯片設計

HRL Laboratories?

HRL LaboratoriesHRL Laboratories : Laboratories : CNES : Center for Neural & Emergent Systems

Audience

Audience公司出于對神經系統的學習性和可塑性、容錯、免編程、低能耗等特征進行了研究，研發出基于人的耳蝸而設計的神經形態芯片，可以模擬人耳抑制噪音，應用于智能手機。Audience公司也由此成為行業內領先的語音處理芯片公司。

Audience | Advanced Voice

相關技術論文Resources

Numenta

Numenta | New Era of Machine IntelligenceNumenta | NuPIC

CLA White Paper： CLA White PaperChinese Translation - Yu Tianxiang

Braincorporation（有高通投資）

Brain Corporation

學術界：

Standford 的Kwabena Boahen。

Boahen于1990年加入Mead在Caltech的實驗室，現為stanford的Principal Investigator。Brains in Silicon

Kwabena Boahen TED演講（有字幕）卡貝納?博罕談論像人腦般運作的電腦

模擬人腦的神經形態計算方式漸成學界熱點

Universit?t Heidelberg的 Karlheinz Meier教授

VISION: The "Spikey" ChipFACETS Material

Manchester 的SpiNNaker

Research Groups: APT

Institute of Neuroinformatics 蘇黎世神經信息研究所

（由蘇黎世大學與同城的一所工程院校ETH合辦）Giacomo Indiveri INI Institute of NeuroinformaticsINI Institute of Neuroinformatics People

歐盟人腦計劃

Home - The Human Brain Project

***現有的一些研究group的列表及比較（非常詳細，推薦）

Comparison of Artificial Brain Projects

Brain Project Comparison

ps：其實IC業和CS的之間的代溝也并不是那么大，比如ISSCC 2015的conference theme就是SILICON SYSTEMS — SMALL CHIPS for BIG DATA。

8/21更新，（多圖多視頻預警）有知友反應看了這么多還有些地方不太懂，小弟這兩天也在想各種方法怎么解釋得更清楚，后來發現，以前看過的一個視頻不就是Stanford的Boahen研究員（相當于教授）介紹他group的工作的么，這個視頻很多知友也一定看過：

斯坦福大學公開課:健康未來 七個顛覆你思想的演講：07 在芯片上搜索大腦

斯坦福大學：健康未來：七個顛覆你思想的演講 7.在芯片上搜索大腦

http://v.youku.com/v_show/id_XNTE2OTczNDE2.html

（Boahen研究員07年在TED也有一個演講，通俗易懂，卡貝納?博罕談論像人腦般運作的電腦）不過這個公開課比較早期了，詳細的解釋以及的研究成果還請大家參考后文。

2014/9/27更

剛剛果殼上發表了一篇USC博后 @米糯牛(知乎ID) 的文章，推薦閱讀： ?芯片造腦：科幻照進現實？

果殼上還有兩篇較早的文章 ?IBM:用超級計算機模擬人腦別了馮諾依曼，神經芯片幾時來？

10/27更：路邊社小道消息：IBM這顆芯片是在Samsung流的片，可能有用到一些特殊工藝。于是TSMC坐不住了（不論將來類神經芯片到底能不能火起來，現在一定要有積累，至少要知道對手在干什么），開始尋找這方面的學界合作了。

11/8更 在今天下午的騰訊“2014 WE大會”上IBM全球副總裁王陽介紹了IBM的神經元芯片。

新聞稿和視頻如下：IBM王陽：計算的未來是把智慧注入設備

IBM王陽：計算的未來是把智慧注入設備

http://v.qq.com/cover/t/trg4ikjrtr4tols.html?vid=i0015g1aet7&start=38&ptag=tech_qq_com