資訊專欄INFORMATION COLUMN
摘要：橡樹嶺國家實驗室的研究人員通過使用基于的方法，將數千個網絡劃分開，在超過個上運行，從而進行大規模深度學習。神經元裝置，特別是那些像橡樹嶺國家實驗室開發的脈沖神經網絡，，可以卸載一些包含時間序列元素神經網絡。
橡樹嶺國家實驗室圖
從系統的架構的復雜性上來講，摩爾定律很難對其適用。
盡管如此，過去兩年來，我們一直在迎來了新一輪針對深度學習和其他專業工作的新架構熱潮，并涌現出FPGA、更快的GPU，以及迅速出現的開放架構等。這些架構在頂尖的系統架構師中一樣不落，它們急于被應用，以建立可以有效消化不斷增長的數據集的系統，具有更好的性能、更低的功耗，同時保持可編程性和可擴展性。
橡樹嶺國家實驗室的研究人員通過使用基于MPI的方法，將數千個網絡劃分開，在超過18000個GPU上運行，從而進行大規模深度學習。正如科研人員所討論的那樣，將深度學習和機器學習添加到超級計算應用程序組合中，可以更好地利用大量的科學數據庫，并提高了仿真的復雜性和最終的功能。
Thomas Potok
科學家創建自動生成的神經網絡，以方便研究人員對神經網絡進行更進一步的硬件調查。托馬斯?波托克（Thomas Potok）和他的團隊建立了一個新穎的深度學習工作流，充分利用了超級計算機、神經元設備和量子計算機。Thomas E. Potok博士是橡樹嶺國家實驗室（ORNL）計算數據分析小組的創始人。
titan超算圖
他們評估了這三個計算平臺的優勢，并發現他們能夠通過使用HPC模擬數據作為其在titan超算上的自動網絡工具生成的卷積神經網絡的基準線，然后將該網絡的單元移動到量子計算機（使用南加州大學 /洛克希德設計的1000量子位計算機）和神經元（由橡樹嶺國家實驗室開發）設備上，來處理他們最擅長的單元。
比較超算、量子計算機和神經元裝置在深度學習應用中的性能是比較困難的，因為測量標準是不同的，有各有所長。Potok表示，量子系統可以提供深度連接的網絡并表達更多的信息，而不需要傳統機器的計算成本，但是，無法跨越整個深度學習工作流。
上圖顯示了ORNL研究人員應用的超混合深度學習架構。數據運行在Titan超算上的卷積網絡上，之后移動到量子計算一側，然后脈沖神經網絡/神經元利用以時間為中心的數據深挖這些結果。
神經元裝置，特別是那些像橡樹嶺國家實驗室（DANNA）開發的脈沖神經網絡（spiking neural network，SNN），可以卸載一些包含時間序列元素神經網絡。換句話說，HPC模擬和網絡初始化在超級計算機上完成地較好，卷積神經網絡的高階函數可以通過量子機來解決，而結果則可以從神經網絡設備以時間層面進行進一步分析。
“有了科學的數據，你通常會得到一個與時間相關的成像。你會得到一個與粒子交互的傳感器。對于神經網絡，我們可以采用標準卷積神經網絡，并且具有互補的脈沖神經網絡，用于數據或實驗的時間單元。我們可以同時使用這些技術，不僅可以從圖像中的某個位置層面看待這個問題，而且可以在時間層面上看待這個問題。”
“三四年前，當我們開始關注這一領域的時候，吳恩達和其他人都試圖在節點之間擴展神經網絡。問題是，人們沒法超過64個節點”，Potok解釋說，“我們采取了不同的做法；我們選擇了難度較大的挑戰，通過配置網絡、構建拓撲和參數，并使用進化優化來自動配置它，而不是建立一個巨大的18000個節點的深度學習系統，我們使它成為了一個優化問題。
“大公司已經能夠自動執行標注圖像或識別語音，但是這需要很多人為這些網絡辛苦工作。在HPC中，有很多數據集，但是沒有很多人在使用它們，了解它們的人更少，”Potok說。“試圖建立一個在那里工作的深度學習網絡將是艱巨的，這就是HPC開始流行的原因。我們可以很快地為一個新的數據集定制一個深度學習網絡，并快速獲得結果。最重要的是，它可以在Titan上進行擴展，然后到Summit超算或者是一臺超級計算機上。”
所有這些可能聽起來像是對集成發起了挑戰，即許多數據類型的工作朝著同一個最終結果進行——即使在整個問題中，輸入和輸出在分布式網絡上是分步生成的。Potok認為上述的架構確實有效，但實際測試將會合并CNN和SNN，看看可能會取得什么樣的結果。最終，較大的問題就是混合架構如何需要滿足計算和應用需求。擁有一種新的、更強大的、可擴展的方式來創建更復雜的模擬結果將是有益的，但是很多設備尚未規模化生產。
當然，超大型理論工作是國家實驗室最擅長的部分，但這可能會超越下一代機器的概念。Potok并不認為在未來五年內會出現如此大規模的混合體系結構，而是認為，在未來十年，所有三種計算模式都將有希望。換句話說，不僅計算平臺是全新的，而且解決問題的方式也是全新的。
歡迎加入本站公開興趣群商業智能與數據分析群
興趣范圍包括各種讓數據產生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數據倉庫，數據挖掘工具，報表系統等全方位知識
QQ群：81035754
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/4511.html
摘要：在經歷五年多的落后之后，如今美國終于在超級計算機領域再度超越中國，重奪頭名桂冠。這一消息在本周于德國法蘭克福舉行的年度國際超級計算機大會上正式公布。在經歷五年多的落后之后，如今美國終于在超級計算機領域再度超越中國，重奪頭名桂冠。這臺由IBM公司為田納西州橡樹嶺國家實驗室建造的Summit超級計算機（如上圖所示）在本周一發布的全球超算五百強中位列第一（這份榜單每年發布兩輪，列舉世界上五百臺最為...
摘要：現在，騰訊正在將新服務器集成到它為大數據工作負載提供服務的超大規模數據中心上。這將有助于騰訊抑制數據中心的擴張。 上圖：IBM 為高性能計算提供的Linux 服務器，圖片來源：IBMIBM已經推出了三代Power8 Linux服務器，旨在加快人工智能、深度學習和先進分析的應用。IBM的副總裁Stefanie Chiras在VentureBeat的采訪中說，這個新系統開發了Nvidia NVL...
摘要：深度學習方法是否已經強大到可以使科學分析任務產生最前沿的表現在這篇文章中我們介紹了從不同科學領域中選擇的一系列案例，來展示深度學習方法有能力促進科學發現。 深度學習在很多商業應用中取得了前所未有的成功。大約十年以前，很少有從業者可以預測到深度學習驅動的系統可以在計算機視覺和語音識別領域超過人類水平。在勞倫斯伯克利國家實驗室（LBNL）里，我們面臨著科學領域中最具挑戰性的數據分析問題。雖然商業...
摘要：而從貝葉斯概率視角描述深度學習會產生很多優勢，即具體從統計的解釋和屬性，從對優化和超參數調整更有效的算法，以及預測性能的解釋這幾個方面進一步闡述。貝葉斯層級模型和深度學習有很多相似的優勢。 論文地址：https://arxiv.org/abs/1706.00473深度學習是一種為非線性高維數據進行降維和預測的機器學習方法。而從貝葉斯概率視角描述深度學習會產生很多優勢，即具體從統計的解釋和屬性...
摘要：，，微軟顯然位居第二，占有大約的市場份額，領先于和谷歌，位列第三和阿里巴巴。與此同時，谷歌一年來情緒錯綜復雜。然而，谷歌云主管的離開，使得不久的將來成為一個有趣的未來。，對已經過度緊張的安全部門的沉重負擔。永別了，2018年，大家好，2019年：云計算的最后12個月——以及HorizonTweet2018年是另一個精彩的一年，當它涉及到云計算時，伴隨著新興的技術，這些技術補充并依賴于云。相應...
閱讀 3977·2021-09-22 16:03
閱讀 5309·2021-09-22 15:40
閱讀 1190·2021-09-06 15:02
閱讀 865·2019-08-30 15:53
閱讀 2215·2019-08-29 15:35
閱讀 1105·2019-08-23 18:22
閱讀 3333·2019-08-23 16:06
閱讀 643·2019-08-23 12:27
