国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

Intel 加速分布式計算系統(tǒng)的三個神器

CoXie / 1542人閱讀

摘要：為了更好的賣他們家的，花了不少力氣參與分布計算社區(qū)的開發(fā)，比如。如果真正用好這些芯片提供的特性，確實可以極大的提升分布式計算系統(tǒng)的性能。最初這些指令大部分是用于多媒體和圖形處理領(lǐng)域，現(xiàn)在也有計算引擎和數(shù)據(jù)庫系統(tǒng)開始利用這些指令進行加速。

Intel 為了更好的賣他們家的cpu，花了不少力氣參與分布計算社區(qū)的開發(fā)，比如spark。如果真正用好這些芯片提供的特性，確實可以極大的提升分布式計算系統(tǒng)的性能。

SIMD


傳統(tǒng)的計算指令輸入是兩個數(shù)，輸出是一個數(shù)。SIMD指令的輸入是兩個數(shù)組，輸出是也是數(shù)組。這就使得批量計算的效率大大提高了。Intel的CPU從最早的MMX指令，發(fā)展的SSE，以及現(xiàn)在的AVX，AVX2，這些指令都可以統(tǒng)稱為SIMD指令。最初這些指令大部分是用于多媒體和圖形處理領(lǐng)域，現(xiàn)在也有計算引擎和數(shù)據(jù)庫系統(tǒng)開始利用這些SIMD指令進行加速。值得一提的是，顯卡的GPU也是類似SIMD的方式來工作的，所以也有數(shù)據(jù)庫開始利用GPU進行計算了。

這是一個利用了SIMD指令的數(shù)據(jù)庫系統(tǒng)的架構(gòu)圖

DPDK


DPDK的作用就是利用Intel的高端網(wǎng)卡的特殊驅(qū)動，可以使得在用戶態(tài)的普通程序繞過Linux內(nèi)核，直接控制網(wǎng)卡收發(fā)IP包。如果利用 DPDK 在用戶態(tài)實現(xiàn)了本來由Linux內(nèi)核實現(xiàn)的TCP協(xié)議棧。那么就可以用來提高類似 Kafka 這樣的純轉(zhuǎn)發(fā)的數(shù)據(jù)應(yīng)用場景的網(wǎng)絡(luò)性能。

ADR

Intel最近演示了利用他們家的ADR技術(shù)如何加速etcd數(shù)據(jù)庫的寫入性能


這項技術(shù)的專利說明在這里：https://www.google.com/patents/US20090089514
華為公司在這個基礎(chǔ)上有一個新的專利：http://www.google.com/patents/CN103544080A?cl=zh
在專利說明里清晰地描述了 ADR 的工作機制

  
現(xiàn)今，為了保證存儲系統(tǒng)中數(shù)據(jù)的可靠性，通常會在存儲系統(tǒng)中增加備電單元，從而保證在電源異常和/或存儲系統(tǒng)異常的情況下，使得內(nèi)存數(shù)據(jù)不丟失，同時現(xiàn)今主流的備點單元是NVDIMM(Non-Volatile DIMM，非易失性內(nèi)存條)。該NVDIMM在保護數(shù)據(jù)時通常是通過通用的DIMM(Dual Inline Memory Modules，雙列直插式存儲模塊)接口與存儲系統(tǒng)連接。因此，當存儲系統(tǒng)電源發(fā)生異常時，CPLD(Complex Programmable Logic Device,復(fù)雜可編程邏輯器件)產(chǎn)生中斷到PCH(Platform Controller Hub,集成南橋)芯片,在PCH中觸發(fā) ADR (Asynchronous Dram Refresh,異步內(nèi)存刷新)流程，使得 CPU (Central ProcessingUnit,中央處理器)將cache緩存中的數(shù)據(jù)寫入NVDIMM中的DRAM(Dynamic Random AccessMemory，動態(tài)隨機存取存儲器)然后再將NVDIMM置為self-refresh自刷新模式，從而使得NVDIMM完成備電切換，將DRAM數(shù)據(jù)拷貝到flash閃存中保存。

簡單來說就是把一塊 <100MB 的內(nèi)存區(qū)域在斷電的時候自動刷到 NVDIMM 中，而 NVDIMM 是一種在斷電時內(nèi)容不會丟失的內(nèi)存（http://baike.baidu.com/item/NVDIMM）。這類技術(shù)可以統(tǒng)稱為 Persistent Memory（http://pmem.io/）。
在過去數(shù)據(jù)庫為了提供durability，標準的做法都是把用戶的改動寫入一個叫做 Write Ahead Log (WAL)的日志文件里。然后調(diào)用操作系統(tǒng)的 fsync() 函數(shù)確保這個文件的內(nèi)容已經(jīng)被持久化到了磁盤上。然后再返回給用戶說寫入已經(jīng)成功。即便WAL文件的寫入是順序?qū)懀谴疟P的fsync操作仍然是昂貴的。Persistent Memory技術(shù)可以在將來被用于改善WAL的性能。Intel對etcd的性能優(yōu)化就是一個很好的榜樣。

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://specialneedsforspecialkids.com/yun/17484.html

相關(guān)文章

  • Intel、Google、Microsoft等公司聯(lián)手支持CXL聯(lián)盟，以提高數(shù)據(jù)中心的性能。

    摘要：和更多人組成了聯(lián)盟，以提高數(shù)據(jù)中心的性能。和是九大技術(shù)巨頭之一，他們聯(lián)手推出了一個新的行業(yè)集團，以提高數(shù)據(jù)中心的性能。是以數(shù)據(jù)為中心的計算的一個重要里程碑，它將成為開放動態(tài)加速器生態(tài)系統(tǒng)的基礎(chǔ)標準，英特爾技術(shù)計劃主管說。Intel、Google、Microsoft和更多人組成了CXL聯(lián)盟，以提高數(shù)據(jù)中心的性能。Intel、Google和Microsoft是九大技術(shù)巨頭之一，他們聯(lián)手推出了一個...

    vslam 評論0 收藏0

  • Intel、Google、Microsoft等公司聯(lián)手支持CXL聯(lián)盟，以提高數(shù)據(jù)中心的性能。

    摘要：和更多人組成了聯(lián)盟，以提高數(shù)據(jù)中心的性能。和是九大技術(shù)巨頭之一，他們聯(lián)手推出了一個新的行業(yè)集團，以提高數(shù)據(jù)中心的性能。是以數(shù)據(jù)為中心的計算的一個重要里程碑，它將成為開放動態(tài)加速器生態(tài)系統(tǒng)的基礎(chǔ)標準，英特爾技術(shù)計劃主管說。在上可以找到的。Intel、Google、Microsoft和更多人組成了CXL聯(lián)盟，以提高數(shù)據(jù)中心的性能。Intel、Google和Microsoft是九大技術(shù)巨頭之一，他...

    android_c 評論0 收藏0

  • 基準評測TensorFlow、Caffe等在三類流行深度神經(jīng)網(wǎng)絡(luò)上的表現(xiàn)

    摘要：在兩個平臺三個平臺下，比較這五個深度學習庫在三類流行深度神經(jīng)網(wǎng)絡(luò)上的性能表現(xiàn)。深度學習的成功，歸因于許多層人工神經(jīng)元對輸入數(shù)據(jù)的高表征能力。在年月，官方報道了一個基準性能測試結(jié)果，針對一個層全連接神經(jīng)網(wǎng)絡(luò)，與和對比，速度要快上倍。 在2016年推出深度學習工具評測的褚曉文團隊，趕在猴年最后一天，在arXiv.org上發(fā)布了的評測版本。這份評測的初版，通過國內(nèi)AI自媒體的傳播，在國內(nèi)業(yè)界影響很...

    canopus4u 評論0 收藏0

發(fā)表評論

0條評論

CoXie

男|高級講師

TA的文章

閱讀更多
最新活動
閱讀需要支付1元查看
<