??百度網盤??
提取碼:u6C4?
DPDK(Data Plane Development Kit)是數據平面開發工具包,由用于加速在各種CPU架構上運行的數據包處理的庫組成。
在Linux上捕獲數據包有多種方式,常見的有libpcap,pf-ring等。DPDK以高性能著稱,想必相比傳統的數據包捕獲方式,一定有其獨到之處。
本文主要就DPDK所使用的技術點進行宏觀的說明,并將其與libpcap,pf-ring進行對比,若有寫的不對的地方請幫忙指出。
參考文檔:
[1]絕對干貨!初學者也能看懂的DPDK解析
[2]Linux 設備驅動之 UIO 機制(基本概念)
[3]PF_RING學習筆記
若出現侵權請聯系作者刪除。
1.DPDK 技術特點
傳統的數據包捕獲瓶頸往往在于Linux Kernel,數據流需要經過Linux Kernel,就會帶來Kernel Spcae和User Space數據拷貝的消耗;系統調用的消耗;中斷處理的消耗等。
DPDK針對Linux Kernel傳統的數據包捕獲模式的問題,進行了一定程度的優化。DPDK的優化可以概括為:
UIO+mmap 實現零拷貝(zero copy)
UIO+PMD 減少中斷和CPU上下文切換
HugePages 減少TLB miss
其他代碼優化
2.UIO
2.1 UIO簡介
UIO(Userspace I/O)是運行在用戶空間的I/O技術。Linux系統中一般的驅動設備都是運行在內核空間,而在用戶空間用應用程序調用即可,而UIO則是將驅動的很少一部分運行在內核空間,而在用戶空間實現驅動的絕大多數功能。
圖片引自百度百科
一個設備驅動的主要任務有兩個:
存取設備的內存
處理設備產生的中斷
如上圖所示,對于存取設備的內存 ,UIO 核心實現了mmap();對于處理設備產生的中斷,內核空間有一小部分代碼用處理中斷,用戶空間通過read()接口/dev/uioX來讀取中斷。
2.2 DPDK UIO機制
采用Linux提供UIO機制,可以旁路Kernel,將所有報文處理的工作在用戶空間完成。
圖片引自參考文檔[1]
如上圖,左邊是傳統的數據包獲取方式,路徑為:
網卡 -> Kernel驅動 -> Kernel TCP/IP協議棧 -> Socket接口 -> 業務
右邊是DPDK的方式,基于UIO。數據路徑為:
網卡 -> DPDK輪詢模式-> DPDK基礎庫 -> 業務
2.3 DPDK 零拷貝(Zero Copy)
通過UIO+mmap 實現數據零拷貝(zero copy)是DPDK的特點之一。那么常規的Linux Kernel(libpcap)以及pf-ring處理數據包的流程要進行幾次數據拷貝呢?
libpcap
libpcap采用的是傳統的數據包獲取方式,如上圖左邊路徑。
網卡接收到數據包后,第一步需要把數據從網卡拷貝到主存(RX buffer)中。但是在這個拷貝的過程中使用了DMA(Direct Memory Access)技術。DMA 傳輸將數據從一個地址空間復制到另外一個地址空間。由CPU 初始化這個傳輸動作,傳輸動作本身是由 DMA 控制器來實行和完成,CPU是不需要參與,也不會產生CPU資源消耗。因此這個第一步的拷貝可以忽略。
第二步,Kernel會將網卡通過DMA傳輸進入主存(RX buffer)的內容拷貝一份進行處理,這里進行了一次數據拷貝。
第三步,由于內核空間和用戶空間的內存是不共享的,Kernel會將數據包內容再進行一次拷貝用于用戶空間使用。
綜上,傳統的數據包捕獲方式(libpcap)會進行兩次數據包拷貝。
pf-rfing
pf-ring采用mmap()將傳統的兩次拷貝減少至一次拷貝。
第一步,同樣使用DMA技術,把數據從網卡拷貝到主存(RX buffer)中。
第二步,pf-ring會將網卡通過DMA傳輸進入主存(RX buffer)的內容拷貝一份放入環形緩沖區中(ring)中,這里進行了一次數據拷貝。
第三步,使用mmap()將環形緩沖區映射至用戶空間,用戶空間可以直接訪問這個環形緩沖區中的數據。
pf-ring zc
pf-ring zc(zero copy)更是將pf-ring的一次拷貝也省去,達到了零拷貝的目的,具體的:
第一步,使用DMA技術,把數據從網卡拷貝到主存(RX buffer)中。
第二步,使用mmap()直接將RX buffer的數據映射到用戶用戶空間,使用戶空間可以直接訪問RX buffer的數據。
下圖非常清晰地展示了pf-ring zc實現零拷貝的過程:
圖片引自參考文檔[3]
DPDK
DPDK實現零拷貝的方式與pf-ring zc類似,首先通過DMA將網卡數據拷貝至主存(RX buffer);隨后使用mmap()直接將RX buffer的數據映射到用戶用戶空間,使用戶空間可以直接訪問RX buffer的數據,以此實現了零拷貝。
由上述可以看出,pf-ring zc和dpdk均可以實現數據包的零拷貝,兩者均旁路了內核,但是實現原理略有不同。pf-ring zc通過zc驅動(也在應用層)接管數據包,dpdk基于UIO實現。