1. 背景
2023年1月5日,金睛雲華發佈瞭全球首款基於通用服務器的100G全包捕獲與溯源產品【1】,可能會有人疑惑,“面對持續性100Gbps小包流量,線速捕獲和存儲寫入是否可以達到聲稱的性能?”、“Cisco Trex是開源的系統,一切皆有可能”。但我們可以肯定,全流量威脅取證系統(TFS-100G)不僅能持續線速捕獲100Gbps小包流量,並且可以實時壓縮存儲到文件系統。為瞭證明這一點,國際權威測試儀廠商思博倫(Spirent)為金睛雲華提供瞭一臺Spirent N11U,利用100G測試板卡對TFS-100G產品的捕獲和存儲性能進行瞭極限測試。
2. 測試環境
網絡拓撲和測試環境,首先通過思博倫(Sprient)設備生成100Gbps測試流量到交換機,再從交換機鏡像100Gbps流量發送到TFS-100G設備。網絡拓撲和測試環境如<span class="nolink">圖1和圖2所示。
圖 1 測試網絡拓撲圖 2 測試環境
3. 100Gbps混合流量基準測試
首先進行TCP隨機包長測試,最小包長設置為64字節,最大包長設置為1518字節,以便更好地模擬現網中混合數據包大小的網絡工作負載,使其類似於網絡上通用數據包速率和帶寬負載。
(1) 100Gbps混合流量基準測試過程,思博倫(Sprient)設備參數設置。具體設置如圖 3所示,具體描述如下:灰色標識,表示隨機數據包長生成算法類型選擇;藍色標識,表示最小包長設置為64字節,最大包長設置為1518字節;黃色標識,表示以太網幀間距為12字節;綠色標識,表示持續325s生成隨機數據包。
圖 3 混合流量基準測試,思博倫設備參數設置
(2) 100Gbps混合流量基準測試過程,思博倫(Sprient)設備100Gbps混合流量生成。如圖 4所示,思博倫(Sprient)測試儀以97.53Gbps的數據速率和15.4Mpps的數據包速率生成,這些通常都被認為是非常繁重的工作負載,許多100G交換機也無法以此速率轉發數據包。
圖 4 混合流量基準測試,思博倫設備生成100Gbps混合流量
(3)100Gbps混合流量基準測試過程,TFS-100G數據包捕獲和全流量落盤存儲。混合流量打流過程中,如圖 5所示,對於TFS-100G的數據包實時捕獲情況,L2層瞬時吞吐量為97.53Gbps,L1層瞬時吞吐量為100Gbps。
fd1c96d4c56fbd4963ea284c85a06689圖 5 混合流量基準測試,TFS-100G測試過程中數據包捕獲狀態
(4)思博倫設備生成100Gbps混合流量打流結束,如圖 6所示,325s時間窗口內,思博倫設備總計生成5,009,315,959個數據包,比特數為31,698,509,452,912,思博倫測試儀顯示的是發包/收包的比特數,如圖 7所示,TFS-100G設備總計捕獲到5,009,315,959個數據包,共3,962,313,681,614字節,TFS上顯示的是收包的字節數,思博倫測試儀顯示的比特數轉換為字節數為31,698,509,452,912 /8=3,962,313,681,614。對於落盤存儲,通過“pcapinfos”程序讀取並分析TFS-100G設備上保存的pcap數據。該工具類似於Wiresharks capinfos,隻是它的運行速度更快,並且可以針對TFS-100G系統進行數據驗證。如圖 8所示,TFS-100G已保存5,009,315,959個報文,TFS-100G已保存有效載荷3,962,313,681,614字節(不包括PCAP文件頭,每幀的幀頭和crc校驗符)。通過單個pcap信息可以看出每線程每秒25.7萬PPS和1626Mbps,換算成整機流量約等於97.5Gbps(整機60線程)。最後,通過TFS-100G的數據包捕獲分析和落盤數據的反向分析,多個角度驗證瞭TFS-100G的捕獲和存儲性能,圓滿完成瞭思博倫100Gbps混合流量的基準測試。
f024149cada31987d651a0f41d490d42圖 6 混合流量基準測試,思博倫設備生成混合流量統計圖 7 混合流量基準測試,TFS-100G數據包捕獲結束統計信息圖 8 混合流量基準測試,pcapinfos對TFS-100G落盤PCAP包進行統計分析
4. 100Gbps 64字節小包極限測試
混合流量是基準測試,但這種測試場景並沒有真正把TFS-100G產品性能推到極限。對於100G網絡設備,其限制通常是每秒處理的數據包數。例如,許多100G交換機隻能以100Gbps(48Mpps)的線速轉發256字節數據包。而64字節數據包在100Gbps時將達到148.8Mpps,這是100Gbps的極限場景。對於TFS-100G產品,即使對於148.8Mpps的64字節小包,也可以做到線速捕獲,不會丟失任何數據包,這就意味著TFS-100G每秒需要處理高達148.8M個數據包,即148.8Mpps極端情況下TFS-100G零丟包!
(1)100Gbps 64字節小包極限測試過程,思博倫(Sprient)設備全線速64字節數據包生成過程如圖 9所示,當前包速為148.8Mpps,並持續運行。
圖 9 小包極限測試,思博倫設備生成100Gbps 64字節小包流量
(2)100Gbps 64字節小包極限測試過程,TFS-100G數據包捕獲和全流量落盤存儲。小包極限測試打流過程中,如圖 10所示,對於TFS-100G的數據包實時捕獲情況,L2層瞬時吞吐量為76.19Gbps,L1層瞬時吞吐量為100Gbps。
9cedbd615138fd947d6c9c2c810e9214圖 10 小包極限測試,TFS-100G測試過程中數據包捕獲狀態
(3)思博倫設備生成100Gbps 64字節小包流量打流結束,如圖 11所示,355s時間窗口內,思博倫設備總計生成52,827,380,952個數據包, 比特數為27,047,619,047,424,思博倫測試儀顯示的是發包/收包的比特數。如圖 12所示,TFS-100G設備總計捕獲到52,827,380,952個數據包,共3,380,952,380,928字節, TFS上顯示的是收包的字節數,思博倫測試儀顯示的比特數轉換為字節數為27,047,619,047,424/8=3,380,952,380,928。。對於落盤存儲,通過“pcapinfos”程序讀取並分析TFS-100G設備上保存的pcap數據。該工具類似於Wiresharks capinfos,隻是它的運行速度更快,並且可以針對TFS-100G系統進行數據驗證。如圖 13所示,TFS-100G已保存52,827,380,952個報文,TFS-100G已保存有效載荷3,380,952,380,928字節(不包括PCAP文件頭,每幀的幀頭和crc校驗符)。通過單個pcap信息可以看出每線程每秒248萬PPS和1270Mbps,換算成整機流量約等於76.2Gbps(整機60線程)。最後,通過TFS-100G的數據包捕獲分析和落盤數據的反向分析,多個角度驗證瞭TFS-100G的捕獲和存儲性能,圓滿完成瞭思博倫100Gbps64字節小包極限測試。
圖 11 小包極限測試,思博倫設備生成混合流量統計圖 12 小包極限測試,TFS-100G數據包捕獲結束統計信息圖 13 小包極限測試,pcapinfos對TFS-100G落盤PCAP包進行統計分析
感謝國際權威測試儀廠商思博倫(Spirent)的支持,為金睛雲華提供瞭一臺Spirent N11U,利用100G測試板卡對TFS-100G產品的捕獲和存儲性能進行瞭極限測試,實驗結果再次證明全球首款基於通用服務器的100G全包捕獲與溯源產品的核心能力和金睛雲華的引擎技術積累。“TFS-100G揚帆,思博倫護航”,金睛雲華將會以持續創新的理念繼續引領全流量存儲和溯源市場。
引用【1】:《金睛雲華發佈全球首款基於通用服務器的100G全包捕獲和溯源產品》
DETR 的出现掀起了一波端到端检测器的高潮,各种结构下 FCN(DeFCN, OneNet 等),R-CNN(Sparse R-CNN 等),DETR (DETR ...