इंटेल ONS स्विच के साथ 40G ईथरनेट प्रदर्शन

आज एक सभ्य संख्या में इंटरफेस उपलब्ध हैं, जिनमें से प्रत्येक उपयोगी और आवश्यक होने का दावा करता है। 1G, 10G, 40G के साथ पारंपरिक ईथरनेट; InfiniBand FDR 56G और QDR 40G; FiberChannel 8G, 16G, 32G का वादा किया।

हर कोई खुशी का वादा करता है और रोजमर्रा की जिंदगी में अपनी चरम आवश्यकता और उपयोगिता के बारे में बात करता है। इसके साथ क्या करना है, क्या चुनना है और कहाँ नुकसान हैं?



परीक्षण कैसे करें:

हमने सभी के लिए पारंपरिक गीगाबिट में भाग लिया, जो हर सर्वर में है, 40G ईथरनेट, QDR और FDR InfiniBand, 10G नहीं लिया। यह तुरंत ध्यान दिया जाना चाहिए कि हम एफसी को एक छोड़ने वाला इंटरफ़ेस मानते हैं, अब अभिसरण प्रवृत्ति में है। 32G अभी उपलब्ध नहीं है, और 16G उच्च गति समाधानों की लीग से बाहर है।
सीमाओं को स्पष्ट करने के लिए, न्यूनतम विलंब और अधिकतम थ्रूपुट प्राप्त करने के लिए परीक्षण किए गए, जो एचपीसी विधियों का उपयोग करने के लिए सुविधाजनक है, उसी समय हमने एचपीसी अनुप्रयोगों के लिए 40 जी ईथरनेट की उपयुक्तता का परीक्षण किया।

केंद्रीय नियंत्रण केंद्र के सहयोगियों द्वारा क्षेत्र परीक्षण द्वारा एक अमूल्य मदद प्रदान की गई और संचालित की गई, जिनके लिए इंटेल ONS पर आधारित एक स्विच को परीक्षण के लिए स्थानांतरित कर दिया गया था।

वैसे, सबसे दिलचस्प परियोजना में स्विच का वितरण जारी है।

हार्डवेयर:

• 40G ईथरनेट स्विच
• संचार एडाप्टर मेलानॉक्स कनेक्टएक्स -3 वीपीआई एडेप्टर कार्ड; सिंगल-पोर्ट QSFP; FDR IB (56Gb / s) और 40GigE; PCIe3.0 x8 8GT / s
• Intel® Xeon® E5-2680 v2 के साथ दोहरे प्रोसेसर प्रणाली
• OFED-3.5 (मेलानॉक्स के लिए ड्राइवर और निम्न-स्तरीय लाइब्रेरी )
• कनेक्टएक्स® एन 10 और 40 गीगाबिट लिनक्स ड्राइवर

सॉफ्टवेयर:

• इंटेल MPI बेंचमार्क v3.2.3 परीक्षण सूट से सिंथेटिक पिंगपॉन्ग परीक्षण का उपयोग करके प्रदर्शन माप किए गए थे
• प्रयुक्त एमपीआई लाइब्रेरी एस-एमपीआई v1.1.1 का संस्करण ओपन एमपीआई का एक क्लोन है।

तैयारी की प्रक्रिया में, मेलेनॉक्स एडेप्टर की बारीकियां स्पष्ट हो गईं - उन्हें ईथरनेट मोड में एक मजबूर हस्तांतरण की आवश्यकता होती है। किसी कारण से, जुड़े नेटवर्क के प्रकार के स्वचालित निर्धारण की घोषित कार्यक्षमता काम नहीं करती है, इसे ठीक किया जा सकता है।

प्रदर्शन का मूल्यांकन करने के लिए, "परंपरागत रूप से", हम संदेश को 4 बाइट्स की लंबाई और 4 एमबी की लंबाई के साथ संदेश प्रसारित करने के लिए बैंडविड्थ के लिए विलंबता मूल्यों पर गौर करते हैं।

प्रयोगों की शुरुआत:

सामान्य ईथरनेट मोड का उपयोग करता है। हमारी शब्दावली में, टीसीपी कारखाने का उपयोग किया गया था। अर्थात्, संदेश भेजने के लिए MPI लाइब्रेरी सॉकेट इंटरफ़ेस का उपयोग करती है। ड्राइवरों, स्विच और MPI का डिफ़ॉल्ट कॉन्फ़िगरेशन।

बाईं ओर स्थित तालिका 1G ईथरनेट के लिए परिणाम दिखाती है, दाईं ओर 40G (हमारे स्विच के साथ)। हम 256K-1M संदेश पट्टी में "डिप्स" और अधिकतम परिणाम देखते हैं, जो 10G ईथरनेट के लिए उपयुक्त है। जाहिर है, आपको सॉफ़्टवेयर को कॉन्फ़िगर करने की आवश्यकता है। बेशक, देरी बहुत बड़ी है, लेकिन जब मानक टीसीपी स्टैक से गुजर रहा है, तो उम्मीद करने के लिए बहुत कुछ है और इसके लायक नहीं है। हमें 1G ईथरनेट से तीन गुना बेहतर, श्रद्धांजलि अर्पित करनी चाहिए।

Mpirun –n 2 –debug-mpi 4 –host host01,host02 –nets tcp --mca btl_tcp_if_include eth0 IMB-MPI1 PingPong

mpirun -n 2 -debug-mpi 4 -host host01,host02 -nets tcp --mca btl_tcp_if_include eth4 IMB-MPI1 PingPong

क्लिक करने योग्य:


हम जारी रखते हैं:

हम ड्राइवरों को अपडेट करते हैं। हम ड्राइवर को मेलानॉक्स वेबसाइट से लेते हैं।
256K-1M रेंज में "ड्रॉडाउन" को कम करने के लिए, हम MPI सेटिंग्स के माध्यम से बफ़र्स का आकार बढ़ाते हैं:

export S_MPI_BTL_TCP_SNDBUF=2097152
export S_MPI_BTL_TCP_RCVBUF=2097152

mpirun -n 2 -debug-mpi 4 -host host1,host2 -nets tcp --mca btl_tcp_if_include eth4 IMB-MPI1 PingPong

क्लिक करने योग्य:


नतीजतन, सुधार डेढ़ गुना और विफलताओं में कमी है, लेकिन अभी भी छोटे हैं, और यहां तक ​​कि छोटे पैकेट में देरी भी बढ़ी है।

बेशक, उच्च गति वाले ईथरनेट इंटरफेस का उपयोग करते समय बैंडविड्थ को बेहतर बनाने के लिए, यह अतिरिक्त-लंबे ईथरनेट फ्रेम (जंबो फ्रेम) का उपयोग करने के लिए समझ में आता है। हम MTU 9000 का उपयोग करने के लिए स्विच और एडेप्टर को कॉन्फ़िगर करते हैं, और हमें एक उच्चतर बैंडविड्थ मिलता है, जो अभी भी 20 जीबी / एस पर रहता है।

क्लिक करने योग्य:


छोटे पैकेट पर लेटेंसी फिर बढ़ रही है।
हमने अन्य मापदंडों को मोड़ने की कोशिश की, लेकिन कोई मौलिक सुधार नहीं हुआ। सामान्य तौर पर, उन्होंने तय किया कि "हम उन्हें खाना बनाना नहीं जानते।"
किस तरीके से देखना है?
बेशक, यदि आप प्रदर्शन की तलाश करते हैं, तो आपको टीसीपी स्टैक को दरकिनार करना होगा। स्पष्ट उपाय RDMA तकनीक का प्रयास करना है।

प्रौद्योगिकी का सार:

• कर्नेल और उपयोगकर्ता मोड के बीच अनुप्रयोग संदर्भ को स्विच किए बिना, सीधे उपयोगकर्ता के वातावरण में डेटा का वितरण।
  
  
  
  
• एडाप्टर से डेटा को इंटरमीडिएट बफ़र्स के बिना, एप्लिकेशन मेमोरी में तुरंत रखा जाता है।
  
  
  
  
• नेटवर्क नियंत्रक एक प्रोसेसर को शामिल किए बिना परिवहन परत की प्रक्रिया करते हैं।
  
  
  
  

एक परिणाम पहुँच विलंबता में एक महत्वपूर्ण कमी है।
दो प्रतिस्पर्धी मानक हैं, इंटरनेट वाइड एरिया आरडीएमए प्रोटोकॉल (आईडब्ल्यूएआरपी) और आरडीएमए ओवर कन्वर्जर्ड ईथरनेट (आरओसीई), उनकी प्रतियोगिता और समर्थकों के एक दूसरे को डूबने के प्रयास एक अलग होलीवर और वॉल्यूमिनस सामग्री के योग्य हैं। चित्र iWARP के लिए हैं, लेकिन सार आम है।

मेलानोक्स एडेप्टर कंवर्स्ड ईथरनेट (RoCE) पर RDMA का समर्थन करते हैं, हम OFED-3.5.2 का उपयोग करते हैं।
नतीजतन, हमें उत्कृष्ट संख्या मिली। देरी 1.9 μs है और बैंड 4613.88 MB / s है (यह चोटी का 92.2% है!) जंबो फ्रेम का उपयोग करते समय। यदि आप डिफ़ॉल्ट रूप से MTU आकार छोड़ते हैं, तो बैंड कम होगा, लगभग 4300 एमबी / एस।

mpirun -n 2 -debug-mpi 4 -host host1,host2 --mca btl openib,self --mca btl_openib_cpc_include rdmacm IMB-MPI1

क्लिक करने योग्य:


पिंगपोंग परीक्षण के लिए, देरी समय को 1.4 μ तक बेहतर किया जा सकता है, इसके लिए नेटवर्क एडाप्टर के लिए सीपीयू "करीब" पर प्रक्रियाओं को रखा जाना चाहिए। वास्तविक जीवन में इसका क्या व्यावहारिक महत्व है? नीचे InfiniBand बनाम एक छोटा ईथरनेट तुलनात्मक लेबल है। सिद्धांत रूप में, इस तरह के "ट्रिक" को किसी भी इंटरकनेक्ट पर लागू किया जा सकता है, इसलिए नीचे दी गई तालिका कुछ नेटवर्क कारखानों के लिए मानों की श्रेणी दिखाती है।

	1G ईथरनेट (टीसीपी)	40G ईथरनेट (टीसीपी)	40G ईथरनेट (RDMA)	InfiniBand QDR	InfiniBand FDR
विलंबता, usec	24.5	7.8	1.4-1.9	1.5	0.86-1.4
बैंडविड्थ, Mbytes / s	112	1126	4300-4613	3400	5300-6000

40G और FDR का डेटा कोर की निकटता के आधार पर तैरता है, जिस पर प्रक्रियाएं नेटवर्क एडॉप्टर के लिए जिम्मेदार कोर पर चल रही हैं, किसी कारण से यह प्रभाव लगभग QDR पर दिखाई नहीं दे रहा था।
40G इथरनेट ने आईबी क्यूडीआर को महत्वपूर्ण रूप से पछाड़ दिया, लेकिन इससे पहले कि आईबी एफडीआर निरपेक्ष संख्या में पकड़ में न आए, जो आश्चर्यजनक नहीं है। हालांकि, 40G ईथरनेट दक्षता में अग्रणी है।
इससे क्या होता है?
अभिसरित ईथरनेट तकनीक की विजय!
कोई आश्चर्य नहीं कि माइक्रोसॉफ्ट लगातार SMB डायरेक्ट की क्षमताओं को बढ़ावा दे रहा है, जो RDMA पर निर्भर करता है; NFS में RDMA समर्थन भी बनाया गया है।
ब्लॉक एक्सेस के साथ काम करने के लिए, नेटवर्क कंट्रोलर्स पर iSCSI ऑफलोड टेक्नॉलॉजी और RDMA (iSER) प्रोटोकॉल के लिए iSCSI एक्सटेंशन्स हैं, सौंदर्यशास्त्र FCoE :-) आजमा सकते हैं

ऐसे स्विच का उपयोग करते समय:



आप दिलचस्प उच्च-प्रदर्शन समाधानों का एक समूह बना सकते हैं।
उदाहरण के लिए, एक सॉफ्टवेयर-कॉन्फ़िगर स्टोरेज सिस्टम जैसे FS200 G3 एक 40G इंटरफेस और 10G एडेप्टर के साथ एक सर्वर फ़ार्म।
इस दृष्टिकोण के साथ, डेटा के लिए एक समर्पित नेटवर्क बनाने की आवश्यकता नहीं है, स्विच के दूसरे सेट के लिए दोनों पैसे की बचत करने और समाधान को तैनात करने के लिए समय की आवश्यकता होती है, क्योंकि केबलों को भी कनेक्ट होने और आधे के रूप में थोड़ा कम करने की आवश्यकता होती है।

कुल:

1. ईथरनेट पर, आप अल्ट्रा-लो लेटेंसी के साथ एक उच्च-प्रदर्शन नेटवर्क बना सकते हैं।
2. RDMA समर्थन के साथ आधुनिक नियंत्रकों के सक्रिय उपयोग से समाधान के प्रदर्शन में काफी सुधार होता है।
3. इंटेल के 400 एनएस कट-थ्रू विलंबता से शानदार परिणाम प्राप्त करने में मदद मिलती है :-)