InfiniBand के बारे में: कैसे हमने पिंग को 7 μs से घटाकर 2.4 μs कर दिया (और परीक्षा परिणाम)

^{InfiniBand स्विच SX6005। 12 FDR 56Gb / s पोर्ट एक इकाई पर, स्विचिंग 1.3Tb / s।}

बहुत से लोग सोचते हैं कि InfiniBand "अंतरिक्ष" है। यही है, यह माना जाता है कि यह केवल "सुपर कंप्यूटर" (एचपीसी) के लिए 1-2 पेटाफ्लॉप्स की उत्पादकता और संसाधित डेटा की भारी मात्रा के साथ महंगा और आवश्यक है। फिर भी, इस तकनीक की मदद से न केवल क्लस्टर में सबसे तेज़ चौराहे के कनेक्शन को व्यवस्थित करना संभव है, बल्कि महत्वपूर्ण अनुप्रयोगों के संचालन में मौलिक रूप से देरी को कम करना है। विशेष रूप से - ईथरनेट की मदद से क्या हल किया जा सकता है , लेकिन अधिक किफायती और तेज। यहाँ एक उदाहरण है।

कार्य

वित्तीय क्षेत्र के हमारे प्रमुख ग्राहकों में से एक को दो अनुप्रयोगों की गति में समस्या थी। अनुप्रयोगों की विशिष्टता यह थी कि न्यूनतम विलंब के साथ बड़ी संख्या में लेनदेन की प्रक्रिया करना आवश्यक था। 6-7 माइक्रोसेकंड विलंबता - ये सबसे अच्छे परिणाम हैं जो उन्होंने सर्वरों को अपग्रेड करके और सॉफ्टवेयर विकास को अधिकतम करके हासिल किए हैं। आगे की संभावित आशाओं ने 0.3-0.5 μs के स्तर पर सुधार का वादा किया। हमने आकर सूचना दी कि हम देरी को आधे से कम कर सकते हैं।

निर्णय

हमने InfiniBand का उपयोग कर सर्वरों के बीच संचार का प्रस्ताव रखा। बेशक, ग्राहक के विशेषज्ञों ने इस तकनीक के बारे में सुना, लेकिन उन्हें व्यक्तिगत रूप से हर चीज का परीक्षण करने के लिए साइट पर विशिष्ट परीक्षणों की आवश्यकता थी। ऐसा करने के लिए, हमने डेमो उपकरणों का एक सेट तैयार किया, और उन्होंने इसके लिए कई सर्वर आवंटित किए। मैं स्पष्ट कारणों के लिए "लड़ाई" सर्वर को नहीं छूना चाहता था। इसलिए, हमने ग्राहक के साइट पर आईबी कनेक्शन का उपयोग करके एक लाइव नेटवर्क का एक टुकड़ा बनाया।

इस समस्या को हल करने के लिए, हमने मेलानॉक्स द्वारा निर्मित उपकरण लिया। इस विशेष निर्माता के लिए मुख्य चयन मानदंड यह था कि मेलानॉक्स स्विच में "सार्वभौमिक पोर्ट" हैं, जो या तो एक InfiniBand पोर्ट या नियमित ईथरनेट के रूप में परिभाषित सॉफ़्टवेयर हैं - जो तब ग्राहक के मौजूदा ईथरनेट नेटवर्क में सहज एकीकरण की अनुमति देगा। इसके अलावा, मेलानॉक्स उपकरणों की एक पूरी श्रृंखला (स्विच सहित, किसी भी सर्वर के लिए नेटवर्क कार्ड, इंटरफ़ेस केबल, और इसी तरह) का निर्माण करता है, जो बाद में ग्राहक पर उपलब्ध सर्वरों के प्रकार और निर्माता की परवाह किए बिना आपको संपूर्ण समाधान इकट्ठा करने की अनुमति देता है।

ग्राहकों ने सर्वर और रोल किए गए परीक्षणों पर अपने एप्लिकेशन इंस्टॉल किए (ऐसा लगता है, पिछले वित्तीय दिन से वास्तविक कार्यों का उपयोग करके) और परीक्षण शुरू हुआ।

परीक्षण के परिणाम

पहले परीक्षण की वास्तुकला:

^{IB उपकरण: ConnectX-3 HCA, SX6025 FDR स्विच, HP Proliant DL380 G7 सर्वर, RHEL 6.4 MRG 2.2 OS।}

परीक्षण चरण:

भागो आईबी पढ़ें विलंबता परीक्षण:
1 नोड पर: ib_read_lat -a
दूसरे नोड पर: ib_read_lat –a <node1_ip>

भागो आईबी लिखें विलंबता परीक्षण:
1 नोड पर: ib_write_lat -a -R
2 नोड पर: ib_write_lat –a -R <node1_ip>

भागो आईबी विलंबता परीक्षण भेजें:
1 नोड पर: ib_send_lat -a -R
दूसरे नोड पर: ib_send_lat –a -R <node1_ip>

निम्नलिखित परीक्षण (IPoIB प्रोटोकॉल प्रदर्शन):

1. Sockperf UDP परीक्षण चलाएँ:
1 नोड पर: sockperf sr -i
2- : sockperf pp -t 10 –i

2. Sockperf TCP:
1- : sockperf sr -i --tcp
2- : sockperf pp -t 10 –i --tcp

sockperf sr -i
2- : sockperf pp -t 10 –i

2. Sockperf TCP:
1- : sockperf sr -i --tcp
2- : sockperf pp -t 10 –i --tcp



दूसरा परीक्षा परिणाम

Sockperf UDP टेस्ट:
16 बाइट्स के एक पैकेट के लिए: एवीजी-लैट = 9.133 (एसटीडी-देव = 1.226)
64 बाइट पैकेट के लिए: avg-lat = 9.298 (std-dev = 1.268)
256 बाइट्स के पैकेट के लिए: एवीजी-लैट = 9.605 (एसटीडी-देव = 1.031)
1024 बाइट पैकेट के लिए: avg-lat = 10.791 (std-dev = 1.066)
4096 बाइट्स के एक पैकेट के लिए: एवीजी-लैट = 17.107 (एसटीडी-देव = 1.548)
16384 बाइट पैकेट के लिए: avg-lat = 34.512 (std-dev = 2.098)
65,506 बाइट्स के एक पैकेट के लिए: एवीजी-लैट = 96.502 (एसटीडी-देव = 3.181)

Sockperf TCP टेस्ट:

16 बाइट्स के एक पैकेट के लिए: एवीजी-लैट = 10.509 (एसटीडी-देव = 1.185)
64 बाइट पैकेट के लिए: avg-lat = 10.506 (std-dev = 1.154)
256 बाइट्स के एक पैकेट के लिए: एवीजी-लैट = 11.552 (एसटीडी-देव = 1.128)
1024 बाइट पैकेट के लिए: avg-lat = 12.409 (std-dev = 1.168)
4096 बाइट्स के एक पैकेट के लिए: एवीजी-लैट = 18.991 (एसटीडी-देव = 1.506)
16384 बाइट्स के एक पैकेट के लिए: एवीजी-लैट = 32.937 (एसटीडी-देव = 1.952)
65,506 बाइट्स के एक पैकेट के लिए: एवीजी-लैट = 76.926 (एसटीडी-देव = 3.066)

अंतिम परिणाम 2.36 - 2.37 μs है। रिकॉर्ड पर, सबसे अच्छे परिणाम लगभग 2 μs हैं। ग्राहक द्वारा आवश्यक से अधिक हासिल करना संभव था।

और परीक्षणों के बाद, मैंने गहरी नैतिक संतुष्टि की भावना को देखा, जिसे लोग अनुभव करते हैं, यह जानते हुए कि अब उनकी प्रणाली अधिक कुशलता से काम करेगी। कोई सर्वर रिप्लेसमेंट नहीं।

ईथरनेट और InfiniBand

मुझे तुरंत कहना चाहिए: एक दूसरे के लिए एक विकल्प नहीं है। यह एक टैंक के साथ कार की तुलना कैसे करें: एक सुविधाजनक और तेज़ है, और दूसरे पर आप यूरोप जा सकते हैं। यह महत्वपूर्ण है कि आपको आईबी से बड़ी संख्या में सेवाओं और एक जटिल मार्ग योजना के निर्माण की संभावना की उम्मीद नहीं करनी चाहिए - यह ईथरनेट की निस्संदेह नियति है। आईबी वास्तुकला "फ्लैट" है।

इसके अलावा, सादगी के परिणामस्वरूप - InfiniBand उन्नयन और पैमाने पर बहुत आसान है। उपकरण स्थापित करने के बाद स्थानीय नेटवर्क को तैनात करने का हमारा अभ्यास संपर्कों में प्लग और प्लग करना है, और फिर टर्मिनल पर एक घंटे के लिए बैठना है, और इस घंटे से 40 मिनट के लिए एक तैयार समाधान को सत्यापित करना होगा। ईथरनेट पुनर्गठन के मामले में, वास्तु परिवर्तन की आवश्यकता होती है, जहां बहुत सारे चरण होते हैं - और लचीलेपन के कारण और प्रौद्योगिकी के कुछ प्रतिशोध के कारण, जो सभी सूक्ष्मताओं को नहीं जानते हैं, प्रक्रिया छोटे प्रिंट में वस्तुओं के एक गुच्छा के साथ एक अनुबंध पर हस्ताक्षर करने के समान है। और कुछ संभावनाएं हैं कि जटिल वास्तुकला भविष्य में आश्चर्य लाएगी।

एक ईथरनेट नेटवर्क को फिर से बनाने के लिए जैसे कि आईबी जैसे पैरामीटर औसतन 3-4 गुना अधिक समय लेंगे। आईबी नेटवर्क रिकवरी कार्यों को हल करने की गति दिन के किसी भी समय अधिकतम 4 घंटे है। इस सूचक को एसएलए में आसानी से लिखा जा सकता है - हमने कभी भी इस तथ्य का सामना नहीं किया है कि मुश्किल मामलों में भी, समय किसी तरह कुचल जाएगा। बेशक, आप ईथरनेट के लिए एक ही समय लिख सकते हैं - लेकिन फिर सिस्टम प्रशासकों की एक पूरी टीम को जगह के लिए छोड़ देना चाहिए।

खैर, मुख्य अंतर गति है।
ईथरनेट, जैसे FibreChannel, एक "सीमित" तकनीक है। बेशक, आप 10Gb लिंक की असीमित संख्या को एकत्रित करके ईथरनेट पर 100Gb बैंडविड्थ सुनिश्चित कर सकते हैं। लेकिन! सबसे पहले, यह सीमा है। दूसरी बात - इस समाधान की लागत क्या होगी? और अगर आप ऑपरेशन की लागत जोड़ते हैं? हमें यह भी समझने की ज़रूरत है कि डेटा सेंटर में कितनी जगह, बिजली, और गर्मी लंपटता की लागत को 100 जीबी कोर-स्तरीय स्विच की आवश्यकता होगी - और उन्हें एक से अधिक की आवश्यकता है। IB में - 100 Gb / s सीमा नहीं है, और इस घोल की कीमत (CAPEX और OPEX दोनों) कई गुना कम होगी, क्योंकि इसमें कम जगह, कम नुकसान, कम केबल, कम बिजली और एयर कंडीशनिंग, कम मानव घंटे हैं ऑपरेशन वगैरह के लिए। सामान्य तौर पर, आईबी इस वर्ग के कार्यों के लिए बस थोड़ा तेज और सस्ता है।

एक व्यावहारिक उदाहरण की आवश्यकता है?
कृपया। कुछ बिंदु पर हमारे क्लाउड डेटा सेंटर ने उच्च गति की मांग की। आर्किटेक्चर ग्राहक की विशिष्ट व्यक्तिगत आवश्यकताओं के लिए बहुत लचीला, जल्दी और दर्द रहित रूप से आधुनिक बनाने योग्य होना चाहिए (यह सीआरसी के ट्रम्प कार्ड में से एक है)। परिवर्तन की दर की गणना करने के बाद, हमने निश्चित रूप से आईबी को चुना।

निर्माताओं

वहाँ चार मुख्य निर्माता हुआ करते थे - क्लोगिक, मेलानॉक्स, वोल्टेयर और टॉप्सपिन। मेलानॉक्स ने वोल्टेयर को लगभग 3 साल पहले खरीदा था। टॉपस्पिन 2005 में सिस्को का हिस्सा बन गया, और इंटेल ने 2012 में Qlogic का अधिग्रहण किया (अब हार्डवेयर मुख्य रूप से OEP है)। नतीजतन, अब एक प्रोफ़ाइल खिलाड़ी है - मेलानॉक्स, जो सबसे व्यापक वर्गीकरण प्रदान करता है। उनके ओईएम एचपी, आईबीएम, वायलिन आदि हैं।

संभावनाओं

"स्पेस" हाई-स्पीड InfiniBand समाधानों के बीच, यह कार्यान्वयन और रखरखाव की लागत में बहुत ही किफायती है। केवल 2-3 साल पहले, इस तरह के समाधानों को केवल उद्योग के महत्व के साथ बहुत गंभीर कार्यों के लिए आवश्यक था, लेकिन अब अधिक से अधिक उद्यम वर्ग परियोजनाएं हैं। सब कुछ बहुत सरल है: डेटा की मात्रा बढ़ रही है, अनुप्रयोगों पर भार बढ़ रहा है, सर्वर का प्रदर्शन बढ़ रहा है, और परिणामस्वरूप, सर्वर और अनुप्रयोग गति के बीच अन्य डेटा विनिमय गति की आवश्यकता होती है।

ग्राहक यह कहते हैं: "हम कुछ भी नहीं खो रहे हैं, हम प्रौद्योगिकी नहीं बदल रहे हैं, हम ईथरनेट नहीं फेंक रहे हैं, लेकिन हम अपने InfiniBand बुनियादी ढांचे को पूरक करना चाहते हैं।"

हमारे पास इस तरह के सवाल क्यों आते हैं?

कई ग्राहक बहुत खुश हैं कि, सबसे पहले, आप उपकरण को लाइव देख सकते हैं (हम लगातार हमारी परियोजनाओं पर और हमारे डेटा केंद्रों में काम करते हैं), हमारी साइटों पर परीक्षण करते हैं (जैसा कि मैंने ऊपर उदाहरण दिया है), एक पायलट प्रणाली और फिर सब कुछ परिचय परिचय कराना। हमारे पास ऐसे लोग भी हैं जो विशिष्ट बड़े पैमाने के कार्यों के लिए सॉफ़्टवेयर को अनुकूलित कर सकते हैं, नेटवर्क की सभी विशेषताओं को ध्यान में रखते हुए - यह हाईलोड के साथ काम करने का अगला दौर है। और हम किसी पर कुछ भी लगाए बिना, कार्य को हल करने के लिए सभी संभावित तकनीकी विकल्पों के बारे में अधिकतम विस्तार से और पेशेवर रूप से बात करने की कोशिश करते हैं।

युपीडी। टिप्पणियों को देखते हुए, यह पूरी तरह से स्पष्ट नहीं है कि ऐसा समाधान क्यों चुना गया था। संक्षेप में: विशिष्ट अनुप्रयोगों के लिए 7 μs से 3 μs तक की देरी को कम करने की समस्या को हल करने के लिए आवश्यक ग्राहक। कम-विलंबता ईथरनेट उपकरण स्थापित करके इसे हल करना संभव था, जिसे ग्राहक खुद से गणना करने में सक्षम था। उसी समय, ग्राहक के तकनीकी विशेषज्ञों ने आईबी की उनके संस्करण के साथ तुलना करने का फैसला किया।

हमने ग्राहक की साइट पर परीक्षण किए, और उनके विशेषज्ञों ने निम्नलिखित की पुष्टि की:

• आईबी पूरी तरह से समस्या को हल करती है और यहां तक ​​कि ग्राहकों की अपेक्षाओं को भी पार करती है।
• समाधान निरंतर सेवाओं के साथ मुकाबला सर्वर पर तैनात करने के लिए बहुत आसान है।
• समाधान संचालित करने के लिए सुविधाजनक है।
• कार्यान्वयन की लागत और रखरखाव की लागत ईथरनेट समाधानों की तुलना में बहुत कम है।

इस मामले में, ग्राहक ने आईबी-संगत मॉड्यूल का उपयोग किया, जिसने विक्रेता की पसंद का निर्धारण किया।

PS यदि आप इस विषय में रुचि रखते हैं, तो 12 सितंबर को मैं एक वेबिनार आयोजित करूंगा, कनेक्ट करूंगा। यदि आपको तुरंत कुछ गणना करने या समझने की आवश्यकता है कि क्या आपकी साइट पर सीधे परीक्षण करना संभव है - AFrolov@croc.ru पर लिखें।