👨🏿‍🍳 🍍 🐹 विभिन्न स्विफ्ट ओपनस्टैक कॉन्फ़िगरेशन का प्रदर्शन परीक्षण 🐮 👩🏼‍💻 🛅

उन लोगों के लिए जो स्विफ्ट ओपनस्टैक ऑब्जेक्ट स्टोरेज से पहले से परिचित नहीं हैं, संरचना और एल्गोरिदम के बारे में सामान्य जानकारी हमारे ब्लॉग में पहले ही दी जा चुकी है: habrahabr.ru/company/mirantis_openstack/blog/176805 , habrahabr.ru/company/mirantis_openstack/blog/176455 ।

यदि आपके पास ओपनस्टैक के लिए स्विफ्ट के बारे में पहले से ही एक विचार है, तो आप जानते हैं कि यह परियोजना कितनी गतिशील और लचीली है, लगातार बदल रही है और इसमें केवल सबसे अच्छा शामिल है: एन्क्रिप्शन , प्रत्यक्ष त्रुटि सुधार के साथ कोडिंग , और विकास के कई क्षेत्रों में अन्य अपडेट। रिलीज की मुख्य विशेषता स्विफ्ट 1.9.0 है। वैश्विक क्लस्टरिंग समर्थन है। इसका मतलब यह है कि यह एक क्लस्टर को आपस में फैलाए गए तत्वों के एक सेट के बीच वितरित करने की क्षमता प्रदान करता है और उच्च विलंबता वाले नेटवर्क द्वारा जुड़ा हुआ है।

नई संपत्ति के वास्तविक व्यवहार को देखने के लिए, आपको परीक्षण उपकरणों की आवश्यकता होगी जो मज़बूती से काम की आवश्यक मात्रा को पुन: उत्पन्न कर सकते हैं। ऑब्जेक्ट डेटा वेयरहाउस बाकी चीजों से भिन्न होते हैं, जिसमें पेड़ की पदानुक्रम के बजाय, कंटेनरों के गैर-नेस्टेड सेट और उन्हें स्टोर करने के लिए उपयोग करने के लिए अद्वितीय टोकन का उपयोग किया जाता है। इसलिए, ऑब्जेक्ट डेटा वेयरहाउस का परीक्षण करने के लिए, आपको एक विशेष उपकरण की आवश्यकता होती है - एक जो कुछ आवश्यकताओं का पालन करते हुए स्विफ्ट अनुरोधों के साथ काम करेगा। और यहाँ ssbench और स्विफ्ट-बेंच बचाव के लिए आते हैं - SwiftStack द्वारा विकसित स्विफ्ट प्रदर्शन परीक्षण उपकरण।

इसलिए, नई रिलीज के साथ, यह पता लगाने की जरूरत है कि नवाचार कैसे प्रभावित हुए हैं (क्षेत्रों - प्रदर्शन पर जानकारी, नेटवर्क प्रतिकृति, नए पढ़ने और लिखने के गुणों को पोस्ट करने के लिए रिंग में एक नया स्तर)।

नई सुविधाओं का आकलन

नए गुणों पर चलते हैं। क्षेत्र - रिंग में एक नया शीर्ष स्तर, ग्रुपिंग जोन। आप इस संरचना और एल्गोरिथ्म के बारे में अधिक जान सकते हैं। यह स्तर क्लस्टर के भौगोलिक वितरण का समर्थन करता है, आपको प्रॉक्सी सर्वर (प्रॉक्सी संबंध) के स्थानीयकरण का समर्थन करते हुए, कई भौतिक क्षेत्रों में प्रतिकृतियां डालने की अनुमति देता है। सीधे शब्दों में, प्रॉक्सी सर्वर मुख्य रूप से स्थानीय क्षेत्र का उपयोग करेगा, और प्रतिकृति के माध्यम से ऑब्जेक्ट अन्य क्षेत्रों में जाएंगे।

उपकरण

स्विफ्ट-ऑल-इन-वन (SAIO) के साथ एक एकल वर्चुअल मशीन के लिए प्रदर्शन परीक्षण एक स्विफ्ट-बेंच का उपयोग करके किया गया था। यह उपकरण स्वयं प्रोजेक्ट का हिस्सा है और मानक कॉन्फ़िगरेशन के लिए आवश्यक जानकारी एकत्र करना आसान बनाता है। एक समग्र समूह के परीक्षण के लिए, ssbench का उपयोग किया गया था, क्योंकि यह आपको अधिक विशिष्ट भार निर्दिष्ट करने की अनुमति देता है। ssbench भी SwiftStack द्वारा बनाई गई एक ओपन-सोर्स प्रोजेक्ट है, लेकिन Swift प्रोजेक्ट का हिस्सा नहीं है।

लक्ष्य

स्विफ्ट-बेंच और ssbench का उपयोग करते समय मुख्य कार्य यह अध्ययन करना था कि ऑब्जेक्ट स्टोर द्वारा संसाधित किए गए प्रति सेकंड औसत अनुरोधों में परिवर्तनों ने कैसे प्रभावित किया।

संरचना

ssbench सूचना को प्रबंधित और पुनः प्राप्त करने के लिए संदेश कतार प्रोटोकॉल का उपयोग करता है। स्क्रिप्ट JSON फ़ाइल में वर्णित है। शुरू किए गए कॉन्फ़िगरेशन के आधार पर, विभिन्न प्रकार के प्रदर्शन परीक्षण किए जा सकते हैं: लोड परीक्षण, स्थिरता परीक्षण, और अन्य।

एक उदाहरण परिदृश्य पर विचार करें जो अलग-अलग आकार के छोटे, छोटे, मध्यम फ़ाइलों के 3 वर्गों का उपयोग करता है। "प्रारंभिक_फाइल्स" एक निश्चित प्रकार की फ़ाइलों की संख्या निर्धारित करता है। Crud_profile प्रत्येक अनुरोध के लिए किए गए संचालन का प्रतिशत वितरित करता है, यह देखते हुए कि crud_profile में सभी मानों का योग, आपरेशन_काउंट में कुल संचालन का 100% है। उदाहरण के लिए, "crud_profile": [3, 4, 2, 2] का अर्थ है कि कुल अनुरोधों में से, किसी वस्तु को बनाने में 27% लगेगा, 36% पढ़ना, प्रत्येक को 18% अद्यतन करना और हटाना। समानांतर क्लाइंट "user_count" की अधिकतम संख्या के लिए, कंटेनरों की संख्या "container_count" बनाई जाएगी, जिसका नाम "कंटेनर_बेस" से एक स्ट्रिंग के साथ एक उपसर्ग होगा। इस स्थिति में, "container_concurrency" कंटेनर बनाने के लिए ग्राहकों की संख्या निर्धारित करता है।

एक उदाहरण स्क्रिप्ट पर विचार करें:
{

"नाम": "मध्यम परीक्षण परिदृश्य",

"आकार": [{# फ़ाइल प्रकारों का वर्णन करें

"नाम": "छोटे",

"Size_min": 1000, # बाइट्स में ऑब्जेक्ट का आकार रेंज

"Size_max": 16000

} {

"नाम": "छोटा",

"Size_min": 100000,

"Size_max": 200000

} {

"नाम": "मध्यम",

"Size_min": 1,000,000,

"Size_max": 2,000,000

}]

"प्रारंभिक_फाइल्स": {# किसी दिए गए प्रकार की वस्तुओं की संख्या

छोटे: 20,

"छोटा": 20,

"मध्यम": 2

}

"ऑपरेशन_काउंट": 100, # अनुरोधों की संख्या

"क्रूड_प्रोफाइल": [३, ४, २, २], # क्रिएट, READ, UPDATE और DELETE के बीच प्रश्नों का वितरण

"User_count": 5,

"कंटेनर_बेस": "एसएसबेन"

"कंटेनर_काउंट": 100,

"कंटेनर_कंसी": १०

}

ssbench प्राधिकरण v 1.0 और v 2.0 का समर्थन करता है, जिसका अर्थ है कि आप इसे OpenStack घटक के रूप में या एक अलग ऑब्जेक्ट संग्रहण के रूप में उपयोग कर सकते हैं।

परिणाम

ssbench दो प्रारूपों में परिणाम प्रदान करता है। पहला विकल्प देरी के बारे में जानकारी के साथ विस्तृत आंकड़े हैं, प्रति सेकंड की संसाधित संख्या और संसाधित अनुरोधों की कुल संख्या पर। दूसरा विकल्प हिस्टोग्राम बनाने के लिए एक सीएसवी तालिका है, जिसमें प्रति सेकंड संसाधित अनुरोधों की संख्या है।

निम्नलिखित उदाहरण ssbench रिपोर्ट है जिसे प्रदर्शन के साथ वर्चुअल मशीन पर चलाया गया था:
रैम: 2 जीबी
वीसीपीयू: 1
कैश्ड रीडिंग का समय: 5432.52 MB / सेकंड
टाइमिंग बफ़र डिस्क पढ़ता है: 57, 91 MB / सेकंड

कार्यप्रणाली

प्रदर्शन परीक्षण के लिए इन उपकरणों का उपयोग करना, आपके पास स्विफ्ट ऑब्जेक्ट डेटा वेयरहाउस के लिए विभिन्न परिनियोजन विकल्पों का मूल्यांकन करने और आपके द्वारा चुने गए एक को चुनने का अवसर होगा।

अंगूठी की तुलना

इसलिए, यदि आप परिणामों को विभिन्न क्षेत्रों के सेट, उपकरणों की संख्या और वस्तुओं की प्रतियों के साथ देखना चाहते हैं, तो हम इस विकल्प की पेशकश करते हैं:
• 4 ज़ोन और 3 प्रतिकृतियों वाले एक क्षेत्र में समूह 4 डिवाइस
• 2 जोन और 3 प्रतिकृतियों के साथ एक क्षेत्र में समूह 4 डिवाइस
• 1 क्षेत्र और 3 प्रतिकृतियों के साथ एक क्षेत्र में समूह 4 डिवाइस
• 4 ज़ोन और 2 प्रतिकृतियों के साथ दो क्षेत्रों में समूह 4 डिवाइस

हमने स्विफ्ट की रिलीज़ के लिए प्रदर्शन की तुलना 1.9.0 की है क्योंकि यह अंतिम विज़ार्ड के साथ बनता है:

प्रतिबद्ध	नाम	क्षेत्र	क्षेत्र	डालता है	जाता	डेल
dec517e3497df25cff70f99bd6888739d410d771	Fsync के बाद कैश ड्रॉप करें	1	4	26.4 / एस	107.8	32
13347af64cc976020e343f0fd3767f09e26598de	मर्ज "स्विफ्ट के कीस्टोनोएथ एसीएल सपोर्ट में सुधार"	1	4	35.1	116.8	32.9
151313ba8c6612183f6a733edbcbc311b3360949	मास्टर स्विफ्ट 1.9.0	1	4	45.3	133.1	44.2
151313ba8c6612183f6a733edbcbc311b3360949	मास्टर स्विफ्ट 1.9.0	1	2	49.1	160.3	51.3
151313ba8c6612183f6a733edbcbc311b3360949	मास्टर स्विफ्ट 1.9.0	1	1	42.3	175.3	40
151313ba8c6612183f6a733edbcbc311b3360949	मास्टर स्विफ्ट 1.9.0	2	4	54.3	109.8	49.7

प्रॉक्सी आत्मीयता

प्रॉक्सी आत्मीयता को चालू और बंद करते समय पूर्ण अनुरोधों की संख्या की तुलना:
- 4 उपकरणों को 4 क्षेत्रों और 3 प्रतिकृतियों के साथ एक क्षेत्र में बांटा गया है

	अक्षम	सक्षम करें
डालता है	45.3	7.2
जाता	133.1	160.3
डेल	44.2	55.2

- 4 उपकरणों को 2 क्षेत्रों और 3 प्रतिकृतियों के साथ एक क्षेत्र में बांटा गया है

	अक्षम	सक्षम करें
डालता है	49.1	3.8
जाता	160.3	157
डेल	51.3	57.8

- 4 उपकरणों को 1 क्षेत्र और 3 प्रतिकृतियों के साथ एक क्षेत्र में बांटा गया है

	अक्षम	सक्षम करें
डालता है	42.3	55.3
जाता	175.3	160.3
डेल	40	55.2

- 4 उपकरणों को 4 क्षेत्रों और 2 प्रतिकृतियों के साथ दो क्षेत्रों में बांटा गया है

	अक्षम	सक्षम करें
डालता है	54.3	3.4
जाता	109.8	136
डेल	49.7	49

जैसा कि आपने देखा, PUT गिरने पर संसाधित GET अनुरोधों की संख्या बढ़ जाती है। ऐसा इसलिए हुआ क्योंकि रिकॉर्डिंग के लिए प्रॉक्सी सेटिंग्स में 2 पैरामीटर निर्दिष्ट किए गए थे: क्षेत्र और क्षेत्र, जिसका अर्थ है कि केवल 1 डिवाइस इस नियम को फिट करेगा। जबकि केवल क्षेत्र को पढ़ने के लिए संकेत दिया गया था, और इसलिए इस क्षेत्र के सभी उपकरण पढ़ने के लिए स्थानीय हो गए।

क्षमता

Ssbench में वर्कफ़्लोज़ की संख्या में वृद्धि करते हुए परिणामों की तुलना करने के लिए परीक्षण प्रदर्शन का एक और तरीका है। निम्नलिखित उदाहरण में, प्रत्येक कार्यकर्ता 12 उपयोगकर्ता से अनुरोध बनाता है:

इस परिदृश्य का विचार धीरे-धीरे ग्राहकों की संख्या में वृद्धि करना है जब तक कि प्रदर्शन गिरना शुरू नहीं हो जाता है, जिसका अर्थ है कि हम क्लस्टर में समानांतर की सीमा तक पहुंच गए हैं।

अन्य विधियाँ

एक समग्र क्लस्टर पर परिणामों का मूल्यांकन करने के लिए, हमने 9 उपकरणों को 3 क्षेत्रों में विभाजित किया है। एक विज़ार्ड अलग-अलग मेजबानों पर चलने वाले सभी श्रमिकों और 20 उपयोगकर्ताओं से अनुरोध बनाने के लिए डेटा एकत्र करता है। स्क्रिप्ट में ऐसे पैरामीटर हैं जैसे: 100 कंटेनरों के साथ काम करना, 512 एमबी आकार की 100 फाइलें।

ID_run	r1-01	r1-02	r1-03	r2-01	r2-02	r2-03	r3-01	r3-02	r3-03
1	स्वामी	मज़दूर	मज़दूर
2	स्वामी			मज़दूर	मज़दूर
3	स्वामी						मज़दूर	मज़दूर
4	स्वामी					मज़दूर	मज़दूर
5	स्वामी					मज़दूर	मज़दूर		मज़दूर
6	स्वामी	मज़दूर			मज़दूर		मज़दूर
7	स्वामी		मज़दूर	मज़दूर		मज़दूर			मज़दूर

हमने क्षेत्र द्वारा जानकारी एकत्र करने के लिए इस तरह के वितरण का उपयोग किया।
• पहले मामले में, केवल स्थानीय क्षेत्र का उपयोग किया जाता है
• दूसरा और तीसरा एक गैर-स्थानीय क्षेत्र का उपयोग करते हैं
• चौथे मामले में, दो गैर-स्थानीय क्षेत्रों का उपयोग किया जाता है
• 5-7 मामलों में कार्यकर्ता की संख्या में वृद्धि होती है

चरण 6 में, हम एक क्लस्टर सीमा का सामना करते हैं और प्रदर्शन गिरना शुरू हो जाता है।

निष्कर्ष

यह अध्ययन हमें दृढ़ता से यह कहने की अनुमति देता है कि स्विफ्ट 1.9.0 की रिहाई आपके भंडारण के प्रदर्शन में वृद्धि को पूरा करने के लिए एक झटका है।
यहाँ कुछ प्रदर्शन परीक्षण विधियाँ थीं जिनका उपयोग हम अनुसंधान और उत्पादों को बनाने के लिए करते हैं।

यदि आप अपना स्वयं का परीक्षण वातावरण बनाने में रुचि रखते हैं, तो निम्न लिंक का उपयोग करें:
• ssbench github: github.com/swiftstack/ssbench
• ssbench स्विफ्टस्टैक ब्लॉग: स्विफ्टस्टैक. com/blog/ 2013 / 04 / 18 / openstack- summit-benchmarking- swift
• ब्लॉग में स्विफ्ट 1.9.0: lists.openstack.org/pipermail/openstack-dev/2013-July/011221.html
• स्विफ्ट 1.9.0 जानकारी: launchpad.net/swift/+milestone/1.9.0

मूल लेख अंग्रेजी में

विभिन्न स्विफ्ट ओपनस्टैक कॉन्फ़िगरेशन का प्रदर्शन परीक्षण