रूबी के साथ पलायन

मुझे यकीन है कि Habré पर बड़ी संख्या में उपयोगकर्ता रहते हैं, युवा, गतिशील और सबसे महत्वपूर्ण बात यह है कि अपने उपयोगकर्ता आधार में उपयोग की जाने वाली प्रौद्योगिकियों और आर्किटेक्चर के विवरणों को पढ़ने में अपने होंठ चाट रहे हैं। दुर्भाग्य से, दुनिया भर में ऐसी कंपनियों में अपेक्षाकृत कम संख्या में हमारे हमवतन काम करते हैं, और जो लोग अभी भी आंतरिक रसोई में काम करते हैं, वे रोज़गार अनुबंधों के विभिन्न नियमों या एक सामान्य एनडीए से बंधे होते हैं जो जनता को सबसे दिलचस्प विवरणों को निकालने से रोकते हैं। फिर भी, मैं व्यक्तिगत रूप से बड़ी संख्या में विशेषज्ञों को जानता हूं, विशेष रूप से उन लोगों को जो उच्च भार में रुचि रखते हैं और जो नहीं जानते हैं कि यह जानकारी पहले कहां से प्राप्त की जाए।

इस समस्या को एकमात्र तरीके से हल किया जा सकता है - विकास विभाग के प्रबंधकों से किसी को या किसी अन्य व्यक्ति को मंजिल देने के लिए जो पर्याप्त रूप से उच्च पद पर काबिज है और विकास में पारंगत है, और उसके बाद - सभी विवरणों को खींचकर बाहर निकालें। यही सूचना कतार ने तब की जब उन्होंने ट्विटर के एक इंजीनियर इवान वीवर से पूछा कि क्यों कंपनी इतने लंबे समय से रेल पर विकास कर रही है और अन्य तकनीकों का उपयोग करने के लिए स्विच करने का फैसला किया और इसके परिणाम क्या थे।

इस लेख में, मैं पूरी तरह से प्रवास के सार और जेवीएम के उपयोग से प्राप्त लाभों, मुख्य रूप से उत्पादकता और, सभी एक ही, स्केलेबिलिटी को स्पष्ट करने वाले इवान के शब्दों का उल्लेख करूंगा। लेकिन जैसा कि हम थोड़ा बाद में सीखते हैं, निर्णय भी व्यक्तिगत सेवाओं को अलग करने की इच्छा से निर्धारित किया गया था, साथ ही उत्पाद की सामान्य वास्तुकला को थोड़ा बदल दिया गया था।

तो, कहानी पिछले साल शुरू होती है, जब ट्विटर ने बैकएंड (संदेश कतार) की वास्तुकला में बदलाव की घोषणा की, और साथ ही स्काला पर ट्विटर स्टोर को फिर से लिखने के अपने इरादे की घोषणा की, और वसंत में पूरे खोज इंजन को फिर से लिखना शुरू किया। इन परिवर्तनों के हिस्से के रूप में, MySQL डेटाबेस (खोज को अंतर्निहित) को ल्यूसीन द्वारा बदल दिया गया है। और अंत में, सबसे हाल ही में, विकास टीम ने खोज क्षेत्र में पटरियों पर रूबी के प्रतिस्थापन की घोषणा की - इसके स्थान पर जावा सर्वर था, जिसे उन्होंने खुद ब्लेंडर कहा था। खोज क्वेरी करते समय इस प्रतिस्थापन का परिणाम विलंब में तीन गुना कमी था।

अवलोकन

ट्विटर के सामान्य आर्किटेक्चर को देखकर जो पहला निष्कर्ष निकाला जा सकता है, वह यह है कि इसके डेवलपर्स के कई फैसले पूरी तरह से व्यावहारिक हैं। उदाहरण के लिए, उत्पाद बैकएंड MySQL और वितरित Cassandra डेटाबेस दोनों का उपयोग करता है । कुछ लोगों को ट्विटर इंजीनियरों के स्वयं के विकास के बारे में पता है: गिज़ार्ड , जो कि MySQL डेटाबेस के आधार पर वितरित भंडारण बनाने के लिए उपयोग की जाने वाली एक रूपरेखा है। वीवर के अनुसार: "यह मुख्य रूप से अत्यधिक संरचित डेटा (एसएलए-डेटा) के लिए उपयोग किया जाता है क्योंकि यह अपेक्षाकृत लचीला नहीं है।"

सभी रीयल-टाइम डेटा जिज़ार्ड / MySQL या कैसेंड्रा से प्राप्त किया जाता है। वास्तुकला भी ऑफ़लाइन लागत के लिए Hadoop वितरित कंप्यूटिंग स्टैक का व्यापक उपयोग करता है, ऑनलाइन, यह Redis कुंजी-मूल्य डेटाबेस और पूर्वोक्त Gizzard के साथ निर्मित सिस्टम का उपयोग करता है।

फ्रंटएंड और बैकएंड के स्तरों के बीच का संबंध फेसबुक के विकास के माध्यम से कार्यान्वित किया जाता है - थ्रिफ्ट (इंटरफ़ेस विवरण भाषा जिसे आरपीसी के रूप में इस्तेमाल किया जाता है) और ट्विटर और नए उत्पाद साइट से सभी "आधिकारिक" क्लाइंट्स में उपयोग किए जाने वाले JSON रीस्ट एपीआई।

बोली

हम कंपनी में उपयोग की जाने वाली प्रोग्रामिंग भाषाओं की पसंद में एक समान, व्यावहारिक दृष्टिकोण देखते हैं। प्रथम स्तर की भाषाएँ: जावास्क्रिप्ट, रूबी, स्काला और जावा। कार्य C में आंशिक रूप से समर्थित है, लेकिन उस पर नई सेवाएँ नहीं लिखी गई हैं। सामान्य तौर पर, इवान रूबी के ज्ञान और उन लोगों द्वारा जावा के उपयोग के साथ स्काला डेवलपर्स में संक्रमण के बारे में बात करता है जो पहले सी / सी ++ के क्षेत्र में काम कर चुके हैं।

जैसा कि सर्च इंजन टीम के लिए होता है, यहां के उपकरण भाषाओं की पसंद तय करते हैं। चूंकि ल्यूसिन जावा पर बनाया गया है, प्रोग्रामर को मुख्य रूप से इस भाषा के साथ काम करना पड़ता है।

डेवलपर्स को अपने लिए आदर्श कार्य भाषा चुनने की अनुमति देने के लिए, ट्विटर ने आंतरिक रूपरेखा लिखने में बहुत सारे प्रयास और धन का निवेश किया जो सभी टीमों के सामान्य प्रयासों को पूरा करता है। उदाहरण के लिए, फिनागल (स्काला में लिखा गया), जावा, स्काला, या जेवीएम प्लेटफ़ॉर्म पर किसी भी अन्य भाषा में अतुल्यकालिक आरपीसी सर्वर और क्लाइंट बनाने के लिए एक पुस्तकालय है।

जबकि पूरा बैकेंड धीरे-धीरे जेवीएम की ओर बढ़ रहा है, फ्रंट-एंड (क्लाइंट) कोड तेजी से ब्राउज़र-आधारित जावास्क्रिप्ट के उपयोग की ओर झुक रहा है, रूबी भाषा का हिस्सा कम कर रहा है।

खोज: रूबी से जावा तक

रूबी से जावा-आधारित ब्लेंडर ढांचे में संक्रमण दो चरणों में किया गया था। पहले मौजूदा MySQL बैक-एंड को ल्यूसिन पर आधारित वास्तविक समय उलट सूचकांक के साथ बदलने और अर्लीबर्ड नाम दिया गया था। इसकी कमीशनिंग ने उपयोग की गई मेमोरी की दक्षता को दोगुना कर दिया, साथ ही उत्पाद खोजों के लिए तेजी से बढ़ती मांग का समर्थन करने के लिए विभिन्न खोज फिल्टर जोड़ने के लिए लचीलापन। इस प्रणाली के संचालन के तंत्र का अधिक विस्तृत वर्णन ट्विटर इंजीनियरों द्वारा वर्णित किया गया था।

खराब फ्रंट-एंड प्रदर्शन की समस्या को हल करने के लिए, विकास टीम ने एक जावा ब्लेंडर सर्वर का निर्माण किया। ब्लेंडर पहले से उल्लेखित थ्रिफ्ट सेवा और HTTP एपीआई है, जो कि नेट्टी और स्केलेबल क्लाइंट-सर्वर लाइब्रेरी NEW I / O (NIO) पर बनाया गया है, जो जावा में लिखा गया है और विभिन्न सर्वर प्रोटोकॉल के विकास की अनुमति देता है। नेट्टी कंपनी को पूरी तरह से अतुल्यकालिक एकत्रीकरण सेवाएं बनाने में सक्षम बनाता है जो कई बैक-एंड सेवाओं (जैसे वास्तविक समय सूचकांक, शीर्ष ट्वीट और भू-डेटा) से परिणाम एकत्र कर सकते हैं।

इसने हमें I / O में उच्च कतारों से बचने की अनुमति दी, सीपीयू के प्रदर्शन का अनुकूलन और वर्तमान अनुरोधों के तेजी से प्रसंस्करण। इसके अलावा, बैकएंड में कई अनुरोधों को समानांतर में संसाधित किया जा सकता है, जो विलंबता को काफी कम कर देता है।



Twitter का खोज इंजन दुनिया के सबसे व्यस्ततम स्थानों में से एक है, जो प्रति दिन लगभग एक अरब प्रश्नों का प्रसंस्करण करता है। ब्लेंडर पर स्विच करने का परिणाम बस शानदार था: 95% अनुरोधों को तीन बार तेजी से संसाधित किया जाना शुरू हुआ, देरी 800ms से 250ms तक कम हो गई, और उत्पाद के दोनों सिरों (फ्रंट-एंड - बैक-एंड) पर प्रोसेसर लोड आधे से कम हो गया। कंपनी की मौजूदा क्षमताएं उत्पाद को वास्तुकला में इन प्रौद्योगिकियों के आवेदन से पहले मशीन के 10 गुना अधिक अनुरोधों को संसाधित करने की अनुमति देती हैं। इस प्रकार, कंपनी एक उच्च उत्पादक राज्य में संपूर्ण वास्तुकला को बनाए रखने के लिए आवश्यक सेवाओं की लागत को कम करती है।

हालांकि प्रदर्शन और मापनीयता महत्वपूर्ण मुद्दे थे जिन्हें जेवीएम के उपयोग को बढ़ाना था, इवान कहते हैं कि इनकैप्सुलेशन अभी भी इस संक्रमण की कुंजी है, जैसा कि ट्विटर की वर्तमान वास्तुकला आमतौर पर बहुत अच्छा कर रही है। जेवीएम के लिए संक्रमण काफी हद तक इस तथ्य से तय किया गया था कि इस पर डेवलपर्स की उत्पादकता अधिक है और परिणामस्वरूप, पूरे उत्पाद की उत्पादकता अधिक है।

माईक्यूएल डाटाबेस के साथ मिलकर रूबी फ्रेम ऑन रेल्स फ्रेमवर्क का संयोजन पिछले कुछ वर्षों में पश्चिमी स्टार्टअप के लिए बहुत लोकप्रिय रहा है। फायदे स्पष्ट हैं: डेवलपर्स वास्तविक बाजार में काम की परिस्थितियों में अपने प्रभाव का परीक्षण करने के लिए नए और सरल विचारों का परीक्षण कर सकते हैं, जहां प्रस्ताव उपयोगकर्ताओं की मांग के अनुसार निर्धारित होता है। हालांकि, इस तरह के एक बंडल के नुकसान भी काफी स्पष्ट हैं - मापनीयता और प्रदर्शन की समस्याएं, साथ ही पुस्तकालयों और उपकरणों की कुछ अपरिपक्वता, जो मुख्य रूप से आरओआर की चिंता करती है।

Ivaxer के लिए सटीक योगों में मदद के लिए धन्यवाद

RRW के माध्यम से InfoQ