याक 2011: तकनीकी रिपोर्ट

ओह, एक बार और, एक बार
हां, फिर भी एक और समय ...

इतना समय पहले नहीं, यैंडेक्स वाईसी 2011 सम्मेलन समाप्त हो गया, और अब जब भाषणों की रिकॉर्डिंग उपलब्ध हो गई है, तो मैं आपको उसकी यात्रा पर एक तकनीकी रिपोर्ट पेश करना चाहता हूं। रिपोर्ट में, मैंने उस सूचना पर ध्यान केंद्रित किया जो आप किसी रिपोर्ट के रिकॉर्ड को देखकर प्राप्त कर सकते हैं और यह तय कर सकते हैं कि उस पर समय व्यतीत करना है या नहीं। कुछ विषयों के लिए, उन्होंने प्रमुख संसाधनों के लिए अतिरिक्त लिंक जोड़े, और साथ ही, लेखकों के साथ संचार के आधार पर, दो यैंडेक्स नोएसक्यूएल प्रौद्योगिकियों के उपकरणों का वर्णन किया: यैंडेक्स मेल में इलिप्टिक्स नेटवर्क और ईमेल भंडारण।

तो, याक 2011, जैसा कि यह था।

परिचय

गुजरती गर्मी की किरणों ने मेरे सोमवार की शुरुआत निर्धारित की। हर कदम के साथ, शुरुआती शरद ऋतु की एक अद्भुत सुबह, मैंने अपने मूड में सुधार किया क्योंकि मैं वर्ल्ड ट्रेड सेंटर की इमारत पर चला गया, जिसमें 19 सितंबर, 2011 को यैंडेक्स द्वारा आयोजित दूसरा प्रौद्योगिकी सम्मेलन आयोजित किया गया था।

एक साल पहले, यैंडेक्स ने सालाना एक नया सम्मेलन आयोजित करने का फैसला किया, जिसे मामूली कहा जाता है, फिर भी एक और सम्मेलन, और "एक और सम्मेलन" उन लोगों के विशाल बहुमत के ऊपर एक कट निकला जो हमारे आसपास अंतरिक्ष में पहुंचा जा सकता है। एक ओर, महत्वपूर्ण रिपोर्ट की गुणवत्ता और तकनीकी विशेषज्ञों पर उनके प्रत्यक्ष फोकस ने अन्य तकनीकी सम्मेलनों के लिए एक बहुत ही उच्च मानक स्थापित किया, और दूसरी ओर, यैंडेक्स ने अपने प्रमुख विशेषज्ञों को जारी करके और "टुकड़ों को फाड़ने" के लिए एक विशेष वातावरण बनाया। । प्रस्तुति के बाद, कई वक्ता ऐसे लोगों से घिरे हुए थे जो बात करना चाहते थे, और घंटों तक उन्होंने सवालों के जवाब दिए, एक कुदाल को कुदाल कहा और कई रहस्य बताए जो मंच पर बात करने के लिए प्रथागत नहीं हैं।

कोई कम महत्वपूर्ण तथ्य यह नहीं है कि हां रिपोर्ट सार्वजनिक रूप से उपलब्ध कराई जाती है, और कोई भी स्वतंत्र रूप से उन्हें देख और मूल्यांकन कर सकता है। बेशक, वीडियो आपको सीधे स्पीकर के साथ चैट करने और सभी सबसे दिलचस्प पता लगाने की अनुमति नहीं देगा, लेकिन, फिर भी, यह आत्म-शिक्षा के लिए एक मूल्यवान संसाधन प्रदान करता है।

इस रिपोर्ट का उद्देश्य रिपोर्ट को फिर से बेचना नहीं है, क्योंकि आप स्वयं सब कुछ देख सकते हैं। इसके बजाय, रिपोर्ट के सार के बारे में संक्षेप में बात करने, अपने विचारों और छापों को साझा करने और उन रिपोर्टों की सिफारिश करने के लिए यह अधिक उपयोगी होगा जो आपको अपना समय बिताना चाहिए और रिकॉर्डिंग देखना चाहिए। हालाँकि, अंत में मैं इस नियम से थोड़ा हट जाता हूं कि रिकॉर्ड में जो नहीं था उसे साझा करने के लिए।

खोज तकनीक "स्पेक्ट्रम"

आंद्रेई प्लाखोव की एक रिपोर्ट द्वारा सम्मेलन खोला गया था, जो एक खोज क्वेरी के जवाब की प्रासंगिकता का आकलन करने के लिए, 2010 के अंत में लॉन्च की गई नई प्रणाली के लिए समर्पित था। आंद्रेई ने अपनी कहानी को अस्पष्ट प्रश्नों की समस्या के निर्माण के लिए समर्पित किया और सामान्य सिद्धांतों में इसके समाधान का वर्णन किया।

यांडेक्स प्रति माह 5 बिलियन अनुरोधों की प्रक्रिया करता है और उनमें से कई इस तरह से संरचित हैं कि किसी व्यक्ति के लिए यह समझना आसान नहीं है कि उपयोगकर्ता वास्तव में क्या जानना चाहता था। उदाहरण के लिए, जगुआर के अनुरोध पर, उत्तर विकल्प एक जानवर, एक कार और एक पेय से संबंधित हो सकते हैं। क्वेरी प्रवाह के विश्लेषण के आधार पर, सिस्टम को वर्तमान क्वेरी के संभावित एक्सटेंशन मिलते हैं, उदाहरण के लिए, "जगुआर का इंजन आकार" या "जगुआर में शराब सामग्री"। सभी संभावित एक्सटेंशनों के बीच, वे जो अनुरोध श्रेणी के अनुरूप हैं (उदाहरण के लिए, एक पेय, कुछ हानिकारक) का चयन किया जाता है और संभावित एक्सटेंशन को श्रेणी की संभावित आवश्यकताओं के आधार पर भार सौंपा जाता है। सिस्टम में सीमित संख्या में श्रेणियां हैं, जैसे कि फिल्में, किताबें, लोग, गैजेट्स, आदि, जो मैन्युअल रूप से निर्धारित किए जाते हैं।

रिपोर्ट की रिकॉर्डिंग अस्पष्ट समाधानों और इसके समाधान के लिए नमूना दृष्टिकोण की समस्या की सामान्य समझ के लिए एक नज़र के लायक है।

मोबाइल उपकरणों के लिए क्रॉस-प्लेटफॉर्म विकास

दिमित्री ज़ेस्टिलेव्स्की, ने प्लेटफार्म एब्स्ट्रेक्शन लेयर (पाल) के बारे में बात की, जिसे यैंडेक्स में विकसित किया जा रहा है। PAL बिना डुप्लिकेट, बिना iOS, Android, सिम्बियन और अन्य प्रणालियों के लिए नेटिव C ++ एप्लिकेशन बनाने की अनुमति देता है। PAL OpenKODE पर आधारित था: खुले मानकों का एक सेट जो एक मोबाइल डिवाइस के सॉफ़्टवेयर प्लेटफ़ॉर्म का वर्णन करता है। OpenKODE में OpenKODE Core ऑपरेटिंग सिस्टम (बड़े पैमाने पर POSIX की नकल), OpenGL ES, OpenSL ES और अन्य के साथ बातचीत के लिए API शामिल हैं। Yandex ने प्रत्येक प्लेटफ़ॉर्म के लिए OpenKODE मानकों का एक भाग लागू किया, दूसरा हिस्सा पहले से ही प्लेटफार्मों पर शुरू किया गया था (उदाहरण के लिए, OpenGL ES)। और एक सार्वभौमिक अनुप्रयोग विकास वातावरण मिला। पाल आपको विंडोज़ के तहत कोड लिखने और डिबग करने की अनुमति देता है और तुरंत इसे आईओएस और एंड्रॉइड के तहत संकलित करता है। OpenKODE मानकों का सेट समृद्ध अवसर प्रदान करता है, लेकिन कभी-कभी ऐसे कार्य होते हैं जिनके लिए बेहतर तरीके से हल करने के लिए, OpenKODE क्षमताएं अपर्याप्त हो जाती हैं और फिर अपने खुद के OpenKODE एक्सटेंशन बनाना आवश्यक हो जाता है।

OpenKODE मानक C भाषा का उपयोग करता है और एक तरफ, C ++ का उपयोग किए बिना एक्सटेंशन लिखना तर्कसंगत है, लेकिन दूसरी ओर, समय के साथ, यह स्पष्ट हो गया कि शुद्ध C में एक एक्सटेंशन इंटरफ़ेस बनाना बहुत सुविधाजनक नहीं है जब बाकी सभी कोड C ++ का उपयोग करते हैं। अब एक्सटेंशन सी-++ ऑब्जेक्ट्स से भरे हुए हैं और सी कोड पर RAII रैपर बनाने के लिए कोई अतिरिक्त आवश्यकता नहीं है।

पाल एक अद्वितीय यांडेक्स तकनीक नहीं है और अन्य कंपनियां कोई कम दिलचस्प एनालॉग नहीं देती हैं। उदाहरण के लिए, मुरब्बा एसडीके, जिसका उल्लेख रिपोर्ट में किया गया था, पूरी तरह से तैयार है और, मेरे दृष्टिकोण से, सबसे आशाजनक समाधान है। फिर भी, यैंडेक्स ने अपनी प्रणाली लिखना शुरू कर दिया, मुख्य रूप से क्योंकि यह तीसरे पक्ष की कंपनियों से स्वतंत्रता सुनिश्चित करता है और असीमित विस्तार विकल्प प्रदान करता है।

रिपोर्ट रिकॉर्डिंग यैंडेक्स को हुई समस्याओं को समझने के लिए एक नज़र के लायक है, लेकिन PAL के आयोजन के दृष्टिकोणों का पता लगाने के लिए, मैं सुझाव देता हूं कि आप OpenKODE और Marmalade SDK को समर्पित साइटों का अध्ययन करें।

गणित की खोज में

रिपोर्ट का सुंदर शीर्षक मुझे उदासीन नहीं छोड़ सकता था, और मैंने अनुमान लगाते हुए, मंच के करीब अपना रास्ता बना लिया। कहानी निगमा-गणित प्रणाली के लिए समर्पित थी, जो वुल्फराम अल्फा का घरेलू एनालॉग है। रिपोर्ट सेवा की संरचना के सामान्य विवरण के लिए समर्पित थी, जो काफी विशिष्ट थी।

वेब सेवाओं के आयोजन के सामान्य सिद्धांतों को समझने के लिए रिपोर्ट देखने लायक है, लेकिन यदि आप सूक्ष्मताओं में रुचि रखते हैं, तो अन्य संसाधनों को संदर्भित करना बेहतर है।

C ++ में Android अनुप्रयोग विकास

एक अन्य PAL डेवलपर, यूरी बेरेज़ा ने एंड्रॉइड विकास की जटिलताओं के बारे में बात की: जावा से C ++ और C ++ से जावा कॉल, बूस्ट संकलन, डिबगिंग, असेंबली फीचर्स आदि। इसके परिणामस्वरूप, उन्हें व्यावहारिक दृष्टिकोण से बहुत उपयोगी रिपोर्ट मिली।

रिकॉर्ड निश्चित रूप से उन लोगों के लिए एक नज़र के लायक है जो एंड्रोइड के तहत पहले से ही सी ++ में लिख रहे हैं। यह सबसे व्यावहारिक शो में से एक था।

हमने NodeJS पर स्केल के लिए Cloud9 IDE को कैसे संग्रहीत किया

जावास्क्रिप्ट मेरे हितों में से एक नहीं है और इस रिपोर्ट में मैंने समय को दूर कर दिया जब तक कि जो लोग रात के खाने का समाधान चाहते थे, उनकी पहली लहर। लेकिन, फिर भी, मुझे अभी भी कुछ पता चला है।

Cloud9 ने एक जावास्क्रिप्ट आईडीई बनाया है जो ब्राउज़र में सही चलता है। दरअसल, आईडीई सिंटैक्स को उजागर कर सकता है, संस्करण नियंत्रण प्रणालियों के साथ काम कर सकता है, पूरी तरह से डिबग कर सकता है: ब्रेकपॉइंट सेट कर सकता है, चर, कॉलस्टैक आदि का मूल्य देख सकता है।

मैंने एचटीएमएल 5 की इस सभी जीत पर भूखा देखा, कंप्यूटर प्रौद्योगिकी के भविष्य के बारे में सोचा, सर्वव्यापी इंटरनेट, स्मार्ट डिवाइस, कारों में ऑटोपायलट, इस सभी इलेक्ट्रॉनिक खुशी के लिए थर्मोन्यूक्लियर फ्यूजन।

हालांकि, मुझे इस आईडीई में एक बड़ा "दोष" मिला: ट्विटर और फेसबुक के साथ एकीकरण की पूरी कमी। इसलिए, कौन जानता है कि प्रोग्रामर एक आईडीई का चयन करेगा, ऐसी अद्भुत सेवाओं के बीच फाड़ा?

रिपोर्ट मुझे बड़े पैमाने पर विपणन लगती थी, और इसलिए मैं इसे केवल उन लोगों द्वारा देखे जाने की सलाह देता हूं जो वास्तव में परियोजना क्षमताओं में रुचि रखते हैं।

एक साधारण प्रोग्रामर को उन भाषाओं को क्यों जानना चाहिए जिसमें लगभग कोई नहीं लिखता है

यह एक रिपोर्ट नहीं है, यह एक महाकाव्य है, रामायण के साथ एक ओडिसी और भगवद-गीता के साथ एक लाल टॉवर में एक सपना है।

नहीं, सच है, अगर प्रोग्रामिंग भाषाओं के विषय पर यह आवश्यक है कि कुछ अपूर्ण बनाया जाए और 40 मिनट में बताया जाए, तो यह कुछ इस तरह दिखाई देगा।

मैं आपको हमेशा सोने से पहले, एक अच्छे मूड में और एक बिखरी हुई चेतना में देखने की सलाह देता हूं।

C ++ 11 नया C ++ भाषा मानक है

मानक पथ कांटेदार और लंबा था, लेकिन 8 साल बाद हम अंततः कह सकते हैं कि यह पथ पूरा हो गया है। हर किसी को भाषा की जटिलता के साथ इतनी लंबी अवधि की व्याख्या करने के लिए उपयोग किया जाता है, लेकिन शायद ऐसा बिल्कुल नहीं है? हो सकता है कि मामला दूसरे की ताकतों के हस्तक्षेप का हो? खुद के लिए न्यायाधीश, स्पीकर को रूस में बस की अनुमति नहीं थी। और अगर हम, यहाँ, लंबे समय से हमारी अन्य सेनाओं के साथ रहने के आदी हैं, तो वे, समिति के सदस्य, ऐसी आपदा के खिलाफ क्या कर सकते हैं?

डेव अब्राम्स की रिपोर्ट स्काइप पर चली गई, जो अपने आप में मज़ेदार थी। उपलब्ध तकनीकी ट्रिक्स ने दो-तरफ़ा वीडियो संचार प्रदान किया: एक स्लाइड शो के साथ, अंत में प्रश्न आदि। डेव के लिए एक छोटे से लैपटॉप के कैमरे द्वारा शूट किए गए विशाल दर्शकों को देखना शायद अजीब था, और हमें एक व्यक्ति को घर पर बड़ी संख्या में बोलने वाले व्यक्ति को देखना चाहिए।

हमने C ++ की नई विशेषताओं के बारे में बात की, और मुझे लगता है कि तकनीकी संचार समस्याओं को देखते हुए यह वीडियो देखने लायक नहीं है। C ++ 11 विकिपीडिया लेख का अध्ययन करने में अपना बेहतर समय व्यतीत करें।

इकाई परीक्षण और Google मॉक

यूनिट परीक्षण केवल तभी फायदेमंद होंगे जब वे तेज, विश्वसनीय और सटीक हों। लेकिन डेटाबेस, नेटवर्क या भारी कंप्यूटिंग के आधार पर किसी सिस्टम की इकाई परीक्षण कैसे लिखें? इस प्रश्न का एक उत्तर केवल एक विशिष्ट मॉड्यूल का परीक्षण करना है, और मॉक ऑब्जेक्ट का उपयोग करके सभी निर्भर मॉड्यूल के काम का अनुकरण करना है।

मॉक एक ऐसी वस्तु है जो केवल परीक्षण के लिए इच्छित इंटरफ़ेस के एक विशिष्ट डमी कार्यान्वयन का प्रतिनिधित्व करती है।

प्रत्येक परीक्षण के लिए एक मॉक ऑब्जेक्ट लिखना अक्सर काफी महंगा हो सकता है और इसलिए इस प्रक्रिया को किसी तरह से स्वचालित करने की इच्छा है। जावा के लिए कई मॉक लाइब्रेरी हैं, जिनके लिए आत्मनिरीक्षण के समर्थन के कारण, ऐसी लाइब्रेरी लिखना बहुत आसान है। और मुझे यह प्रतीत हुआ कि सुविधाजनक मॉक लाइब्रेरी कभी भी C ++ के लिए प्रकट नहीं होगी, हालाँकि, Google ने Google मॉक पेश किया।

रिपोर्ट के तुरंत बाद, लाइब्रेरी मुझे "पेट से असंतुष्ट" एक कदावर लग रहा था। खुद के लिए न्यायाधीश, टेम्पलेट की मदद से अपनी स्वयं की घोषणात्मक भाषा को मेटाप्रोग्राम करने के लिए बनाया गया था, जो मॉक-ऑब्जेक्ट के व्यवहार का वर्णन करता है। और सवाल यह उठता है: दस्तावेज़ को जल्दी से समझाने में ज्यादा देर नहीं लगेगी, यह समझाने की कोशिश में कि मॉक को क्या करना चाहिए, इसके बजाय जल्दी से कैसे लिखना चाहिए?

Google मॉक डॉक्यूमेंट में थोड़ा सा डुबकी लगाने के बाद मेरा पहला प्रभाव था। पुस्तकालय काफी व्यवस्थित रूप से, सीखने में आसान है, और अब यह मुझे लगता है, कम से कम, दिलचस्प है।

यह कहना मुश्किल है कि वीडियो देखें या नहीं। यह मुझे प्रतीत हुआ कि आपको थोड़ी देर के लिए वाक्यविन्यास की आदत डालनी होगी, और वक्ता तुरंत विडाल में चला जाता है और पहली छाप को खराब कर देता है।

पशु नियंत्रण: क्लूडेरा वितरित प्रणाली प्रबंधन और निगरानी उपकरण

क्लोडेरा हादोप के आसपास निर्मित प्रौद्योगिकियों में माहिर हैं, जो कि हजारों व्यक्तिगत नोड्स के समूहों पर बड़ी मात्रा में डेटा को संग्रहीत और संसाधित करने के लिए डिज़ाइन की गई मुफ्त अपाचे सॉफ्टवेयर फाउंडेशन परियोजना है। Hadoop, वास्तव में, कई अलग-अलग परियोजनाओं को एकजुट करने वाला एक पारिस्थितिकी तंत्र है: वितरित HDFS फ़ाइल सिस्टम, MapReduce प्रतिमान का कार्यान्वयन, गैर-संबंधपरक HBase डेटाबेस, आदि।

हाल ही में, Hadoop की लोकप्रियता तेजी से बढ़ रही है। Hadoop के साथ अपने कार्यों को हल करने वाली कंपनियों की संख्या बढ़ रही है, आंतरिक कार्यान्वयन की गुणवत्ता में सुधार हो रहा है, और Hadoop क्लस्टर अधिक से अधिक डेटा संसाधित कर रहे हैं। 80 पेटाबाइट डेटा स्टोर करने वाले क्लस्टर अब आम हो रहे हैं।

रिपोर्ट मुझे कुछ हद तक विपणन लगती थी और इसका उद्देश्य सीधे Hadoop के साथ काम करने वाले विशेषज्ञ थे, इसलिए मुझे लगता है कि आपको इस पर अपना समय बर्बाद नहीं करना चाहिए। इसके बजाय, मैं याहू से कोंस्टेंटिन शवाको द्वारा भाषण देने की सलाह देता हूं, जिन्होंने आखिरी सम्मेलन में हाडोप के बारे में बहुत दिलचस्प बात कही थी।

फेसबुक Hadoop स्केलेबिलिटी

रिपोर्ट का विषय फिर से Hadoop था, या इसका संशोधन, जिसका उद्देश्य स्केलेबिलिटी को बढ़ाना था, जिसे फेसबुक पर बनाया गया था। तथ्य यह है कि फेसबुक Hadoop के पुराने संस्करण के कांटे का उपयोग करता है और किसी समय अपने सिस्टम की कुछ स्केलेबिलिटी समस्याओं को ठीक करने का निर्णय लिया था, जो उस समय तक समुदाय द्वारा मुख्य शाखा में पहले ही तय कर लिया गया था।

रिपोर्ट इस बात के लिए समर्पित थी कि फेसबुक ने कैसे अपनी प्रणाली को ठीक किया और हडॉप विशेषज्ञों के लिए उपयोगी होगा, लेकिन जो लोग तकनीक से सतही रूप से परिचित हैं वे संभवतः रिपोर्ट में कुछ भी उपयोगी नहीं पाएंगे।

सबसे परिष्कृत तकनीकें जो बूटकिट्स और पॉलीमॉर्फिक वायरस द्वारा उपयोग की जाती हैं

कैस्परस्की लैब की रिपोर्ट विश्वविद्यालय के पाठ्यक्रम ऑपरेटिंग सिस्टम के तत्वों के साथ शुरू हुई, लेकिन जल्दी से BIOS डिवाइस की जटिलताओं और ओएस को लोड करने की प्रक्रिया पर चली गई। इसके अलावा, उनकी कार्यक्षमता और ट्रिक्स का पता मूल्यों की एक सूची के साथ जो आधुनिक मैलवेयर उपयोग करता है।

बहुत विशिष्ट जानकारी, काफी गहरे स्तर पर, इसलिए मैं केवल सच्चे पारखी देखने की सलाह देता हूं जो इस तरह की चीजों के बारे में बहुत कुछ जानते हैं।

अण्डाकार नेटवर्क बूथ

दिन के दौरान, कॉन्फ्रेंस लॉबी में एक प्रौद्योगिकी प्रदर्शनी आयोजित की गई, जहां आप यांडेक्स मोबाइल मैपकिट का उपयोग करके एक एप्लिकेशन लिखने की कोशिश कर सकते हैं, नए स्मार्टफोन देख सकते हैं, 3 डी टीवी देख सकते हैं, कुछ पुरस्कार जीत सकते हैं - सामान्य तौर पर, मार्केटिंग का क्लासिक रेड कॉर्नर। हालांकि, सभी स्टैंडों में से दो ऐसे थे जो वास्तव में मेरी रुचि रखते थे। मैं आपको उनके बारे में थोड़ा और बताऊंगा, वास्तव में, उन प्रणालियों पर कोई रिपोर्ट नहीं आई है जिन्होंने उन्हें दिखाया है। स्टैंड पर वे बस पास से गुजरने वालों के सवालों का जवाब देते थे।

दोनों स्टैंड NoSQL स्टोरेज में बड़ी मात्रा में डेटा को संग्रहीत करने और प्रसंस्करण के लिए समर्पित थे (NoSQL शब्द का अर्थ SQL भाषा को छोड़ना नहीं है, लेकिन रिलेशनल से अलग एक मॉडल का उपयोग करके निर्मित डेटाबेस में जानकारी को संग्रहीत करना है)। संबंधपरक डेटाबेस लंबे समय से संरचित डेटा की महत्वपूर्ण मात्रा को संग्रहीत करने और संसाधित करने का सबसे आम तरीका है। फिर भी, गति, अखंडता, साथ ही साथ आधुनिक एसक्यूएल डीबीएमएस पर अनुप्रयोगों के विकास की सुविधा अन्य महत्वपूर्ण कारकों के साथ समझौता करने के कारण हासिल की जाती है: स्केलेबिलिटी और उपलब्धता। SQL DBMS के बारे में बोलते हुए, शब्द ऊर्ध्वाधर मापनीयता का उपयोग अक्सर किया जाता है, जिसका सार यह है कि परियोजना के विकास में एक निश्चित बिंदु से, उपकरणों की लागत, उसी राशि से उत्पादकता बढ़ाते समय, तेजी से बढ़ता है, और धीरे-धीरे निषेधात्मक हो जाता है। अभिगम्यता के साथ स्थिति और भी खराब है: एक नोड की विफलता लंबे समय के लिए सर्वर शटडाउन हो सकती है और परिणामस्वरूप बड़े वित्तीय नुकसान हो सकते हैं। वर्णित समस्याओं को हल करने के लिए, डेटा स्टोरेज सिस्टम प्रकट हुए हैं, जो कार्यक्षमता का त्याग करते हैं, स्केलेबिलिटी और एक्सेसिबिलिटी में लाभ करते हैं।

वैकल्पिक SQL रिपॉजिटरी का एक उदाहरण एलिप्टिक्स नेटवर्क प्रोजेक्ट है, जिसका इस्तेमाल Yandex Yandex.Fotki सर्विस में तस्वीरें स्टोर करने के लिए करता है और Yandex.Maps में टाइल्स। एलिप्टिक्स नेटवर्क डिस्ट्रीब्यूटेड हैश टेबल (डीएचटी) के वर्ग से संबंधित है, जो रिलेशनल डेटाबेस की तुलना में, ऑपरेशन्स के बजाय बहुत बड़ा सेट प्रदान करता है: एक अनूठे कुंजी द्वारा अनस्ट्रक्चर्ड बाइनरी डेटा को सेव करना और प्राप्त करना (यह स्टोरेज क्लास की-वैल्यू स्टोरेज कहलाता है), लेकिन कई अद्वितीय गुण। एलिप्टिक्स नेटवर्क क्लस्टर एक सहकर्मी से सहकर्मी (पी 2 पी) नेटवर्क के सिद्धांत के अनुसार आयोजित किया जाता है, जिसमें सभी नोड एक ही संचालन करते हैं और कोई भी नोड दूसरों के बीच नहीं खड़ा होता है। एक प्रवेश कुंजी एक मनमाना इकाई हो सकती है जिसके द्वारा एक हैश फ़ंक्शन की गणना की जा सकती है (इस मामले में, SHA512)। क्रिप्टोग्राफ़िक हैश फ़ंक्शन का उपयोग करने से आपको इसकी टक्कर की संभावना पर विचार नहीं करने और गैर-अद्वितीय कुंजी की समस्या को दूर करने की अनुमति मिलती है। इसके अलावा, स्टोर को सही प्रकार की कुंजी और इसे बनाने की विधि के बारे में कुछ भी पता नहीं हो सकता है, अर्थात, केवल हैश का उपयोग करके सभी ऑपरेशन करें। क्लस्टर में प्रत्येक नोड हैश फंक्शन वैल्यू रिंग से कई सेगमेंट का चयन करता है जिसके लिए यह विश्व स्तर पर सुलभ (नोड्स के बीच सिंक्रनाइज़) क्वेरी रूटिंग टेबल को जवाब देगा और संशोधित करेगा। डेटा एक्सेस करते समय, क्लाइंट कुंजी द्वारा एक अद्वितीय हैश मान उत्पन्न करता है, जिसका उपयोग राउटिंग टेबल में नोड के लिए खोज करने के लिए किया जाता है जो उस रेंज के लिए जिम्मेदार होता है जिसमें मान गिरता है। पता प्राप्त करने के बाद, क्लाइंट नोड से सीधे संपर्क कर सकता है और उससे डेटा का अनुरोध कर सकता है।

केंद्रीकृत तत्वों की कमी आपको समान कॉन्फ़िगरेशन के नए नोड्स जोड़कर उत्पादकता को आनुपातिक रूप से बढ़ाने की अनुमति देती है। स्केलेबिलिटी की इस विधि को क्षैतिज कहा जाता है। यह आपको पैसे बचाने और सेवाओं को बनाने की अनुमति देता है, जिसके कार्य रिलेशनल डेटाबेस का उपयोग करते समय असंभव होगा।

क्लस्टर में प्रत्येक नोड किसी भी समय विफल हो सकता है, और जब कुछ नोड्स होते हैं, तो एक स्थिति लगातार उत्पन्न होती है जिसमें नोड्स का हिस्सा दुर्गम होता है। पूरे क्लस्टर के लिए जब नोड विफल नहीं होता है, तो एक प्रतिकृति प्रणाली शुरू की जाती है। इस तरह की प्रणाली का संचालन इस तथ्य पर आधारित है कि एक ही कुंजी स्थान अंतराल के लिए कई नोड जिम्मेदार हैं और सभी उपलब्ध प्रतिकृतियों में रिकॉर्डिंग समान रूप से होती है। यदि सभी नोड्स जो हैश मानों की एक निश्चित सीमा के लिए जिम्मेदार हैं, तो इस सीमा से पढ़ना असंभव हो जाता है, लेकिन लिखना नोड्स के लिए जारी रहता है जो पड़ोसी श्रेणियों के लिए जिम्मेदार हैं। इस प्रकार, नोड्स की एक मनमानी संख्या की विफलता केवल डेटा का एक हिस्सा पढ़ने के लिए असंभव बना सकती है, और फिर केवल उन लोगों के लिए जो सभी संभव प्रतियां विफल हो गई हैं (सिस्टम आमतौर पर डबल या ट्रिपल बैकअप के लिए सेट किया गया है), लेकिन इस मामले में, केवल लिखने में असमर्थता तब होती है जब सभी नोड्स विफल हो जाते हैं। एक क्लस्टर।

एक साल पहले, एलिप्टिक्स नेटवर्क ने डेटा संस्करण का समर्थन किया था, लेकिन अब इसे अनावश्यक रूप से काट दिया गया है।इसके अलावा, एलिप्टिक्स नेटवर्क आपको सभी प्रमुख डेटा प्राप्त करने के लिए अंतराल अनुरोधों का उपयोग करने की अनुमति देता है, जो कि एक्स से वाई तक की सीमा में है। इस तरह की कार्यक्षमता, जाहिर है, कुंजी-मूल्य भंडारण से परे जाती है और अच्छी तरह से निर्मित DHT वास्तुकला के साथ हस्तक्षेप करती है। इसे निम्नानुसार लागू किया गया है: SHA512 कुंजी से कम बाइट्स को छोड़ दिया जाता है और एक छँटाई सूचकांक के रूप में उपयोग किया जाता है। प्रत्येक नोड मेमोरी में हैश कीज का एक लाल-काला पेड़ होता है और, स्वाभाविक रूप से, अंतराल अनुरोधों के लिए अनुमति देता है। डेवलपर्स का कहना है कि वे अंतराल अनुरोधों पर विचार नहीं करते हैं, जिसकी सीमा कई नोड्स को कवर कर सकती है, हालांकि मेरे दृष्टिकोण से यह स्केलिंग की समस्या बन सकती है, इस तथ्य का उल्लेख नहीं करने के लिए कि प्रमुख पीढ़ी के तंत्र के साथ हस्तक्षेप भी नोड्स में डेटा के वितरण को रोकता है। । और, काल्पनिक रूप से,पर्याप्त रूप से बड़े और लोकप्रिय डेटा अंतराल, पूरी तरह से एक मशीन पर गिरते हुए, इसे आसानी से एक पूर्ण विराम तक धीमा कर सकते हैं।

एलिप्टिक्स नेटवर्क कई तकनीकों के आसपास केंद्रित है। Eblob पुस्तकालय, जो "इससे भी बेहतर काम करता है, लगता है" आपको अनस्ट्रक्चर्ड बाइनरी डेटा (BLOB) के ऑन-डिस्क स्टोरेज को व्यवस्थित करने और उनके लिए त्वरित पहुँच प्राप्त करने की अनुमति देता है (नियमित फ़ाइल सिस्टम उन परिस्थितियों में लोड को अच्छी तरह से नहीं संभालता है जब फ़ाइलों की संख्या लाखों में मापी जाने लगती है। )। पॉलीमेल्स फाइल सिस्टम, एलिप्टिक्स नेटवर्क के आधार पर बनाया गया है, जिसमें फ़ाइल नाम अखंडता को बनाए रखने के लिए महत्वपूर्ण और अतिरिक्त तंत्र जोड़े गए हैं, और पॉहमेलएफएस पोसिक्स मानक के साथ संगत है और इसे मानक लिनक्स फाइल सिस्टम के रूप में माउंट किया जा सकता है।

हालांकि, एलिप्टिक्स नेटवर्क के प्रति मेरा दृष्टिकोण, भले ही ब्याज के साथ, संदेहपूर्ण है। वास्तव में, एलिप्टिक्स नेटवर्क की स्केलेबिलिटी के बारे में बात करना मुश्किल है, क्योंकि इसका उपयोग क्लस्टर में किया जाता है, जिसमें दर्जनों उच्च-प्रदर्शन नोड्स के दर्जनों जोड़े होते हैं। परियोजना का एक विकल्प होडोप, अपाचे कैसेंड्रा हो सकता है, जो पहले से ही ऊपर उल्लेख किया गया था (जो कि एक साल पहले एलिप्टिक्स के लेखक द्वारा बहुत प्रशंसा की गई थी, लेकिन अब स्टैंड अपने अपर्याप्त प्रदर्शन के बारे में बात कर रहा था) और अन्य।

एलिप्टिक्स नेटवर्क के बारे में, जीवंत, लेकिन सतही तौर पर, पिछले यैक पर प्रोजेक्ट एवेगी पॉलाकोव के लेखक को बताया। वीडियो उपलब्ध
आप
एलिप्टिक्स नेटवर्क के स्रोतों को डाउनलोड कर सकते हैं और परियोजना की वेबसाइट पर ब्लॉग पढ़ सकते हैं: www.ioremap.net
स्लाइड्स जो वर्तमान सम्मेलन में लॉबी में घूम रहे थे:
www.slideshare.net/AntonKortunov/yac-2011-elliptics-network
इसके अलावा, मैं अत्यधिक डायनामो नामक एक अन्य अमेज़ॅन डीएचटी कार्यान्वयन पर एक लेख की सिफारिश करता हूं:
s3.amazonaws.com/AllThhDDributributed/sosp/amazon-dynamo-sosp2007.pdf

खड़े हो जाओ Yandex.Mail

सम्मेलन में मुख्य-मूल्य भंडारण के दूसरे प्रतिनिधि मुल्का परियोजना थी, जो एक वितरित फ़ाइल प्रणाली है जिसका उपयोग यैंडेक्स में पत्रों को स्टोर करने के लिए किया जाता है। क्लस्टर एक हजार से अधिक नोड्स पर 6.5 पेटाबाइट्स की कुल मात्रा के साथ 22 ट्रिलियन रिकॉर्ड संग्रहीत करता है और लगातार बढ़ रहा है।

एलिप्टिक्स नेटवर्क जैसी प्रणाली हैश टेबल पर बनाई गई है, लेकिन पूरी तरह से अलग सिद्धांतों का उपयोग करती है। लेखन कुंजी को दो अलग-अलग, गैर-क्रिप्टोग्राफ़िक हैश फ़ंक्शन और स्मृति में प्रत्येक नोड द्वारा एक डबल हैश तालिका लागू किया गया है। पहला स्तर एक सरणी है, चलो इसे H1 कहते हैं, कई मिलियन तत्वों के बराबर आकार के संकेत। इस तरह के एक सरणी के लिए प्रत्येक सूचक एक दर्जन तत्वों के दूसरे स्तर एच 2 की सूची को संदर्भित करता है, जो बदले में डिस्क पर उस स्थान को संदर्भित करता है जहां डेटा है। इस डिज़ाइन के साथ, खोज निम्नानुसार की जाती है: पहले हैश फ़ंक्शन का मूल्य (अधिक सटीक रूप से, इसका आकार H1 द्वारा विभाजित करके शेष) का उपयोग सरणी H1 में ऑफ़सेट प्राप्त करने और सूची H2 का पता प्राप्त करने के लिए किया जाता है। H2 की सूची में, एक रेखीय खोज एक तत्व के लिए बनाई गई है जो दूसरे हैश फ़ंक्शन के मूल्य से मेल खाती है। इस तरह के एक तत्व को खोजने के बाद,डेटा को डिस्क से पढ़ा जाता है और उसके बाद ही वास्तविक कुंजी की तुलना की जाती है। यदि चाबियाँ मेल नहीं खाती हैं, तो एच 2 सूची पर खोज जारी है, और इसी तरह। H2 सूची को समय के अनुसार क्रमबद्ध किया जाता है और इसलिए नए अक्षरों तक पहुंच तेज होती है।

इस तथ्य के कारण कि चाबियाँ मेमोरी में संग्रहीत नहीं हैं, डेवलपर्स 50 से 12 जीबी प्रति नोड से मेमोरी आवश्यकताओं को कम करने में कामयाब रहे। दूसरी ओर, इस दृष्टिकोण से उत्पादकता में कमी नहीं होती है, क्योंकि अब सिस्टम में दोहरे टकराव की इकाइयाँ हैं और एक भी ट्रिपल टक्कर नहीं है। यानीभारी संख्या में अक्षरों की खोज डिस्क से एक रीडिंग में होती है, और केवल कुछ अक्षरों में दो रीड की आवश्यकता होती है।

प्रत्येक पत्र को अलग-अलग डेटा केंद्रों में दो नोड्स पर संग्रहीत किया जाता है, और अक्षरों पर मेटा-जानकारी ओरेकल डीबीएमएस क्लस्टर में संग्रहीत की जाती है और पत्र कुंजी को इस तरह से व्यवस्थित किया जाता है कि उस नोड के बारे में जानकारी जिस पर पत्र लिखा गया है। यह अक्षर कुंजी को जानने की अनुमति देता है, इसे स्टोर करने वाले नोड से सीधे पढ़ने के लिए।

रिकॉर्ड को विशेष नोड्स द्वारा प्रबंधित किया जाता है, जिन्हें बैलेंसर्स कहा जाता है, जो शेष नोड्स के कार्यभार की निगरानी करते हैं और एक नई पत्र कुंजी उत्पन्न करते समय, सबसे कम लोड वाले नोड्स का उपयोग करते हैं।

एलिप्टिक्स नेटवर्क पर यैंडेक्स.मैल में सिस्टम का मुख्य लाभ यह है कि एक नया नोड जोड़ने से नोड्स के बीच डेटा स्थानांतरित नहीं होता है। इसके विपरीत, एलिप्टिक्स नेटवर्क में, नोड्स के बीच SHA512 रिंग रेंज के लिए जिम्मेदारी के पुनर्वितरण में नोड परिणाम जोड़ने से, जिसके परिणामस्वरूप नोड्स के बीच बड़े पैमाने पर डेटा ट्रांसफर होता है।

दुर्भाग्य से, मुझे Yandex.Mail की आंतरिक संरचना पर कोई अतिरिक्त सामग्री नहीं मिली।

निष्कर्ष

इस साल, मेरे व्यक्तिपरक राय में, यैंडेक्स उस स्तर तक नहीं पहुंचा, जो उसने एक साल पहले निर्धारित किया था: रिपोर्ट कमजोर थी, विपणन अधिक था, और वक्ताओं को संचार में कम रुचि थी। लेकिन इस तरह के आरक्षण के साथ भी, YaC मास्को में सर्वश्रेष्ठ तकनीकी सम्मेलनों में से एक बना हुआ है, और इसकी उपस्थिति निश्चित रूप से तकनीकी विशेषज्ञों के लिए उपयोगी होगी जो अपने क्षितिज को व्यापक बनाने की कोशिश कर रहे हैं।

संदर्भ

रिपोर्ट के रिकॉर्ड:
yac2011.yandex.ru/archive2011/video1
yac2011.yandex.ru/archive2011/video2
yac2011.yandex.ru/archive2011/video3

पिछले साल की रिपोर्ट के रिकॉर्ड:
yac2011.yandex.ru/archive2010/materials