बिना ब्रेक के MapReduce: मशीन लर्निंग के साथ बाधाओं को दरकिनार करना

वितरित कंप्यूटिंग प्रणालियों में गणना करते समय, जिनमें MapReduce वास्तुकला वाले लोग भी शामिल हैं, ऐसे कार्य अक्सर उत्पन्न होते हैं जो एक नोड (स्ट्रैगलर) पर धीरे या देर से निष्पादित होते हैं। ऐसे कार्यों का कारण क्लस्टर, हार्डवेयर या सॉफ़्टवेयर समस्याओं की विविधता हो सकती है। इस तरह की देरी के कारण, पूरे सिस्टम का प्रदर्शन कम हो जाता है। हाडोप के रचनाकार क्लस्टर के अन्य नोड्स (सट्टा निष्पादन) पर धीमी गति से कार्यों के लॉन्च की नकल करके इससे निपटने की कोशिश करते हैं, हालांकि, यह दृष्टिकोण समय पर धीमी गति वाले कार्यों को परिभाषित करने की अनुमति नहीं देता है।

20 सितंबर को यैंडेक्स के मास्को कार्यालय में एक वैज्ञानिक और तकनीकी संगोष्ठी आयोजित की जाएगी, जिसमें याहू रिसर्च सेंटर के मुख्य अभियंता एडुआर्ड बोर्टनिकोव थे! Hadoop तकनीक के विपरीत, यह विधि आपको किसी विशेष नोड पर कार्यों की मंदी की भविष्यवाणी करने की अनुमति देती है। भविष्यवक्ता को मौजूदा MapReduce प्रणाली के साथ एकीकृत किया जा सकता है, जिससे सिस्टम की दक्षता बढ़ जाती है।

रिपोर्ट का दूसरा भाग सेलफ़िश को समर्पित होगा - याहू से MapReduce मॉडल का एक नया कार्यान्वयन .. .. नवीनता डिस्क I / O के मध्यवर्ती डेटा और बैच प्रसंस्करण के संयोजन के सिद्धांत पर आधारित है। Sailfish प्रणाली ने शानदार ढंग से याहू पर वास्तविक डेटा और कार्यों पर एक प्रयोग पारित किया!, सही मायने में चैंपियन परिणाम दिखाते हुए - कार्यों को पूरा करने की दक्षता Hadoop की तुलना में 400% तक बढ़ गई। इसके अलावा, सेलफ़िश आपको वॉल्यूम या डेटा वितरण को बदलते समय स्वचालित रूप से कार्य मापदंडों को कॉन्फ़िगर करने की अनुमति देता है। सेलफिश प्रणाली हडोप की तुलना में उपयोग करना आसान है, जहां प्रत्येक लॉन्च में श्रमसाध्य, मैनुअल सेटिंग्स की आवश्यकता होती है।
सेमिनार रूसी में आयोजित किया जाएगा, जो 19:00 बजे शुरू होगा।

सेमिनार में भाग लेने के लिए पंजीकरण आवश्यक है।

जो लोग संगोष्ठी में भाग नहीं ले सकते, उनके लिए एक वीडियो प्रसारण आयोजित किया जाएगा।