यैंडेक्स और सर्न: सहयोग का एक नया चरण

आज यैंडेक्स सर्न में शामिल हो गए। यूरोपियन सेंटर फॉर न्यूक्लियर रिसर्च के साथ हमारी साझेदारी विकास के एक नए चरण में प्रवेश कर रही है: सर्न के वैज्ञानिकों ने यैंडेक्स की मैट्रिक्स मशीन सीखने की तकनीक के साथ-साथ नई कंप्यूटिंग शक्ति तक पहुंच बनाई होगी। और यैंडेक्स सर्न ओपनलैब प्रोजेक्ट के तहत यूरोपीय सेंटर फॉर न्यूक्लियर रिसर्च का एक सहयोगी सदस्य बन जाता है। इसके अलावा, ओपनलैब के सदस्य इंटेल, एचपी, ओरेकल, सीमेंस और हुआवेई हैं।

केंद्र के साथ Yandex का सहयोग 2011 में शुरू हुआ, जब हमने पहली बार CERN को अपनी सर्वर क्षमता प्रदान की। और पिछले साल अप्रैल में, हमारे डेवलपर्स ने एलएचसीबी प्रयोग की घटनाओं की खोज की। LHCb सर्न के चार मुख्य प्रयोगों में से एक है और इसका एक उदाहरण है कि न केवल प्रायोगिक डेटा बल्कि उनके प्रसंस्करण भी आधुनिक विज्ञान में महत्वपूर्ण हो गए हैं। एलएचसीबी प्रयोगों के दौरान, बी-क्वार्क टक्करों का अध्ययन किया जाता है (रूसी में अंग्रेजी सौंदर्य से, इसे सुंदर कहा जाता है)। एक वर्ष में इन घटनाओं के बारे में जानकारी की मात्रा हजारों टेराबाइट्स तक पहुंचती है। हमारे द्वारा बनाए गए खोज सूचकांक के लिए धन्यवाद, CERN वैज्ञानिकों के पास आवश्यक जानकारी को तुरंत प्राप्त करने का अवसर है।

आधुनिक मौलिक विज्ञान में, प्रयोगों के संचालन के लिए न केवल तकनीकी संसाधन, बल्कि उनके परिणामों को संसाधित करने और समझने के लिए कम्प्यूटेशनल क्षमताएं भी महत्वपूर्ण भूमिका निभाने लगीं। आजकल, विशेष रूप से सर्न में, इतना डेटा है कि जटिल एल्गोरिदम के उपयोग के बिना किसी वैज्ञानिक के लिए प्रयोगों के परिणामों के बारे में सटीक निष्कर्ष निकालना मुश्किल होगा। ऐसे उद्देश्यों के लिए उपयोग की जा सकने वाली तकनीकों में बहुत कम कंपनियां हैं।



हमने आंद्रेई उस्त्युज़ानिन से पूछा कि यैंडेक्स में सर्न के साथ साझेदारी के प्रोजेक्ट मैनेजर ने इस बात के बारे में बताया कि सर्न को यैंडेक्स की मदद की आवश्यकता क्यों है और इन प्रयोगों के साथ काम कैसे होता है। वीडियो देखें और कैट के बाद एक अधिक विस्तृत पाठ संस्करण पढ़ें।

आंद्रेई, आप यैंडेक्स में क्या करते हैं और यह कैसे पता चला है कि यह आप हैं जो सर्न के साथ कंपनी के काम को निर्देशित करते हैं?

यैंडेक्स में, मैं डेटा और एल्गोरिदम के साथ काम करता हूं जो मशीन लर्निंग से निपटते हैं। और ऐसा हुआ कि मशीन लर्निंग एल्गोरिदम यैंडेक्स और सर्न के सहयोग का आधार है।

यह बताने से पहले कि यह कैसे हुआ कि यैंडेक्स को केंद्र के साथ संयुक्त परियोजना मिली, मुझे थोड़ा याद दिलाएं कि सर्न क्या करता है।

CERN दुनिया की सबसे बड़ी और भौतिकी अनुसंधान प्रयोगशाला है। और एक तरफ, इसमें प्रयोगों का आयोजन करने के लिए बहुत गंभीर उपकरणों की आवश्यकता होती है। दूसरी ओर, इन प्रयोगों को समझने के लिए, शक्तिशाली एल्गोरिदम और बहुत सारे कंप्यूटिंग संसाधनों की आवश्यकता होती है। और यह ठीक वही है जो हमारी कंपनी के पास है।

और ऐसा क्यों हुआ कि सर्न उनके पास नहीं है?

यांडेक्स के लिए, एक खोज कंपनी के रूप में जो विज्ञापन पर पैसा कमाती है, संचित डेटा को संसाधित करने के लिए एक उच्च-गुणवत्ता वाला एल्गोरिथ्म होना जीवन और मृत्यु का मामला है। हम एल्गोरिदम के विशेषज्ञ हैं। लेकिन सेंटर फॉर न्यूक्लियर रिसर्च के लिए, यह विषय अभी तक इतना महत्वपूर्ण नहीं है।

हालांकि, CERN में जाने वाले लोगों की वैज्ञानिक और भौतिक पृष्ठभूमि होती है। वे जानते हैं कि मानक मॉडल क्या है, श्रोडिंगर समीकरण, मानक मॉडल का लैग्रेंजियन, और इसी तरह। लेकिन इसका मतलब यह नहीं है कि वे कंप्यूटर विज्ञान में अच्छी तरह से प्रशिक्षित हैं।



मुझे और बताओ, सर्न के लिए डेटा प्रोसेसिंग इतना महत्वपूर्ण क्यों है?

तथ्य यह है कि संचित तथाकथित कच्चा डेटा बहुत बड़ा है। अब CERN में प्रयोगशाला द्वारा दर्ज की गई टक्कर 20 मिलियन प्रति सेकंड की आवृत्ति पर होती है। यह बहुत बड़ी मात्रा में डेटा है, लगभग हर दिन पूरे इंटरनेट का वॉल्यूम। यह स्पष्ट है कि यह सब कुछ डिस्क सरणियों को लिखना असंभव है।

और इसलिए काफी परिष्कृत फ़िल्टरिंग एल्गोरिदम का उपयोग करना आवश्यक है। एक ओर, आवश्यक जानकारी को संरक्षित करने के लिए, और दूसरी ओर, ताकि अगले चरण में इस जानकारी के विश्लेषण की सटीकता एक स्तर पर हो जो भौतिक परिकल्पना की पुष्टि या खंडन कर सके।

डेटा को संसाधित करने के लिए, घटना को कैसे दिखना चाहिए, इसका एक मॉडल पहले बनाया गया है। हम सही परिणाम से जाते हैं। मॉडल एक क्वांटम ईवेंट सिम्युलेटर का उपयोग करके बनाया गया है, जिसमें संयोगवश, हमारा GRID, एक यैंडेक्स सर्वर भी भाग लेता है। उत्सर्जन इंगित करता है कि क्षय के बाद डिटेक्टरों पर क्या डेटा दर्ज किया जाना चाहिए और ये घटनाएं कैसे दिखती हैं।

यह डेटा जमा हुआ है। फिर वे उसी घटना से गुजरते हैं जो साधारण घटनाओं से होती है जो डिटेक्टर से बाहर निकलती है। इसलिए, हम तुलना के लिए कुछ संदर्भ के रूप में उनका उपयोग कर सकते हैं। यह समझने के लिए कि यह क्षय था या नहीं, हम इस घटना को देखते हैं और कुछ एल्गोरिथ्म की मदद से हमें यह कहना होगा: वास्तविक डिटेक्टर में जो था वह वैसा ही था जैसा हम किसी तरह की कल्पना कर सकते हैं, गणना कर सकते हैं और लिख दो। हम तुलना करें। यदि ऐसा लगता है कि इसका मतलब यह है।

और वास्तव में यहाँ मशीन सीखने का उपयोग कैसे किया जाता है?

मैंने जो कहा, उसमें से सबसे पतला यह समझना है कि घटनाएं समान हैं। उनमें से प्रत्येक बहुत जटिल दिखता है। जब प्रोटॉन बीम टकराते हैं, तो वे हजारों अलग-अलग कणों में बिखर जाते हैं, जिसका पता डिटेक्टरों द्वारा लगाया जाता है। उनमें से डेटा को थोड़ा संसाधित किया जा सकता है और हम पहले से ही जान सकते हैं कि कुछ कण थे। लेकिन चाल यह है कि उनमें से कुछ पंजीकरण प्लेटों तक नहीं पहुंचते हैं, लेकिन कुछ और में टूट जाते हैं। इसलिए, किसी प्रकार की संभावना को ध्यान में रखते हुए, यह निर्धारित करना आवश्यक है कि वे आम तौर पर क्या विघटित हो सकते हैं। और यह समझने के लिए कि इस तथ्य के बावजूद कि हम इसे देख रहे हैं, वांछित घटना के समान कुछ हो सकता है या, इसके विपरीत, समान नहीं है। कुछ प्रकार के मशीन लर्निंग एल्गोरिदम (विशेष रूप से, मैट्रिक्स मैट्रिक्स) को जोड़ने के लिए, हमें किसी तरह इन घटनाओं को औपचारिक रूप देना चाहिए, लेकिन सामान्य तौर पर वे बहुत अधिक जगह लेते हैं। वहाँ क्या हुआ और यह कैसा दिखता है, इसका बहुत विस्तृत विवरण के साथ 100 किलोबाइट्स, हमें ज़रूरत नहीं है। हमें कुछ संकेत तैयार करने होंगे, जिसके आधार पर हम कह सकते हैं कि ये चारित्रिक संकेत हैं, जिनमें से समग्रता से यह कहा जा सकता है कि यह था या नहीं। उन मैट्रिक्स के लिए जिन पर हमने मैट्रिक्स का परीक्षण किया, नौ संकेत बाहर खड़े हैं। उनमें से एक हो सकता है, उदाहरण के लिए, बी मेसन का जीवनकाल। आगे हमें कुछ नमूना लेना चाहिए जिसमें ये घटनाएँ हैं और ये घटनाएँ नहीं हैं, अर्थात् सकारात्मक उदाहरण और नकारात्मक उदाहरण, और इन कारकों के साथ फाइलों पर हमारे क्लासिफायरियर (यह मैट्रिक्स या मशीन सीखने का दूसरा तरीका हो सकता है) को प्रशिक्षित करने के लिए, और फिर गणना द्वारा प्राप्त किए गए डेटा के लिए प्रशिक्षित तंत्रिका नेटवर्क को लागू करें।

हम एमुलेटर से डेटा की गणना करते हैं?

डेटा एमुलेटर से हो सकता है, लेकिन वास्तविक हो सकता है। यदि हम यह सुनिश्चित करने के लिए जानते हैं कि इस घटना में वह नहीं था जो हमें चाहिए था, जो कि कुछ आंकड़ों के आधार पर कहा जा सकता है। विशेष रूप से, अच्छे लोगों का एक एमुलेटर और बुरी घटनाओं का एक एमुलेटर था। इन घटनाओं के आधार पर, संकेतों की गणना की गई, संकेतों को मैट्रिक्सनेट पर प्रशिक्षित किया गया था, फिर, वास्तविक घटनाओं के अनुसार, संकेतों की गणना भी की गई थी और पूर्वानुमान प्राप्त करने के लिए पहले से ही मैट्रिक्स मैट्रिक्स सूत्र उन पर चलाया गया था। वहाँ मैट्रिक्स यह नहीं कहता कि यह बुरा था या अच्छा। वह कुछ संभावना कहते हैं कि यह वह था।

मशीन लर्निंग एल्गोरिदम किस डेटा पर आधारित हैं?

डेटा पर जो पूरी तरह से अनुकरण किया गया था, या एक सिम्युलेटर और वास्तविक डेटा के संयोजन पर। लेकिन सूक्ष्मता यह है कि किसी तरह हमें स्पष्ट रूप से पता होना चाहिए कि ये डेटा खराब हैं। यही है, कि वह घटना नहीं थी जिसे हम ढूंढ रहे हैं। और इसे समझने के लिए, हम थोड़ी चाल के लिए जाते हैं। यह इस तथ्य में निहित है कि मैट्रिक्सक्सनेट हमें देने वाली सभी घटनाओं को बड़े पैमाने पर प्रदर्शित करता है। हम जानते हैं कि ऊर्जा प्रकाश वर्ग की गति से गुणा द्रव्यमान के बराबर है, इसलिए यदि हम एक निश्चित ऊर्जा के साथ दो कणों को हिट करने में कामयाब रहे, तो हम समझ सकते हैं कि इस टक्कर में किस तरह के कण पैदा हुए थे। यही है, उत्पन्न कणों का द्रव्यमान टक्कर की ऊर्जा से अधिक नहीं हो सकता है। और हमने जो कुछ भी मापा, हम उस बड़े पैमाने पर ग्राफ बनाते हैं, जिसकी हमें एक निश्चित सीमा में आवश्यकता होती है।



यही है, ये दो म्यूओन केवल बोसोन द्रव्यमान के आसपास का विस्तार कर सकते हैं, जो कि 5633 मेव है। हम घटनाओं के एक निश्चित द्रव्यमान में रुचि रखते हैं। तथ्य यह है कि बी-मेसन को दो म्यूओन्स में विभाजित किया गया है, इसका मतलब है कि यह बी-मेसन के द्रव्यमान के आसपास कहीं प्लस या माइनस होना चाहिए। और यह द्रव्यमान ज्ञात है। और इसलिए, हम कह सकते हैं कि हमें मिलने वाली सभी घटनाएं या तो सिग्नल रेंज में हैं, या कहीं ओर हैं, और फिर यह निश्चित रूप से शोर है। वही हम देखना नहीं चाहते। यह समझने के लिए कि घटना खराब थी, यह अपनी ऊर्जा को मापने के लिए पर्याप्त है। यदि यह इन पार्श्व श्रेणियों में है, तो इसका मतलब है कि यह घटना खराब है और इसका उपयोग हमारे एल्गोरिथ्म के प्रशिक्षण के लिए एक नकारात्मक उदाहरण के रूप में किया जा सकता है। ये वास्तविक घटनाएं हैं जिन्हें हम प्रशिक्षण सेट में जोड़ सकते हैं। यह सवाल है कि मैट्रिक्स मैट्रिक्स क्या सीखता है।

और वास्तव में सर्न के काम में यैंडेक्स की भूमिका क्या है?

2011 में, जब हमारा सहयोग अभी शुरू हुआ था, यांडेक्स ने CERN को भौतिक घटनाओं के मॉडलिंग के लिए मशीनों का एक समूह प्रदान किया था। ये कई दर्जन सर्वर थे, जो CERN कंप्यूटिंग नेटवर्क, GRID से जुड़े थे। इन सर्वरों ने भौतिकविदों को यह समझने में मदद की कि उनके डिटेक्टर में एक घटना कैसी दिखती है, वे किस तरह के "चित्र" देखेंगे और ये तस्वीरें किसके अनुरूप हैं।

पिछले साल के अप्रैल में, हमारे संयुक्त कार्य के दूसरे चरण में, हमने एक खोज परियोजना शुरू की, जिसने कुछ सरल संकेतों द्वारा, संचित डेटा के संदर्भ में घटनाओं को खोजना संभव बना दिया।

अगले चरण कि 2013 की हमारी योजना है, मैट्रिक्स मैट्रिक्स सीखने की तकनीक के आधार पर घटनाओं को खोजने और फ़िल्टर करने के लिए अधिक उन्नत तरीके का कार्यान्वयन। यांडेक्स में, इसका उपयोग किया जाता है, ऐसा प्रतीत होता है कि कार्यों के लिए पूरी तरह से भौतिकी से असंबंधित है: खोज, मेल में स्पैम को फ़िल्टर करना, विज्ञापन बैनर पर क्लिक की भविष्यवाणी करना, और इसी तरह। केंद्र में इसके आवेदन के साथ, हमारा सहयोग आगे बढ़ता है, और यांडेक्स सर्न में विज्ञान के विकास के लिए एक उच्च गुणवत्ता वाला योगदान देता है।



और हमें स्वयं इस सहयोग की आवश्यकता क्यों है? यांडेक्स के लिए इसका क्या मतलब है?

यांडेक्स मूल रूप से भौतिकविदों द्वारा स्थापित किया गया था। यह एक ऐसी कंपनी है जिसका नेतृत्व हमारे ब्रह्मांड के मुद्दों के प्रति उदासीन नहीं है। सर्न में, संचित डेटा के उच्च-गुणवत्ता वाले प्रसंस्करण की आवश्यकता है। आधुनिक भौतिकी में खोज करने के लिए यह एक महत्वपूर्ण क्षण है। अब उन्हें उच्च-गुणवत्ता वाले उपकरणों की मदद से नहीं, बल्कि इन उपकरणों में प्राप्त परिणामों के विश्लेषण की मदद से बनाया जा रहा है। और यह ठीक वही है जहां यांडेक्स अपनी प्रौद्योगिकियों को विज्ञान में लागू करने की आवश्यकता को देखता है। इसके अलावा, इस डेटा पर हमारे एल्गोरिदम का परीक्षण करते हुए, हम देखते हैं कि वे बेहतर और बेहतर हो रहे हैं।

रूस अभी CERN का सदस्य नहीं है, लेकिन केवल एक पर्यवेक्षक देश है। यांडेक्स सर्न में शामिल हो गया। मुझे बताओ, एक देश और एक कंपनी के बीच क्या अंतर है?

पिछले दिसंबर में, रूस ने सर्न के सहयोगी सदस्य के रूप में सदस्यता के लिए एक आवेदन दायर किया। यानी वह जल्द ही वह बन जाएगा लेकिन कंपनी की सदस्यता और देश की सदस्यता दो अलग-अलग चीजें हैं।

CERN के डेटा पर अपनी तकनीकों को लागू करने और इस सहयोग के माध्यम से अपनी तकनीकों को बेहतर बनाने में कंपनी की अधिक दिलचस्पी है। और राज्य - कुछ व्यावहारिक प्रौद्योगिकियों के लिए उनके आवेदन में कुछ वैश्विक शोध परिणाम प्राप्त करने में। उदाहरण के लिए, नए चिकित्सा उपकरणों का अधिग्रहण, नई अंतरिक्ष प्रौद्योगिकियों का विकास या, शायद, एक नए प्रकार के ईंधन का निर्माण - कौन जानता है। और चूंकि यहां गति अलग-अलग गति से होती है, कुछ हद तक - अधिक द्रव्यमान, कम त्वरण =)

और कौन सी अन्य कंपनियां अब ओपनलैब सर्न की सदस्य हैं?

फिलहाल, छह वाणिज्यिक कंपनियां हैं जो सर्न का हिस्सा हैं। ये जनवरी 2013 से इंटेल, एचपी, ओरेकल, सीमेंस, हुआवेई और - यैंडेक्स हैं।

क्या कोई ऐसी खोजें हैं जो यैंडेक्स तकनीक का उपयोग करके बनाई गई थीं?

हम अभी इस तरह शुरू कर रहे हैं। पिछले दिसंबर में, हमने मैट्रिक्स का उपयोग करने की कोशिश की, जो बी मेसन के बहुत ही दुर्लभ क्षय का विश्लेषण करने के लिए दो म्यूओन्स में हुआ। और विभिन्न सिद्धांतों ने इन decays की एक अलग राशि की भविष्यवाणी की। मानक मॉडल ने कहा कि 3.5 होना चाहिए। दूसरों कि परिमाण का एक क्रम होना चाहिए या दो और। और खोज प्रक्रिया ही यह थी कि पिछले दो वर्षों में सर्न के काम के परिणामस्वरूप जमा हुए सभी डेटा को विभिन्न मशीन लर्निंग एल्गोरिदम के माध्यम से पारित किया गया था - जिसमें मैट्रिक्स मैट्रिक्स भी शामिल था। यह आकलन करना आवश्यक था कि इन दो वर्षों में इस विघटन की कितनी घटनाएं हुईं।

यदि यह घटना एक सिद्धांत की भविष्यवाणी के साथ मेल खाती है, तो इसकी वैधता की गवाही दी गई। हमने गणना की, तुलना की और यह पता चला कि मानक मॉडल सबसे अच्छा भविष्यवाणी करता है। इसने बाकी के सिद्धांत को थोड़ा कवर किया - सुपरसिमेट्रीज़, जो हर चीज के सिद्धांत का दावा करता है।

भविष्य में, हम CERN कर्मचारियों के लिए मैट्रिक्स मैट्रिक्स को सार्वजनिक करने की योजना बनाते हैं ताकि वे चाहें तो इसका उपयोग कर सकें। वर्तमान एल्गोरिथ्म की तुलना में, जिसे CERN में डिफ़ॉल्ट रूप से उपयोग किया जाता है, यांडेक्स विकास घटनाओं का अधिक सटीक और स्पष्ट चयन प्रदान करता है। यही है, एक स्पष्ट संकेत - कम शोर। और हमें उम्मीद है कि मैट्रिक्सनेट भौतिकविदों को कई और दिलचस्प खोज करने की अनुमति देगा।