जावास्क्रिप्ट वितरित कम्प्यूटिंग: आज

वर्तमान में, वितरित कंप्यूटिंग नेटवर्क की एक बड़ी संख्या है। मैंने लगभग 30 गिना। सबसे बड़े हैं फोल्डिंग @ होम , BOINC , SETI @ होम , आइंस्टीन @ होम , रोसेटा @ होम (उनकी गणना के परिणामों के अनुसार, कई दर्जन शोध प्रबंध लिखे गए थे)। वे सब कुछ गणना करते हैं जिन्हें वितरित किया जा सकता है - md5 पासवर्ड के चयन से लेकर प्रोटीन जमावट के अनुकरण तक।
इनमें से प्रत्येक नेटवर्क में असामान्य रूप से उच्च प्रदर्शन है और इसमें लाखों नोड्स शामिल हैं। प्रत्येक का प्रदर्शन एक सुपर कंप्यूटर की तुलना में है।

• रोसेटा @ घर - 110 से अधिक TFlops
• आइंस्टीन @ होम - 355 से अधिक TFlops
• SETI @ घर - 560 से अधिक teraflops
• BOINC - 5.6 से अधिक Pflops
• फोल्डिंग @ होम - 5.9 Pflops पर
• बिटकॉइन - 9.4 से अधिक Pflops

सुपर कंप्यूटर के साथ तुलना करें:

• ब्लू जीन / एल (2006) - 478.2 TFlops
• जगुआर (सुपर कंप्यूटर) (2008) - 1.059 Pflops
• आईबीएम रोडरनर (2008) - 1.042 Pflops
• जगुआर क्रे XT5-HE (2009) - 1.759 Pflops
• तियान्हे -1 ए (2010) - 2.507 Pflops
• आईबीएम सिकोइया (2012) - 20 पीफ्लॉप्स

और अब, आइए इंटरनेट उपयोगकर्ताओं की मौजूदा अप्रयुक्त क्षमता की गणना करें:
2010 के अंत में अनुमान के अनुसार, लगभग 2 बिलियन इंटरनेट उपयोगकर्ता (2 बिलियन) थे।
प्रत्येक उपयोगकर्ता में कम से कम 8 Gflops (AMD Athlon 64 2.211 GHz) के प्रदर्शन के साथ कम से कम 1 प्रोसेसर कोर है।

सरल गणितीय गणना के अनुसार, ऐसे नेटवर्क का प्रदर्शन होगा:
8 * 10 9 * 2 * 10 9 = 16 एक्सफोलॉप्स (10 ¹⁸ )।
इस तरह का नेटवर्क अभी भी निर्मित आईबीएम सेकोइया (2012) की तुलना में 800 गुना अधिक उत्पादक है, बिटकॉइन नेटवर्क की तुलना में 1700 गुना अधिक और सभी सुपर कंप्यूटरों और कंप्यूटर नेटवर्क की तुलना में अधिक उत्पादक है! अब पीसी और इंटरनेट उपयोगकर्ताओं की संख्या बढ़ रही है, और कोर की संख्या बढ़ रही है। बेशक, यह संख्या (16 exaflops) आदर्श है, कोई भी 24/7 की गणना नहीं करेगा, लेकिन यदि प्रत्येक उपयोगकर्ता दिन में कम से कम 2 मिनट की गणना करता है (जो, सिद्धांत रूप में, वास्तविक से अधिक है), तो ऐसे नेटवर्क की तुलना आईबीएम सेवरिया के साथ की जाएगी।

आजकल, जावास्क्रिप्ट में वितरित ब्राउज़र कंप्यूटिंग नेटवर्क वास्तविक से अधिक हैं।

यह लेख एक साल पहले मेरे लेख की तार्किक निरंतरता है: जावास्क्रिप्ट में वितरित कम्प्यूटिंग

वर्ष में क्या बदल गया है और एक साल पहले कंप्यूटर नेटवर्क के निर्माण को क्या रोका गया है?
एक वर्ष में लगभग सभी अच्छे ब्राउज़र WebWorkers, localStorage, SQL DB, IndexedDB को प्राप्त हुए। जावास्क्रिप्ट को मुख्य धागे में गणना करने और एक साल पहले फ्लैश स्टोरेज का उपयोग करने से कुछ भी नहीं रोका गया, लेकिन मुख्य धागे में कंप्यूटिंग लैग्स का एक अद्भुत स्रोत है, और फ्लैश स्टोरेज वॉल्यूम में सीमित है। एक साल पहले, हमें विकलांगों के साथ एक वितरित नेटवर्क मिला होता: लैग्यु, बैसाखी, घुसपैठ।
अब हम 1 प्रोसेसर कोर के 100% संसाधनों का उपयोग करने के लिए WebWorkers का उपयोग कर सकते हैं, यदि 2 श्रमिक हैं, तो 2 कोर (कोर के बीच काम का वितरण किसी विशेष ब्राउज़र में श्रमिकों के कार्यान्वयन पर निर्भर करता है)। हम संग्रहीत डेटा की मात्रा द्वारा व्यावहारिक रूप से सीमित नहीं हैं: 50MB IndexedDB (फ़ायरफ़ॉक्स) + 5MB लोकलस्टोरेज + कुछ अन्य भंडारण। ये 55 + MB हमारे लिए टास्क डेटा और इंटरमीडिएट डेटा स्टोर करने के लिए पर्याप्त हैं। 2011 में 2010 के अंत में, Node.js. ने जल्दी से असामान्य विकास करना शुरू कर दिया। मेरा मानना ​​है कि यह वितरित कंप्यूटिंग सर्वर के लिए सही समाधान है।

हमारे पास : उपयुक्त प्रौद्योगिकियाँ Node.js + WebWorkers + localStorage + IndexedDB। 2,000,000,000 इंटरनेट उपयोगकर्ता, जिनकी संख्या बढ़ रही है। कोर की संख्या बढ़ रही है और उनकी उत्पादकता बढ़ रही है। हर महीने, ब्राउज़र तेजी से और तेजी से हो रहे हैं। अब सही दिशा में 16 exaflops की गैर-उपयोग की क्षमताओं की इस धारा को निर्देशित करने का समय है!

नेटवर्क क्लाइंट कहां एम्बेड किए जा सकते हैं?

जब आप पृष्ठ देख रहे होते हैं, तो आपका प्रोसेसर 10-20% पर लोड होता है, जबकि आप YouTube से एक वीडियो देख रहे होते हैं, आपका प्रोसेसर 30-50% पर लोड होता है (मैं अधिक नहीं सोचता)। आपको विज्ञापन और कष्टप्रद फ्लैश बैनर देखना होगा जो आपके प्रोसेसर को लोड कर सकते हैं। कल्पना करें कि कष्टप्रद बैनर और विज्ञापन देखने के बजाय, आपको एक अच्छे काम के लिए गणना करने के लिए कहा जाता है: आप YouTube से एक वीडियो देखते हैं, और इस समय आपका ब्राउज़र फोल्डिंग @ होम के लिए प्रोटीन फोल्डिंग की गणना करता है। कल्पना करें कि जब आप अपनी पसंदीदा फ़ाइल होस्टिंग सेवा से फ़ाइल डाउनलोड कर रहे हैं, और इस समय आपका ब्राउज़र कुछ उपयोगी गणना कर रहा है, तो आप विज्ञापन नहीं देख रहे हैं (मैं adBlock के बारे में अच्छी तरह से जानता हूं)। कल्पना करें कि जब आप इस लेख को पढ़ रहे हैं, तो आपका ब्राउज़र कुछ उपयोगी गणना कर रहा है। इसके अलावा, साइट पर जाने वाला प्रत्येक उपयोगकर्ता साइट के लिए कुछ उपयोगी करता है, कुछ ऐसा जो समाज में आय या लाभ ला सकता है। यूटोपियन, लेकिन साकार।

क्या गणना की जा सकती है?

कोई भी कार्य जिसे संख्याओं की आवश्यकता होती है: संपूर्ण खोज के कार्य, तंत्रिका नेटवर्क का प्रशिक्षण, आदि। और जिसकी गणना समानांतर में की जाती है, क्योंकि Amdahl के नियम के अनुसार , वितरित कंप्यूटिंग सबसे प्रभावी होती है, यदि कार्य में अनुक्रमिक गणना नहीं होती है अर्थात। एक नोड की गणना दूसरे के डेटा पर निर्भर नहीं करती है।

रुचि रखते हैं? चलिए ऐसे नेटवर्क बनाते हैं!

वितरित कंप्यूटिंग उदाहरण: md5 हैश से पासवर्ड अनुमान लगाना

उदाहरण में, मैं दिखाऊंगा कि इस कार्य के लिए कौन से नेटवर्क आर्किटेक्चर का चयन किया जा सकता है। हम 8 या उससे कम वर्णों वाले पासवर्ड का चयन करेंगे, md5 हैश से 96 या उससे कम वर्णों की वर्णमाला। यह स्पष्ट है कि एक तरह से या किसी अन्य समस्या को केवल विस्तृत खोज से हल किया जाता है। हम पासवर्ड शब्दकोशों या कुछ मुश्किल योजनाओं का उपयोग नहीं करेंगे - बस ख़त्म।

कार्य का वितरण

हमारे पास अधिकतम 96 ⁸ संभावित पासवर्ड हैं। आइए प्रत्येक पासवर्ड को दशमलव प्रणाली में 1 से 96 ⁸ तक एक संख्या दें। अब, प्रत्येक पासवर्ड को एक दशमलव प्रणाली में 96- from10toN ( from10toN ) से एक from10toN रूपांतरण और वर्णमाला का उपयोग करके प्राप्त किया जा सकता है:

  var alphabet = "0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKL" + "MNOPQRSTUVWXYZ+/*-\\?=`~!@#$%^&*()_{}[];:'\"|.,<> ", alphabetLength = alphabet.length; function from10toN (number, base) { if (!base || base > alphabetLength) { base = alphabetLength; } if (base < 2) { base = 2; } var result = ''; while (number > 0) { result = alphabet.charAt(number % base) + result; number = Math.floor(number / base); } return result; } 

प्रत्येक कार्य में चयन के लिए 400,000 पासवर्ड का अंतराल होगा (Google Chrome लगभग 200,000 md5 प्रति सेकंड की गणना करता है)। कुल मिलाकर, हमारे पास 18034739475 कार्य हैं - कई, लेकिन 16 वर्णों के पासवर्ड के साथ उतने निराशाजनक नहीं हैं ... ऐसा हो सकता है कि क्लाइंट ने कार्य लिया, लेकिन इसे पूरा नहीं किया। प्रत्येक कार्य के लिए, वह समय जोड़ें जिसके बाद वह समाप्त हो - समाप्त हो।

नेटवर्क क्लाइंट का तर्क प्राथमिक है - एक चक्र में हम पासवर्ड के माध्यम से एन 1 से एन 2 तक सॉर्ट करते हैं, प्रत्येक के लिए हम md5 पाते हैं, हम मानक के साथ प्राप्त हैश की तुलना करते हैं। यदि हैश मैच होता है, तो सर्वर को पासवर्ड भेजें, अन्यथा एक खाली लाइन:

 EcdcWorker.prototype.calculateSync = function (id, data) { var maxPasswordId = data.max, password, alphabetBase = data.base, hash = data.hash; for (var i = data.min; i <= maxPasswordId; i++) { //       //   md5 password = from10toN(i, alphabetBase); if (md5(password) === hash) { // tada! return {id: id, data: password}; //  } } return {id: id, data: ""}; //   }; 

ग्राहक तर्क

1. क्लाइंट सर्वर पर आता है, लॉग इन करता है
2. क्लाइंट कंप्यूटिंग स्क्रिप्ट और अन्य मध्यवर्ती तर्क लोड करता है
3. क्लाइंट रिपॉजिटरी से अप्रचलित कार्यों को हटा देता है
4. क्लाइंट ने श्रमिकों को लॉन्च किया (उनकी संख्या सेटिंग पर निर्भर करती है)
5. क्लाइंट उन कार्यों को (रिपॉजिटरी में) जांचता है जो पूरे हो गए थे लेकिन सर्वर तक नहीं पहुंचाए गए - वर्कर्स के माध्यम से ये कार्य भेजता
6. प्रत्येक कार्यकर्ता सर्वर से कार्यों का अनुरोध करता है या क्लाइंट के माध्यम से स्टोरेज से बकाया कार्य लेता है (1 या अधिक)
7. ग्राहक रिपॉजिटरी में कार्यों को बचाता है (यदि पृष्ठ पुनः लोड किया जाता है)
8. प्रत्येक कार्यकर्ता अपने कार्य की गणना शुरू करता है
9. कार्य गणना पूरी होने के बाद, कार्यकर्ता रिपॉजिटरी में समाधान बचाता है (यदि पृष्ठ पुनः लोड किया जाता है या सर्वर उपलब्ध नहीं है)
10. कार्यकर्ता सर्वर को समाधान भेजता है (और बिंदु 6 से)

जबकि क्लाइंट कार्य करता है, अन्य क्लाइंट (उसी ब्राउज़र में अन्य पृष्ठों पर स्क्रिप्ट) अवरुद्ध हैं।

सर्वर तर्क

1. सर्वर क्लाइंट को अधिकृत करता है
2. वर्कर से एक कार्य अनुरोध आता है - सर्वर अप्रचलित कार्यों की जांच करता है, यदि कोई हो, तो वह इसे क्लाइंट को भेजता है
2.1। यदि कोई अप्रचलित कार्य नहीं हैं - एक नया कार्य बनाता है, इसे क्लाइंट को भेजता है
3. कार्यकर्ता कार्य की प्रतिक्रिया भेजता है - सर्वर प्रतिक्रिया की जांच करता है, कार्य को पूर्ण के रूप में चिह्नित करता है
3.1। सर्वर कार्यकर्ता को एक नया कार्य भेजता है (और बिंदु 2 से)
4. जैसे ही सर्वर को वर्कर से सही उत्तर प्राप्त होता है, सर्वर काम करना बंद नहीं करता है - यह कार्य जारी नहीं करता है

सामान्य योजना

  [Workers: EcdcWorker] / \ Tasks: XHR / \ Messages: postMessage / Page: html \ [Server: EcdcServer] ------------ [Browser: EcdcClient] --- [User] | | [Database: Any] [Storage: localStorage] 

उपरोक्त MD5 Brutfors सर्वर के संचालन का एक सरल आरेख था, वितरित कंप्यूटिंग नेटवर्क जावास्क्रिप्ट ECDC के लिए फ्रेमवर्क का उपयोग करके आरेख को लागू करना व्यावहारिक रूप से संभव है।

परिणाम

आप यहाँ पर मेरे साथ जो हुआ उसे देख सकते हैं: md5 हैश से पासवर्ड पिकर सर्वर (पहली बार आपको संदेश "आप अनधिकृत हैं। लॉगिन"), आप किसी भी ईमेल या किसी भी नाम का उपयोग कर सकते हैं, उनका उपयोग उनके आँकड़े रखने के लिए किया जाता है। गणना की राशि में आपका योगदान (md5 हैश के रूप में संग्रहीत) ।

पासवर्ड आँकड़े यहाँ पाए जा सकते हैं (प्राधिकरण आवश्यक)।
नेटवर्क क्लाइंट केवल उन ब्राउज़रों में काम करता है जो वर्कर्स, लोकलस्टोरीज, JSON, XMLHttpRequest का समर्थन करते हैं। यदि आप "आप md5 की गणना कर रहे हैं" वाक्यांश दर्ज करते हैं, तो आप गणना में शामिल हैं, चीयर्स! मैंने श्रमिकों के काम के लॉग को चालू किया, आप देख सकते हैं कि वे किसी भी कंसोल में क्या करते हैं।
आप अपने पृष्ठ पर एक गणना फ्रेम एम्बेड कर सकते हैं, इसका कोड मुख्य पृष्ठ के स्रोत में पाया जा सकता है।

संदर्भ

1. पासवर्ड अनुमान लगाने वाले सर्वर का एक कार्यशील उदाहरण
2. पासवर्ड चयन आँकड़े (मुख्य एक पर प्राधिकरण आवश्यक है)
3. वितरित कम्प्यूटिंग नेटवर्क बनाने के लिए जावास्क्रिप्ट फ्रेमवर्क
4. सर्वर स्रोत कोड उदाहरण में: md5-bruteforce-server.js , md5- bruteforce -server /

निष्कर्ष

सिस्टम ने अपनी व्यवहार्यता साबित कर दी है (परीक्षण में मैंने सफलतापूर्वक एक 3-वर्ण पासवर्ड चुना है, लेकिन गंभीरता से!) यह उपयोगकर्ताओं की पर्याप्त बड़ी मात्रा पर परीक्षण करने के लिए बना हुआ है, एक के लिए हम नोडस्टर की होस्टिंग क्षमता की जांच करेंगे।

क्या आप किसी वितरित कंप्यूटिंग में भाग लेते हैं? क्या आपको लगता है कि ब्राउज़र वितरित कंप्यूटिंग नेटवर्क का भविष्य है? क्या आप विज्ञापन देखने और YouTube वीडियो देखने के बजाय कुछ उपयोगी गणना करना चाहते हैं?

आलोचना, सुझाव, सुझाव का स्वागत है!