तेरमका की शैली में प्रोग्रामिंग

मैंने अनुवाद को यथासंभव सटीक बनाने की कोशिश की, और केवल कंपनी का नाम बदल दिया, जिसका उपयोग एक उदाहरण के रूप में किया जाता है, लेकिन खुदरा क्षेत्र में काम के दायरे और सिद्धांत में यह मूल के समान है।

Teremka मेनू में प्रत्येक पैनकेक लगभग 8 अवयवों का एक सेट है। तत्वों की इतनी सरल आवधिक तालिका के साथ, कंपनी ने पिछले साल $ 1.9 बिलियन कमाए ( नहीं, टेरेमोक नहीं, लेकिन अभी भी टैको बेल )।
जितना अधिक मैं प्रोग्राम और डिज़ाइन सिस्टम करता हूं, उतना ही मैं समझता हूं कि कई मामलों में आप यूनिक्स द्वारा हमें दिए गए टूल के मूल सेट को तुच्छ रूप से जोड़कर वांछित परिणाम प्राप्त कर सकते हैं। अंत में, कार्यक्षमता मूल्य है, और कोड ऋण है। यह कथन DevOps ( डेवलपर-प्रवेश ) के बेतुके रुझान के विपरीत है, जिसके आधार पर सिस्टम एडमिनिस्ट्रेटर डेवलपर्स की मदद करने के लिए यूनिट टेस्ट और अन्य चीजें लिखना शुरू करते हैं, और बताते हैं कि टेरेम-स्टाइल प्रोग्रामिंग डेवलपर्स हैं जो प्रशासन के बारे में पर्याप्त जानते हैं (और सामान्य रूप से यूनिक्स) ) ताकि वे पहिया को मजबूत न करें, और सरल और स्केलेबल समाधानों के साथ आएं।

यहां एक ठोस उदाहरण दिया गया है: कल्पना करें कि आपको आगे की प्रक्रिया के लिए डिस्क पर लाखों वेब पेजों को डाउनलोड करने और जलाने की आवश्यकता है। यह कैसे करना है? छोटे बच्चे कहेंगे आपको क्लूजुर पर एक वितरित मकड़ी लिखने और इसे ईसी 2 पर चलाने की जरूरत है, एसक्यूएस या 0 एमक्यू का उपयोग करते हुए।

xargs और wget। इंटरनेट चैनल को बंद करने के दुर्लभ मामले में, आप विभाजन और rsync जोड़ सकते हैं। एक "वितरित मकड़ी" वास्तव में एक शेल स्क्रिप्ट के लिए कोड की केवल 10 पंक्तियाँ हैं।

आगे बढ़ते हुए, जब आपके पास ये लाखों पृष्ठ (या यहाँ तक कि दसियों लाख) हों, तो आप इन्हें कैसे संभालेंगे? बेशक, आपको Hadoop MapReduce की आवश्यकता होगी, आखिरकार, यह है कि Google वेब पेज कैसे संभालता है?

ब्यू, इस बकवास के साथ नरक के लिए:

crawl_dir / -type f -print0 खोजें | xargs -n1 -0 -P32/process

32 समानांतर प्रक्रिया और समर्थन करने के लिए शून्य स्लेट कोड। आवश्यकताएँ संतुष्ट हैं।

हर बार जब आप एक कोड लिखते हैं या तीसरे पक्ष की सेवाओं का उपयोग करते हैं, तो आप अपने सिस्टम में विफलता की संभावना का परिचय देते हैं। मुझे हडोप की तुलना में xargs में बहुत अधिक भरोसा है। हां, मैं वास्तव में एक बहु-थ्रेडेड हैंडलर लिखने में खुद से ज्यादा xargs पर भरोसा करता हूं। मुझे विश्वास है कि कतार सेवा की तुलना में अतुल्यकालिक रूप से अधिक संदेश लिखने के लिए syslog।

Teremk-style प्रोग्रामिंग यूनिक्स ज़ेन के चरणों में से एक है। यह वह रास्ता है जो मैं अभी शुरू कर रहा हूं, लेकिन लाभांश पहले से ही बहना शुरू कर रहे हैं। वास्तव में इसे दर्ज करने के लिए, आपको सिस्टम को कैसे डिज़ाइन किया जाना चाहिए, इस पर विचारों का एक गुच्छा बाहर फेंकने की आवश्यकता है: मैंने स्थैतिक फ़ाइलों और अपाचे mod_rewrite का उपयोग करके अधिकांश SOAP सर्वर बनाया। सब कुछ टेरेमेक की शैली में किया जा सकता था, अगर मुझे केवल सीड को छांटने की ताकत मिली थी, लेकिन मैं डर गया और पायथन में कुछ लिखा।

यदि आप इसके बारे में ज़ेन के नजरिए से सोचना नहीं चाहते हैं, तो पूंजीवादी दृष्टिकोण से सोचें: आप टेबल पर खाना लगाने के लिए कोड लिखते हैं। आप प्रसिद्ध उपकरण का उपयोग करके जोखिम को कम कर सकते हैं, या आप अज्ञात भूमि में प्रवेश कर सकते हैं। आपको शायद सम्मेलन में भाषण देने के लिए आमंत्रित नहीं किया जाएगा, लेकिन काम किया जाएगा, और आपके पेजर को रात में बंद न करने के लिए मजबूर किया जा सकता है।