Tactoom.com इनसाइड - NodeJS / NoSQL सोशल ब्लॉगिंग प्लेटफ़ॉर्म

तो, यह कुछ कार्डों को प्रकट करने और बात करने का समय है कि टैक्टूम अंदर से कैसे काम करता है।

इस लेख में, मैं एक वेब सेवा के विकास और उत्पादन के बारे में बात करूंगा:
NodeJS (फाइबर), MongoDB, Redis, ElasticSearch, Capistrano, Rackspace।

प्रविष्टि

तीन हफ्ते पहले, डेविड और I ( DMiloshev ) ने Tactoom.com infosocial नेटवर्क लॉन्च किया था । इसके बारे में आप यहां पढ़ सकते हैं।

हाल ही में NodeJS के इर्द-गिर्द उठे शोर की पृष्ठभूमि के खिलाफ, शायद कई लोग इस बात में रुचि रखते हैं कि यह तकनीक शब्दों में नहीं, व्यवहार में क्या है।

NodeJS बिल्कुल भी रामबाण नहीं है। यह सिर्फ एक और तकनीक है, वास्तव में, दूसरों की तुलना में बेहतर नहीं है। अच्छा प्रदर्शन और स्केलेबिलिटी हासिल करने के लिए, आपको बहुत पसीना बहाना पड़ेगा - जैसे हर जगह।

अनुप्रयोग वास्तुकला

NodeJS एप्लिकेशन को दो प्रकार की प्रक्रियाओं में विभाजित किया गया है:
1. वेब प्रक्रिया (http)
2. बादल प्रक्रिया (कतार)

सभी प्रक्रियाएं एक-दूसरे से पूरी तरह से स्वतंत्र हैं, विभिन्न सर्वरों पर और यहां तक ​​कि दुनिया के विभिन्न हिस्सों में स्थित हो सकती हैं। इसी समय, इन प्रक्रियाओं के गुणा से आवेदन को ठीक से बढ़ाया जाता है। उनके बीच संचार विशुद्ध रूप से एक केंद्रीकृत संदेश सर्वर (रेडिस) के माध्यम से होता है।

वेब प्रक्रिया उपयोगकर्ताओं से प्रत्यक्ष http अनुरोधों की सेवा करती है। प्रत्येक प्रक्रिया एक साथ कई अनुरोधों को संसाधित कर सकती है। प्रत्येक विशेष अनुरोध के CPU / IO अनुपात के आधार पर Eventloop की बारीकियों को ध्यान में रखते हुए, समानांतर प्रसंस्करण सीमा या तो एक समय में एक व्यक्तिगत प्रक्रिया के लिए कम या बढ़ सकती है।

क्लाउड प्रक्रियाएं ऐसे ऑपरेशन करती हैं जो सीधे उपयोगकर्ता के अनुरोध से संबंधित नहीं हैं। उदाहरण के लिए: ईमेल भेजना, डेटा विकृति, खोज अनुक्रमण। वेब की तरह, एक ही क्लाउड प्रक्रिया एक ही समय में कई विभिन्न प्रकार के कार्यों को संभाल सकती है।
यह ध्यान देने योग्य है कि कार्यों / प्रश्नों की "परमाणु" बहुत महत्वपूर्ण है। यही है, आपको यह सुनिश्चित करने की आवश्यकता है कि कैपेसिटिव कार्य / गणना को कई छोटे भागों में विभाजित किया गया है, जिसे बाद में बाकी प्रक्रियाओं पर समान रूप से वितरित किया जाएगा। यह कार्य की गति को बढ़ाएगा, दोष सहिष्णुता और मेमोरी की खपत को कम करेगा और एक पूरे के रूप में प्रत्येक प्रक्रिया और सर्वर के गुणांक को अवरुद्ध करेगा।

वेब → क्लाउड
मैं सीपीयू के खिलाफ समग्र IO समय अनुपात को बढ़ाने के लिए इस तरह से वेब प्रक्रियाओं को व्यवस्थित करने का प्रयास करता हूं, जिसका अर्थ है कि उच्च प्रतिस्पर्धी अनुरोधों के साथ http के तेजी से जारी करने पर ध्यान केंद्रित करना। इसका मतलब यह है कि वेब क्लाउड के लिए उच्च-सीपीयू तर्क को दर्शाता है , इसके निष्पादन की प्रतीक्षा करता है, फिर गणनाओं का परिणाम प्राप्त करता है। तदनुसार, नोड्ज की अतुल्यकालिक वास्तुकला के कारण, वेब प्रतीक्षा करते समय अन्य अनुरोध कर सकता है।

क्लस्टरिंग
वेब और क्लाउड की वास्तुकला बहुत समान है, सिवाय इसके कि http सॉकेट के बजाय, क्लाउड रेडिस कतार में सुनता है।

नोड प्रक्रियाओं की क्लस्टरिंग निम्नलिखित सिद्धांतों के अनुसार होती है:
1. प्रत्येक भौतिक सर्वर पर एक पर्यवेक्षक प्रक्रिया ( नोड-क्लस्टर ) चल रही है
2. पर्यवेक्षक की बाल प्रक्रियाएं हमारे वेब और क्लाउड हैं, जिनमें से संख्या हमेशा सर्वर कोर की संख्या के बराबर होती है।
3. पर्यवेक्षक प्रत्येक बच्चे की प्रक्रिया की मेमोरी खपत पर नज़र रखता है और, यदि निर्दिष्ट मानदंड को पार कर गया है, तो इसे पुनरारंभ करता है (इस प्रक्रिया के वर्तमान अनुरोधों के पूरा होने का इंतजार करने के बाद)।

रेशे

आवेदन की पूरी उच्च-स्तरीय परत नोड-सिंक (फाइबर) का उपयोग करके लिखी गई है, जिसके बिना मुझे आमतौर पर इसके विकास का बहुत कम पता है। तथ्य यह है कि यह बहुत मुश्किल है, अगर बेवकूफ नहीं है, तो इस तरह की जटिल चीजों को "आधिकारिक" कॉलबैक-चालित प्रतिमान के रूप में एक ही स्थिर विधानसभा को लागू करना है। उन लोगों के लिए जिन्होंने अभी तक एक ही एनपीएम का कोड नहीं देखा है, मैं दृढ़ता से अनुशंसा करता हूं कि आप इसे देखें और समझने की कोशिश करें कि वहां क्या हो रहा है, और सबसे महत्वपूर्ण बात - क्यों। और होलीवर्स और ट्रोलिंग, जो लगभग हर दिन अतुल्यकालिक नोडज प्रतिमान के आसपास बढ़ता है, इसे हल्के ढंग से डालने के लिए, मुझे परेशान करता है।

आप मेरे लेख में नोड-सिंक के बारे में अधिक जान सकते हैं:
नोड-सिंक - फाइबर का उपयोग करके नोडज पर छद्म-तुल्यकालिक प्रोग्रामिंग

वेब

वेब एप्लिकेशन का सामान्य तर्क "एक्सप्रेस" शैली में एक्सप्रेसज फ्रेमवर्क पर लागू किया गया है। सिवाय इसके कि प्रत्येक अनुरोध को एक अलग फाइबर में लपेटा जाता है, जिसके अंदर सभी कार्यों को एक समकालिक शैली में किया जाता है।

एक्सप्रेसजेस कार्यक्षमता के कुछ हिस्सों को ओवरराइड करने की असंभवता के कारण, विशेष रूप से रूटिंग में, इसे एनपीएम से हटा दिया गया था और मुख्य परियोजना भंडार में शामिल किया गया था। यह कई अन्य मॉड्यूलों पर लागू होता है (विशेष रूप से LearnBoost द्वारा विकसित), क्योंकि उनकी परियोजनाओं में योगदान करना बहुत मुश्किल है और आम तौर पर हमेशा संभव नहीं होता है ।

CSS स्टाइलस के माध्यम से उत्पन्न होता है । यह वास्तव में बहुत सुविधाजनक है।
टेम्पलेट इंजन - ईजेएस (सर्वर पर और क्लाइंट पर दोनों)।
फ़ाइल अपलोड - कनेक्ट-फॉर्म ।

वेब बहुत तेज़ है, क्योंकि सभी मॉड्यूल और इनिशियलाइज़ेशन को स्टार्टअप में प्रोसेस मेमोरी में लोड किया जाता है। मैं किसी भी पृष्ठ पर वेब प्रक्रिया के औसत प्रतिक्रिया समय को रखने की कोशिश करता हूं - 300ms तक (छवि अपलोड, पंजीकरण आदि को छोड़कर)। प्रोफाइलिंग करते समय, मुझे यह जानकर आश्चर्य हुआ कि इस समय का 70% मूंगोज़ (नोडज के लिए मैंगोडब ओआरएम) द्वारा लिया गया है - इससे भी नीचे।

i18n
लंबे समय से मैं नोडज में अंतर्राष्ट्रीयकरण के लिए एक उपयुक्त समाधान की तलाश कर रहा था, और मेरी खोज थोड़े डोपिलिवैनी के साथ नोड- गेटटेक्स्ट पर परिवर्तित हुई। यह एक घड़ी की तरह काम करता है, अपडेट के दौरान सर्वर नोडज प्रक्रियाओं द्वारा लोकल फाइलें "फ्लाई पर" खींची जाती हैं।

कैश
अपने सभी तर्क के साथ कैशिंग कार्यक्षमता कोड के दो स्क्रीन में फिट होती है। कैश-बैकेंड के रूप में, रेडिस का उपयोग किया जाता है।

स्मृति
वेब प्रक्रियाओं में, स्मृति एक नदी की तरह बहती है, क्योंकि यह बाद में मानस के कारण निकला। एक प्रक्रिया (दिन के दौरान, एक औसत लोड के दौरान), दो घंटे में 800 एमबी तक खाती है, जिसके बाद पर्यवेक्षक द्वारा इसे फिर से शुरू किया जाता है।
नोडज में मेमोरी लीक की खोज करना काफी मुश्किल है, अगर आप दिलचस्प तरीके जानते हैं - मुझे बताएं।

डेटा

अभ्यास से पता चला है कि स्कीमा-कम मोंडोड प्रतिमान टैक्टूम मॉडल के लिए आदर्श है। डेटाबेस स्वयं अच्छा व्यवहार करता है (वजन 376MB, जिसमें से 122MB सूचकांक है), डेटा केवल अनुक्रमित द्वारा चुना जाता है, इसलिए किसी भी क्वेरी का परिणाम 30ms से अधिक नहीं है, यहां तक ​​कि उच्च भार पर (अधिकांश प्रश्न आमतौर पर <1ms)।

यदि यह दिलचस्प है, तो दूसरे भाग में मैं इस बारे में अधिक विस्तार से बात कर सकता हूं कि हम कितने गैर-तुच्छ कार्यों (और यह कैसे विफल हुआ) के लिए "वश" मेंडॉब करने में कामयाब रहे।

मोंगोज़ोज़ (नोडज के लिए मोंगोडब ओआरएम)
मैं उसके बारे में अलग से कहना चाहता हूं। 20 उपयोगकर्ताओं की एक सूची का चयन करना: मोंगो में डेटा का अनुरोध करना और चयन करना 2ms लेता है, डेटा स्थानांतरण में 10ms लगते हैं, फिर मानगो कुछ और 200ms करता है (मैं पहले से ही मेमोरी के बारे में चुप हूं) और परिणामस्वरूप मुझे ऑब्जेक्ट मिलते हैं। यदि आप इसे निचले स्तर के नोड-मोंगोडब-देशी में फिर से लिखते हैं , तो यह सब 30ms लगेगा।
धीरे-धीरे, मुझे मोंगोडेब-देशी पर लगभग सब कुछ फिर से लिखना पड़ा, जबकि सिस्टम की गति को 10 के एक कारक के रूप में समग्र रूप से बढ़ा दिया।

स्थिति-विज्ञान

सभी टैक्टूम स्टैटिक्स रैकस्पेस क्लाउड स्टोरेज पर संग्रहीत हैं। ऐसा करने में, मैं स्थिर सीडीएन डोमेन एक्स .infosocial.net का उपयोग करता हूं , जहां एक्स 1. एन। यह डोमेन DNS के माध्यम से क्लाउड स्टोरेज में कंटेनर के आंतरिक डोमेन के लिए आगे बढ़ता है, जिससे ब्राउज़रों को समानांतर में स्थिर फ़ाइलों को लोड करने की अनुमति मिलती है। प्रत्येक स्थिर फ़ाइल को दो प्रतियों (सादे और gzip) में संग्रहीत किया जाता है और इसमें एक विशिष्ट नाम होता है जिसमें संस्करण वायर्ड होता है। यदि फ़ाइल संस्करण अपडेट किया गया है, तो पता बदल जाएगा, और ब्राउज़र नई फ़ाइल डाउनलोड करेंगे।

अनुप्रयोग स्टेटिक्स एकत्र किए जाते हैं (क्लाइंट जेएस और सीएसएस, चित्र) एक स्व-लिखित तंत्र के माध्यम से जो संशोधित फ़ाइलों (गिट-लॉग के माध्यम से) को परिभाषित करता है, संक्षिप्त करता है, एक गज़िप कॉपी बनाता है और उन्हें सीडीएन पर लोड करता है। बिल्ड स्क्रिप्ट बदली गई छवियों पर भी नज़र रखती है और संबंधित सीएसएस फाइलों में उनके पते अपडेट करती है।
सभी फ़ाइलों के स्थैतिक पते की एक सूची (मानचित्रण) रेडिस में संग्रहीत की जाती है। यह सूची हर वेब प्रक्रिया को स्टार्टअप पर या स्थिर संस्करणों को अपडेट करते समय लोड करती है।
वास्तव में, स्टैटिक्स में किसी भी परिवर्तन की डी-तैनाती एक टीम द्वारा की जाती है जो सब कुछ अपने आप करती है। इसके अलावा, इसे किसी भी रिबूट की आवश्यकता नहीं है, क्योंकि नोडज एप्लिकेशन रेडिस पब / उप के माध्यम से फ्लाई पर स्थिर फ़ाइलों के परिवर्तित पते उठाते हैं।

उपयोगकर्ता स्टेटिक्स को रैकस्पेस पर भी संग्रहीत किया जाता है, लेकिन एप्लिकेशन स्टैटिक्स के विपरीत, उनके पास संस्करण नहीं होते हैं, लेकिन बस कुछ कैनोनेज़ेशन से गुजरते हैं, जो उन्हें छवि के हैश का उपयोग करके सीडीएन पर सभी आकारों के पते प्राप्त करने की अनुमति देता है।

मेजबान परिभाषाओं (सीडीएन एक्स ) के लिए, जिस पर एक विशेष स्थिर फ़ाइल संग्रहीत की जाती है, सुसंगत हैशिंग का उपयोग किया जाता है।

सर्वर आर्किटेक्चर

वास्तव में, टैक्टूम 3 हर्मेटिक क्षेत्रों में बिखरा हुआ है:
1. रैकस्पेस - स्टैटिक्स के तेज़ स्केलिंग और भंडारण के लिए एक मंच
2. यूरोप में साइट - यहाँ हमारे भौतिक सर्वर
3. गुप्त (लॉग यहां घुमाए जाते हैं, पृष्ठभूमि की गणना की जाती है और आंकड़े एकत्र किए जाते हैं)

केवल एक सर्वर दुनिया में देख रहा है - नंगेक्स, खुले बंदरगाहों 80 और 4000 के साथ। बाद वाले का उपयोग COMET कनेक्शन के लिए किया जाता है।
शेष सर्वर प्रत्यक्ष आईपी पर एक दूसरे के साथ संवाद करते हैं, iptables के माध्यम से दुनिया से बंद हो जाते हैं।

: 80
वेब सर्वरों के लिए अपस्ट्रीम कॉन्फ़िगरेशन के माध्यम से nginx proxies अनुरोध करता है। फिलहाल दो अपस्ट्रीम हैं: tac_main और tac_media । उनमें से प्रत्येक में 3000 बंदरगाहों से अधिक नोड-क्लस्टर पर चलने वाले वेब सर्वरों की एक सूची है, प्रत्येक वेब सर्वर की अनुरोधों के वितरण में अपनी प्राथमिकता है।
tac_main वेब सर्वर का एक समूह है जो डेटाबेस के करीब है और पंजीकृत टैक्टूम उपयोगकर्ताओं को अधिकांश वेब पेज देने के लिए जिम्मेदार है।
tac_media - CDN के करीब स्थित वेब सर्वर का एक समूह। उनके माध्यम से, छवियों को डाउनलोड करने और आकार बदलने के सभी ऑपरेशन होते हैं।

वेबएन और क्लाउडएन सर्वर को दिखाने के लिए दिखाया जाता है कि मैं सर्वर को हाबरा प्रभाव और अन्य सुखद घटनाओं में जोड़ता हूं।
सीडीएन पर संग्रहीत छवि में 10 मिनट के भीतर नए सर्वर बढ़ते हैं।

: 4000 रु
यहां धूमकेतु सर्वर के लिए सामान्य प्रॉक्सी-पास है, जहां नोड्ज COMET बेसेडा एप्लिकेशन चल रहा है , जिसकी मैं दूसरे भाग में चर्चा करूंगा।

tac1, tac2, data1
ये मुख्य Tactoom सर्वर हैं: XEON X3440 4x2.53 GHz 16 GB 2x1500 GB Raid1।
प्रत्येक एक मोंगोड प्रक्रिया चलाता है, उन सभी को प्रतिकृति में स्वचालित विफलता और दासों को पढ़ने के संचालन के वितरण के साथ जोड़ा जाता है।

Tac1 पर, मुख्य वेब क्लस्टर, tac2 पर, क्लाउड क्लस्टर। प्रत्येक क्लस्टर में 8 नोडज प्रक्रियाएं होती हैं।

निकट भविष्य में मैं एक और अपस्ट्रीम tac_search बनाऊंगा , जिस पर केवल खोज क्वेरी को रूट किया जाएगा। इसमें एक वेब-क्लस्टर होगा, जिसे मैं इलास्टिसर्च (दूसरे भाग में इसके बारे में) सर्वर के बगल में रखूंगा ।

निष्कर्ष

NodeJS के रचनाकारों के नारे का हवाला देते हुए:
"क्योंकि कुछ भी ब्लॉक नहीं है, कम-से-विशेषज्ञ प्रोग्रामर तेज सिस्टम विकसित करने में सक्षम हैं।"
"क्योंकि कुछ भी अवरुद्ध नहीं है, कम-से-विशेषज्ञ तेजी से सिस्टम विकसित कर सकते हैं।"

1. यह एक धोखा है। मैं अब लगभग 2 वर्षों से नोडज का उपयोग कर रहा हूं और अपने स्वयं के अनुभव से मैं जानता हूं कि इस पर "तेज सिस्टम" विकसित करने के लिए, आपको किसी भी अन्य तकनीक की तुलना में कम अनुभव (या इससे भी अधिक) की आवश्यकता नहीं है। वास्तव में, नोडज में कॉलबैक-चालित प्रतिमान और सामान्य रूप से जावास्क्रिप्ट की विशेषताओं के साथ, प्रदर्शन में लाभ की तुलना में यह एक गलती करने की अधिक संभावना है (और फिर बहुत लंबे समय तक इसकी तलाश करें)।
2. दूसरी ओर, मिस्टर टेड डेज़ुबा की ट्रोलिंग भी पूरी बकवास है, क्योंकि "फाइबोनैचि संख्याओं" के साथ उदाहरण को उंगली से चूसा जाता है। केवल एक व्यक्ति जो यह नहीं समझता है कि आखिर ईवेंटलूप कैसे काम करता है और इसकी आवश्यकता क्यों है, यह करेगा (जो, संयोग से, बिंदु 1 से साबित होता है)।

इस वसंत में देवकोनफ में व्याख्यान देने के बाद, मुझसे अक्सर यह सवाल पूछा जाता है कि क्या NodeJS पर एक नई परियोजना बनाई जाए। सभी को मेरा जवाब:
यदि आपके पास बहुत समय है और आप इसे नई, कच्ची और विवादास्पद तकनीक के विकास में निवेश करने के लिए तैयार हैं - तो आगे बढ़ें। लेकिन अगर आपके पास समयसीमा / ग्राहक / निवेशक हैं और आपके पास सर्वर-साइड जेएस के साथ ज्यादा अनुभव नहीं है - तो इसके लायक नहीं है ।

जैसा कि अभ्यास से पता चला है, NodeJS पर एक परियोजना का निर्माण वास्तविक है। यह काम करता है। लेकिन इसने मुझे बहुत खर्च किया। नोड ओपन-सोर्स समुदाय के लायक क्या है, जिसके बारे में मैं अभी भी लिखने की कोशिश करता हूं।

भाग २

लेख का दूसरा भाग दूसरे दिन होगा। यहाँ एक छोटी सूची है कि मैं इसके बारे में क्या लिखूंगा:
1. खोज (एलेस्टिक्स खोज)
2. मेल (गूगल ऐप इंजन)
3. परिनियोजन (कैपिस्ट्रानो, एनपीएम)
4. कतार (रेडिस, क्यू)
5. धूमकेतु सर्वर (बगल में)

एक लेख के लिए बहुत अधिक जानकारी।
यदि मुझे टिप्पणियों में दिलचस्प प्रश्न दिखाई देते हैं, तो मैं उन्हें दूसरे भाग में उत्तर दूंगा।

पुनश्च

1. भोजन नहीं होगा। मैं अपनी उपलब्धियों के संदर्भ के बिना आलोचना वाले किसी भी टिप्पणी को अनदेखा करूंगा।
2. हम एक फ्रंट-एंड निंजा की तलाश कर रहे हैं, यहां विवरण
3. आपको याद दिला दें कि टैक्टूम बंद बीटा परीक्षण में है। पंजीकरण सीमित है। एक ईमेल छोड़ दो और आप जल्द ही एक निमंत्रण प्राप्त कर सकते हैं।

UPD 19.10:
बहुत काम के लिए दूसरे भाग में देरी हो रही है।