उदाहरण के रूप में wikipaintings.org का उपयोग करके अमेज़न वेब सेवाओं का उपयोग करना

मुझे लगता है कि संबंधित समुदाय को अमेज़ॅन वेब सेवाओं का उपयोग करके इंटरनेट प्रोजेक्ट विकसित करने में मेरे अनुभव के बारे में जानने की दिलचस्पी होगी।

मैं यह कहने का बहाना नहीं करता कि पूरी परियोजना सही है, लेकिन मैं उन मुख्य समाधानों का वर्णन करने का प्रयास करूंगा जिन्होंने इस परियोजना को बनाने में मदद की। Wikipedia.org, जिसने हमें काम करने के लिए प्रेरित किया, एक महीने में 12 बिलियन पेज देती है, और इसलिए हमने शुरुआत से ही लोकप्रियता वृद्धि के लिए कोड तैयार करने की कोशिश की।

Wikipaintings.org क्या है - www.wikipaintings.org/en/About
अब विकास का पहला चरण और अगले चरण के मुख्य कार्य समाप्त हो रहे हैं - साइट को भरने के लिए स्वयंसेवकों को आकर्षित करना।

अगर यह किसी को लगता है कि पेंटिंग उबाऊ है, तो आर्कमबेल्डो रचनात्मकता को एक कोशिश दें - www.wikipaintings.org/en/giuseppe-arcimboldo/spring-1573#supersized-artistPaint-18-184903

यदि आप पेंटिंग शैलियों के वर्गीकरण को समझने में रुचि रखते हैं, तो www.wikipaintings.org/en/paintings-by-yle पर आपका स्वागत है

ठीक है, अब, जब आप साइट डालते हैं तब हबब्रिफेकटोम (यदि आपने इसे अभी तक नहीं लगाया है - हम आपके सभी दोस्तों के लिए एक लिंक फेंक देंगे), चलो मुख्य बात पर चलते हैं - तकनीकी युक्तियां।

प्रौद्योगिकी मंच

यह प्रोजेक्ट ASP.NET MVC, LINQ2SQL, MS SQL सर्वर 2008 R2 और JQuery का उपयोग करके पूरा किया गया था। यह कोई रहस्य नहीं है कि एडब्ल्यूएस जेएवीए / पीएचपी डेवलपर्स पर अधिक केंद्रित है, लेकिन मैं विशेष रूप से वंचित महसूस नहीं करता था।
मैं वेब अनुप्रयोगों की पारंपरिक परतों के क्रम में डेवलपर्स के लिए मेरी सलाह पर विचार करने का प्रस्ताव करता हूं।

डेटाबेस

हमने व्यापारिक वस्तुओं के एक केंद्रीकृत डेटाबेस के साथ शुरुआत की - हमारे अनुमानों के अनुसार, एक काफी शक्तिशाली उदाहरण निकट भविष्य में विशिष्ट ग्राहक अनुरोधों की आवश्यक संख्या को संसाधित करने में सक्षम है (फिलहाल यह उच्च सीपीयू मध्यम उदाहरण है)। सबसे लोकप्रिय HTTP अनुरोधों के लिए, हमने सुनिश्चित किया कि वास्तव में 1 SQL क्वेरी निष्पादित की गई है, जो सभी आवश्यक डेटा लौटाता है - यह डेटाबेस है जो इस परिदृश्य में स्केल करना सबसे कठिन है।
डेटाबेस में फ़ाइलों को संग्रहीत करने के लिए एक मजबूत "नहीं" कहना महत्वपूर्ण है। SQL Server 2008 की उन्नत सुविधाओं के बावजूद, यह गलत तरीका है। यह कोई संयोग नहीं है कि ईसी 2 का इलास्टिक कंप्यूटिंग क्लाउड के लिए खड़ा है - पहली जगह में आपका सर्वर सिर्फ एक प्रोसेसर है और इसका मुख्य उद्देश्य स्टोर करना है, न कि पढ़ना।
प्रारंभ में, किसी भी ड्राइव पर फिट होने के लिए बहुत अधिक उपयोगकर्ता फाइलें होंगी - इसलिए S3 में उनका स्थान एक अंतहीन और बहुत विश्वसनीय फ़ाइल संग्रहण है। शायद यह शुरुआत में धीमी प्रतीत होगी, लेकिन इसकी गति नहीं बदलती है, 1 आपकी प्रक्रिया या 1000 इसके साथ काम करेगी।
डेटाबेस स्तर पर जटिल प्रश्नों के परिणामों को कैश करें। हमारे पास एक संग्रहित प्रक्रिया में संलग्न चित्रों और कलाकारों के लिए सभी प्रकार की खोजें हैं। कैशिंग कुंजी के रूप में, हम इसके सभी मापदंडों को रिकॉर्ड करते हैं और जब कोई अन्य उपयोगकर्ता एक ही टैग या शैली पर क्लिक करता है, तो हमारे पास डेटाबेस में उपयुक्त वस्तुओं की आईडी की एक तैयार सूची पहले से ही होती है। यह आपको पेजिंग का उपयोग करने के मामले में तुरंत परिणाम देने की अनुमति भी देता है।
मुख्य के साथ मिलकर अधीनस्थ वस्तुओं को पैक करें। उदाहरण के लिए, चित्र को चित्र की पंक्ति में धारावाहिक XML के रूप में संग्रहीत किया जाता है और कलाकार की पंक्ति में समान XML। हां, यह बहुत सुंदर नहीं है, लेकिन प्रत्येक उपश्रेणी कम से कम 0.0005 सेकंड है, और जब आप पृष्ठ पर सभी पेंटिंग खींचते हैं, तो इस समय को 200 से गुणा करना होगा।
“एप्लीकेशन परफॉर्मेंस को ऑप्टिमाइज़ करने के लिए हिडन डेटा ओपन करना” लेख भी बहुत उपयोगी है। )

C # / मध्य स्तरीय

पेज रेंडरिंग टाइम और प्रत्येक बड़े ऑपरेशन का ध्यान रखें। हाल ही में, स्टैक्वोवरफ्लो प्रोफाइलर पर प्रकाश डाला गया था , लेकिन सामान्य तौर पर, आप जल्दी से अपने आप को कुछ सरल कर सकते हैं। शुरुआत में - प्रारंभिककरण, एंडरेंसिस्ट - हम जांचते हैं, पृष्ठ एन सेकंड से अधिक के लिए प्रदान नहीं किया गया था। यदि यह अधिक प्रदान किया जाता है - हम त्रुटि लॉग में एक प्रविष्टि लिखते हैं। उस कोड को व्यवस्थित करें जो एप्लिकेशन के बीता समय को लॉग करता है जब आपको यह समझने की आवश्यकता होती है कि कौन सा कदम कितना कदम उठाता है। मास्टरपेज के अंत में एचटीएमएल टिप्पणी के रूप में इस तरह के लॉग को प्रदर्शित करने के लिए चोट नहीं लगती है ताकि ट्यूनिंग प्रदर्शन का प्रभाव दिखाई दे।
"रैंडम एक्शन" कंट्रोलर मेथड्स करें - यह सेलेनियम या कुछ समान सीखने की तुलना में बहुत आसान है, और आपको सरल परीक्षण जैसे लोडिम्पैक्ट के साथ एप्लिकेशन के विभिन्न कार्यों की गति का परीक्षण करने की अनुमति देगा।
नेस्टेड छोरों के बारे में सावधान रहें। एक हानिरहित दिखने वाला प्रतिपादन चक्र, जो प्रत्येक चरण में जहां () का उपयोग करके सरणी से गुजरता है, एक सेकंड का दसवां हिस्सा लेता है। वही चक्र जिसके पहले हम सरणी को शब्दकोश में परिवर्तित करते हैं - पहले से ही एक सेकंड के सौवें भाग में पूरा हो जाता है।
यदि आप Linq2sql का उपयोग करते हैं तो भी एक ही SP से कई टेबल लौटें - यह संभव है और यह अच्छी तरह से काम करता है। मैं पीके द्वारा 0.005 सेकंड पर किसी वस्तु के प्राथमिक नमूने के ओवरहेड का अनुमान लगाता हूं; यदि इस तरह का ऑपरेशन एक चक्र पर चला जाता है, तो अर्थव्यवस्था कई बार बढ़ती है। उदाहरण के लिए, एक संग्रहीत प्रक्रिया न केवल एक तस्वीर लौटाती है, बल्कि वह कलाकार भी है जिसने इसे लिखा है।
बैचों में डेटा पढ़ें और एक बार में एक रिकॉर्ड न करें। इस तरह चित्रों के लिए खोज परिणाम प्रदर्शित करना काम करता है। C # में चित्रों की सूची प्राप्त करने के बाद, हम आईडी कलाकारों की एक सूची बनाते हैं और उन्हें शब्दकोश में एक उपश्रेणी के साथ पढ़ते हैं, और फिर संबंधित चित्रों को संबंधित चित्रों को असाइन करते हैं।
ASP.NET द्वारा grafted, पृष्ठ लेआउट में, अपने प्राकृतिक रूप में घटक दृष्टिकोण का उपयोग न करें। इसका मतलब है कि प्रत्येक घटक के लिए न्यूनतम पैरामीटर है, जो व्यवहार में इस तथ्य की ओर जाता है कि प्रत्येक घटक उपयोगकर्ता को पढ़ता है, उसके अधिकारों की जांच करता है, उसकी निजी सेटिंग्स को पढ़ता है। अनुरोध के ठीक समय के लिए एक सिस्टम संदर्भ मान्य करें, जहां, आवश्यकतानुसार, सभी आवश्यक जानकारी एकत्र की जाती है और ठीक 1 बार पढ़ा जाता है।
आउटपुटचे पर भरोसा न करें। यह शांत, तेज है, और इसका उपयोग करने की आवश्यकता है - यह सर्वर पर लोड को कम करेगा, लेकिन यह एक रामबाण नहीं है। उदाहरण के लिए, 18 मई, 2010 को 19K पृष्ठ दृश्य थे, जिनमें से 8500 अलग थे (Google विश्लेषिकी के अनुसार)। इसके अलावा, प्रत्येक प्रक्रिया का अपना आउटपुटकैश होता है, जिसका अर्थ है कि मेमोरी की लागत सिस्टम x में सर्वरों की संख्या के अनुपात में होगी। उन मुख्य पृष्ठों के लिए जिनमें कोई पैरामीटर नहीं है, कैशिंग अवधि काफी लंबी (15 मिनट) हो सकती है, और दुर्लभ पृष्ठों के लिए हम 30 सेकंड सेट करते हैं अगर यह लिंक हब पर प्रकाशित होता है। दूसरी ओर, अजाक्स अनुरोध अच्छी तरह से कैश किया गया है - उनके पास इतने सारे पैरामीटर नहीं हैं, वे अक्सर दोहराए जाते हैं, और एक नियम के रूप में उनका परिणाम, HTML पृष्ठ से कम है।
अलग-अलग परियोजनाओं में जटिल भागों को बाहर निकालें। एक विशिष्ट क्लाउड सर्वर बल्कि कमजोर है, लेकिन कई हो सकते हैं। उदाहरण के लिए, हमने एक अलग वेब सेवा में थंबनेल की पीढ़ी को निकाल लिया, जिससे हमें इसे दूसरे सर्वर पर रखने और आयात करते समय चित्रों को डाउनलोड करने की गति में सुधार करने का अवसर मिला।
जो आप अभी नहीं कर सकते हैं उसे बंद करें - अमेज़ॅन एक उत्कृष्ट, तेज, अंतहीन और सस्ता प्रदान करता है (हमारी सेवा की लागत प्रति माह 10 सेंट से कम है) उपकरण कतार (स्रोत कोड नंबर 2 देखें)।
साझा मेमोरी का उपयोग करें। उदाहरण के लिए, चित्र पृष्ठ (http://www.wikipaintings.org/en/giuseppe-arcimboldo/portrait-of-eve-1578) पर हम इस कलाकार द्वारा अन्य चित्र दिखाते हैं जो विभिन्न पृष्ठों के लिए समान हैं। हमारी स्मृति में प्रत्येक कलाकार के लिए चित्रों के बारे में न्यूनतम आवश्यक संक्षिप्त जानकारी रखने के बाद, हमने इस पृष्ठ का पीढ़ी समय 2.5 गुना घटा दिया। आप निश्चित रूप से, वेग का उपयोग कर सकते हैं, लेकिन विंडोज 7 के लिए समर्थन की कमी जिस पर हम विकसित कर रहे हैं वह हमारे लिए एक समस्या बन गई है। हमने अपनी स्वयं की विंडोज़ सेवा लिखी है जिसके साथ वेब एप्लिकेशन रीमोटिंग के माध्यम से संवाद करते हैं। वास्तव में, यह System.Web.Caching.Cache का एक अनुकरणीय दोहराव है लेकिन यह सभी उदाहरणों के लिए समान डेटासेट का समर्थन करता है।

ग्राहक भाग

विभिन्न उपकरणों के साथ अपने आउटपुट का परीक्षण करें - YSlow, Pagespeed , Firebug जैसी उपयोगिताओं आपके सबसे अच्छे दोस्त हैं।
हम सभी को क्लाउडफ्रंट में शिफ्ट कर सकते हैं। जाहिर है - चित्र, थंबनेल, लेकिन हम यह भी लिखते हैं कि 2 सीएसएस फ़ाइलों में इकट्ठे हुए - एक साधारण, 1 - गज़िप। .Gzip एक्सटेंशन महत्वपूर्ण है क्योंकि .gz सफारी समझ में नहीं आता है। इस तकनीक को कोड उदाहरण नंबर 1 में दिखाया गया है।
समय सीमा समाप्त करें - डिफ़ॉल्ट रूप से, S3 ऐसा नहीं करता है (नमूना कोड # 1 देखें)। आप ट्रैफ़िक पर उपयोगकर्ता का समय और पैसा बचाएंगे। इस ऑपरेशन के लिए और s3 पर स्थिर फ़ाइलों को प्रबंधित करने के लिए मैं आमतौर पर क्लाउडबेरी की सलाह देता हूं।
लोडिंग पृष्ठों की गति बढ़ाने के लिए एक महत्वपूर्ण बारीकियों में विभिन्न उप-डोमेन के अनुरोधों का आवंटन था। Http प्रोटोकॉल एक समय में एक सर्वर पर 2 से अधिक अनुरोधों की अनुमति नहीं देता है; भले ही ब्राउज़र 5 अनुरोध करता है, पृष्ठ को 100+ छवियों के साथ लोड करने में 10 सेकंड से अधिक समय लगा। हम छवियों को उप-डोमेन में विभाजित करते हैं और अब, एक अच्छे चैनल के अधीन हैं, वही पृष्ठ 8 गुना तेजी से लोड होता है। ऐसा करने के लिए, क्लाउडफ्रंट में डोमेन का एक सेट बनाएं (हमारे पास अपलोड 0, अपलोड 1, ... अपलोड 8) और छद्म यादृच्छिक तरीके से वांछित का चयन करें। इसके लिए एक अलग डोमेन पंजीकृत करना और भी बेहतर है ताकि कुकीज़ प्रत्येक अनुरोध पर प्रेषित न हों, लेकिन हमने इस व्यामोह पर विचार किया।
पृष्ठ दिखाने के लिए आपको जितनी जानकारी की आवश्यकता है, उससे अधिक डाउनलोड न करें - बाकी सब कुछ बाद में अजाक्स के माध्यम से डाउनलोड किया जा सकता है। पेज जितनी तेज़ी से लोड होता है, उपयोगकर्ता की वफादारी उतनी ही अधिक होती है। मुख्य बात यह है कि डेटा लोड करते समय एक अच्छा और पर्याप्त एनीमेशन बनाना है।

तैनाती की सिफारिशें

हम डेटाबेस के लिए 1 उदाहरण का उपयोग करते हैं, और माइक्रो इंस्टेंस का एक सेट जो लोड संतुलन प्रबंधन के तहत पृष्ठों को प्रस्तुत करता है ( विंडोज सर्वर 2008 R2 कोर को कॉन्फ़िगर करने पर लेख देखें) ।
लोड संतुलन अपने आप में उपयोग करने के लिए बहुत सुविधाजनक है - इसके साथ काम करने के लिए एक जीयूआई है। यह सलाह दी जाती है कि एक सिस्टम स्टेटस पेज प्रदान किया जाए जो अमेज़न 6 से 60 सेकंड (सेट) के अंतराल पर जाँच करेगा। दो (संभवतः अधिक) नकारात्मक परिणामों (टाइमआउट या त्रुटि कोड) के मामले में, उदाहरण "अस्वास्थ्यकर" घोषित किया गया है और अनुरोध अन्य सर्वरों पर जाते हैं। कार्य क्षमता बहाल होने के बाद, इसे फिर से काम में शामिल किया जाता है।
पहले वर्ष के दौरान 1 भार संतुलन मुफ्त प्रदान किया जाता है।
बेकअप बेस एक अलग ईबीएस डिस्क पर दैनिक रूप से किया जाता है। होस्ट सिस्टम या विंडोज़ पर जो कुछ भी होता है, कंट्रोल पैनल का उपयोग करके, आप इस डिस्क को एक वर्चुअल सर्वर से डिस्कनेक्ट कर सकते हैं, इसे एक नए से कनेक्ट कर सकते हैं, टैंक बढ़ा सकते हैं और काम जारी रख सकते हैं। आपात स्थिति के लिए प्रणाली की लचीलापन बढ़ाने के लिए और कदमों के रूप में, आप स्वचालित रूप से इस ड्राइव का स्नैपशॉट बना सकते हैं।

विकास की प्रक्रिया

विकास प्रक्रिया द्वारा कम से कम भूमिका नहीं निभाई गई थी। हमने परियोजना चरण की निश्चित लागत पर भरोसा नहीं किया, हमने हर हफ्ते एक नया स्थिर कार्य संस्करण जारी किया (हालांकि इसमें देरी, भर्ती) थे।
पुनरावृत्ति के दौरान, पूरी टीम 3-4 मुख्य कार्यों के आसपास केंद्रित थी, जिसे हम संतुष्ट होने तक काम करते रहे।
अगले संस्करण के लॉन्च के बाद, वास्तविक जीवन और वास्तविक उपयोगकर्ताओं ने अक्सर समायोजन किया, और 1-2 कार्य अगले परिवर्तन में चले गए।
क्या यह प्रक्रिया योजना के संदर्भ में भयानक है? हालाँकि, यह मानक आउटसोर्सिंग से बहुत बेहतर काम करता है, जहाँ परिणाम के संदर्भ में प्रत्येक कार्य के लिए समय की राशि पूर्व-आबंटित की जाती है। यह प्रेरणा पर भी एक उत्कृष्ट प्रभाव डालता है, दोनों इस तथ्य के संदर्भ में कि कोई दूसरी-दर के कार्य नहीं हैं, और निरंतर रीफैक्टरिंग का समर्थन करता है ताकि भविष्य में परिवर्तन करने के लिए आरामदायक हो।
ग्राहक को खुद को स्वीकार करने दें कि जो चीज अज्ञात है उसका समय और निर्माण बजट नहीं है, लेकिन एक उत्पाद जो कूड़ेदान में नहीं जाएगा और फिर, शायद, आप चुस्त दृष्टिकोण के साथ काम करने में सक्षम होंगे।

निष्कर्ष

सामान्य तौर पर, कमजोर होने के बावजूद, पहली नज़र में, सर्वर और उच्च कीमतों पर, अमेज़ॅन ने खुद को एक विश्वसनीय मंच के रूप में स्थापित किया है जो "उज्ज्वल भविष्य" के लिए तैयार परियोजनाओं को बनाने में मदद करता है, और मैं निश्चित रूप से अन्य क्लाउड-आधारित दृष्टिकोणों का उपयोग करने की सिफारिश करूंगा।
यदि आप थोड़ा काम करने के लिए तैयार हैं, तो आप हमेशा पैसे बचाने और अपनी होस्टिंग लागत को नियमित सर्वर की लागत के स्तर तक लाने का अवसर ले सकते हैं।

उपयोगी लिंक

1. S3 के साथ काम करें
2. SQS के साथ काम करें
3. माइक्रो इनसटेंस के लिए विंडोज सर्वर 2008 आर 2 कोर को कॉन्फ़िगर करें
4. SQL सर्वर - अनुप्रयोग प्रदर्शन का अनुकूलन करने के लिए छिपे हुए डेटा को खोलना
5. स्टैकओवरफ़्लो से वेब अनुप्रयोगों के लिए मिनी प्रोफाइलर