गो के माध्यम से यूके ई-सरकार को ठीक करें

GOV.UK का समर्थन करने वाले नए गतिशील HTTP राउटर के बारे में प्रकाशनों की एक श्रृंखला में यह पहला संकेत है। यह पत्र हमारे आवेग पर प्रकाश डालता है, हमारे दृढ़ संकल्प की व्याख्या करता है और हमारे अनुभव को सारांशित करता है।

इसने हमें आत्मसमर्पण क्यों किया।

GOV.UK एक अनूठा सरकारी डोमेन है जो एक ही स्थान पर सैकड़ों सरकारी विभागों को सेवाएं और जानकारी प्रदान करता है। यह विशेष रूप से सरल सेवाओं के प्रावधान पर खा रहे विभागों और कॉलेजों की सेना को छिपाने के लिए है। बेशक, मुखौटे के पीछे, GOV.UK एक अखंड विशाल कार्यक्रम नहीं है, लेकिन UNIX की भावना में , एक कार्य करने के लिए डिज़ाइन किए गए छोटे अनुप्रयोगों का समूह है। इन अनुप्रयोगों को एकल वेबसाइट के रूप में प्रस्तुत करने के लिए, हमें उन तकनीकों का एक समूह चाहिए जो उचित सेवाओं के लिए उपयोगकर्ता के अनुरोधों को आगे बढ़ा सकें: एक HTTP राउटर।
जब हमने शुरुआत की थी, तो अक्टूबर 2012 में, पूरे खेत की अग्रिम पंक्ति पर तीन समान रूप से कॉन्फ़िगर किए गए वार्निश उदाहरणों द्वारा रूटिंग कार्य किया गया था। वार्निश सबसे अधिक प्रशंसा के हकदार हैं, लेकिन हम शायद इसकी संभावनाओं की सीमा में आ गए हैं। बेशक, आप वीसीएल ट्यूनिंग स्क्रिप्ट को बिना कंपकंपी के नहीं देख सकते

if (req.url ~ "^/autocomplete(\?.*)?$|^/preload-autocomplete(\?.*)?$|^/sitemap[^/]*.xml(\?.*)?$") { <%= set_backend('search') %> } else if (req.url ~ "^/when-do-the-clocks-change([/?.].*)?$|^/bank-holidays([/?.].*)?$|^/gwyliau-banc([/?.].*)?$") { <%= set_backend('calendars') %> } else if (req.url ~ "^/(<%= @smartanswers.join("|") %>)([/?.].*)?$") { <%= set_backend('smartanswers') %> } else if (req.url ~ "^/child-benefit-tax-calculator([/?.].*)?$") { <%= set_backend('calculators') %> } else if (req.url ~ "^/stylesheets|^/javascripts|^/images|^/templates|^/favicon\.ico(\?.*)?$|^/humans\.txt(\?.*)?$|^/robots\.txt(\?.*)?$|^/fonts|^/google[a-f0-9]{16}\.html(\?.*)?$|^/apple-touch(.*)?\.png$") { <%= set_backend('static') %> } else if (req.url ~ "^/(designprinciples|service-manual|transformation)([/?.].*)?$") { <%= set_backend('designprinciples') %> ... } else { <%= set_backend('frontend') %> } 

यदि उन स्थितियों में नियमित अभिव्यक्तियों के साथ कोई नाराजगी नहीं है, जिनमें से एक जीवन-पीट सिस्टम प्रशासक की आँखें खून डालती हैं, तो इस व्यवस्था में क्या गलत है?
HTTP राऊटर को रीथिंक करने के लिए मजबूर करने वाले मुख्य दुर्भाग्य इस प्रकार हैं:
1. रखरखाव: एक फ़ाइल में सभी मार्गों की सूची को जमा करना टेम्बुरीन के साथ अवांछनीय लगातार shamanistic नृत्यों को मजबूर करता है। जब एप्लिकेशन को उस URL को बदलने की आवश्यकता होती है जिसके लिए वह जिम्मेदार है, तो हमें एप्लिकेशन के साथ VCL स्क्रिप्ट को अपडेट करने के लिए मजबूर किया जाता है, एक ऑपरेशन जिसमें एक निश्चित डॉगी की आवश्यकता होती है। इससे भी बदतर, रहस्यमय वाक्यविन्यास और साइकिल से भरी एक एकल फ़ाइल को अपडेट करने की आवश्यकता किसी भी URL को बदलते समय दृश्य में नए जोखिम लाती है, जो हमें ध्यान से धीमा कर देती है।
2. श्रम उत्पादकता: वार्निश लगातार इसकी विन्यास भाषा के हमारे दुरुपयोग को ध्वस्त करता है, लेकिन उल्लिखित वीसीएल स्क्रिप्ट की अंतिम लाइनें हमें लगातार माइग्रेन का कारण बनाती हैं।
प्रदर्शन किले वास्तव में एक प्रेरणा के रूप में कार्य करते हैं। GOV.UK फ़ेक के पीछे हजारों URLs छिपाता है, और हम वार्निश कॉन्फ़िगरेशन में इस सारे धन को देखने पर आमादा नहीं हैं। एक सिल्वर लाइनिंग है, अधिकांश भाग के लिए यूआरएल के इस होस्ट को केवल दो अनुप्रयोगों, फ्रंटएंड और व्हाइटहॉल द्वारा परोसा जाता है, जो क्रमशः नागरिकों - सामग्री (जैसे ब्राउज़ पृष्ठ ) और सरकारी कॉर्पोरेट प्रकाशन पृष्ठों पर मुख्य बात पेश करते हैं। बदले में, ये अनुप्रयोग, contentAPI के माध्यम से सामग्री प्राप्त करते हैं, एक आंतरिक डेटाबेस इंटरफ़ेस जो GOV.UK के सभी मूल ज्ञान को संग्रहीत करता है। इसलिए, सम्मेलनों की एक स्ट्रिंग के साथ सीटी के बाद मुखौटा के लिए कोई भी अनुरोध VCL पर्दे के पीछे निम्नलिखित अनुरोध उत्पन्न कर सकता है
1. वार्निश -> दृश्यपटल
2. सीमा -> contentAPI ("क्या आपके पास ऐसा कोई पृष्ठ होगा और यह मेरे लिए एक सुलभ प्रारूप में अच्छा होगा")
3. यदि दृश्यपटल सामग्री का स्वामी नहीं है, तो यह 404 देता है और हमारा नगनेक्स वेब सर्वर व्हाइटहॉल एप्लिकेशन के साथ अपनी किस्मत आजमाएगा।
४.व्हीटहॉल -> contentAPI
होश में लाने के लिए? हाँ। यहां तक ​​कि अगर सभी अनुरोधों को जल्दी से संसाधित किया जाता है (और "जल्दी", आपको लगता है कि आपने देखा है कि यह रेल एप्लिकेशन में कुछ तेज नहीं है), हम अभी भी किसी भी व्हाइटहॉल पृष्ठ को वापस करने के लिए 404 या 150ms के लिए कम से कम 200ms के बारे में बात कर रहे हैं। शायद सबसे अधिक कष्टप्रद बात यह है कि व्हाइटहॉल के प्रत्येक सफल अनुरोध के लिए हम 404 को वापस करने वाले एप्लिकेशन सर्वरों से दो अनुरोध करते हैं। प्रत्येक एप्लिकेशन सर्वर में सीमित संख्या में प्रसंस्करण थ्रेड्स होते हैं (हम रूबी एप्लिकेशन के सामने गेंडा डालते हैं), परिणामस्वरूप, जबकि 404 डूमेड अनुरोध निराशा के अंत में जाता है। , किसी अन्य अनुरोध को उसी प्रक्रिया से संसाधित नहीं किया जा सकता है।
कुछ बदलने की जरूरत है।

नए राउटर का प्रोटोटाइप।

फिर, अप्रैल में, मैंने कई दिनों तक यह सोचकर बिताया कि वास्तव में बेहतर राउटर में क्या सुधार होना चाहिए। मैंने गो का इस्तेमाल करने का फैसला किया। भाषा की सरलता और गो संकलक की गारंटी यह हमारे HTTP बुनियादी ढांचे के बुनियादी घटकों के साथ-साथ प्राप्त करने की अनुमति देती है, और अद्भुत नेट / http पैकेज के साथ कई त्वरित प्रयोगों ने मुझे इस समाधान में मजबूत किया है। विशेष रूप से, गो भाषा में लागू किया गया मल्टीटास्किंग मॉडल आई / ओ से बंधा उच्च-प्रदर्शन अनुप्रयोगों को बनाने के लिए हास्यास्पद रूप से सरल बनाता है, जो निश्चित रूप से एक ठीक से निर्मित रूटर होना चाहिए।

ट्री उपसर्ग ट्री उपकरण

पहली बात यह थी कि मार्ग तालिका में प्रविष्टियों को कैसे संग्रहीत किया जाए और कैसे खोजा जाए। GOV.UK में उत्कृष्ट URL हैं जो साइट की तार्किक संरचना को दर्शाते हैं। (उदाहरण के लिए, स्वास्थ्य मंत्रालय का मुख्य पृष्ठ / सरकार / संगठनों / विभाग-स्वास्थ्य पर रहता है, विभागों / संस्थानों की सूची का एक बाल पृष्ठ / सरकार / संगठनों पर रहता है)। URL की ट्री संरचना के कारण और, संक्षेप में, उपसर्ग रूटिंग (चूंकि, उदाहरण के लिए, / सरकार सहित सब कुछ एक अनुप्रयोग द्वारा परोसा जाता है), उपसर्ग ट्री, ट्राइ, एक प्राकृतिक विकल्प बन गया।
गो पर एक उपसर्ग पेड़ को लागू करना बकवास की एक जोड़ी बन गया। परिणाम (जो, इस पत्र में उल्लिखित सब कुछ, जैसे GitHub पर उपलब्ध है ) एक डेटा संरचना थी, जो स्लाइस स्ट्रिंग सरणियों के स्लाइस को प्रतिबिंबित करने में सक्षम थी ([] स्ट्रिंग {"सरकार", "संगठन"}) से एक मनमाना प्रकार (इंटरफ़ेस {}, भाषा बोलना) जाओ)। भाषा में निर्मित परीक्षण समर्थन ने प्रक्रिया को एक विशेष आनंद दिया। इस तथ्य के बावजूद कि यह एक प्रोटोटाइप था, लेखन परीक्षणों में अत्यधिक प्रयास की आवश्यकता नहीं थी, इसलिए ट्राइ पैकेज के 80 लाइनों को डेटा (डेटा-संचालित-परीक्षण, डीडीटी) के साथ परीक्षणों की 200 से अधिक लाइनों में बदल दिया गया।

HTTP सपोर्ट

अगला कदम उपसर्ग पेड़ को एक राउटिंग टेबल के रूप में उपयोग करना था। गो में एक विशिष्ट (अच्छी तरह से डिज़ाइन किया गया) HTTP लाइब्रेरी, नेट / http है, जिसमें हैंडलर या http.Handler सबसे आगे है। Http.Handler का प्रकार एक इंटरफ़ेस है। खेतों की चौड़ाई हमें गो प्रकार प्रणाली की व्याख्या करने और इसमें एक इंटरफ़ेस प्रकार लगाने की अनुमति नहीं देती है, लेकिन यह कहने के लिए वैध होगा: यदि आप अपने प्रकार पर ServeHTTP (ResponseWriter, * अनुरोध) विधि को लागू कर सकते हैं, तो इस प्रकार का उपयोग http.Handler के रूप में किया जा सकता है।
यह त्रिकोणीय पैकेज क्या है। मल्टीप्लेक्स, स्विच के लिए छोटा, Mux, एक शब्द है जिसका उपयोग गो को उस घटक को संदर्भित करने के लिए किया जाता है जो इन अनुरोधों के गुणों (जैसे URL) के आधार पर आगे की प्रक्रिया के लिए अलग-अलग दिशाओं में अनुरोध प्राप्त करता है और रूट करता है। दूसरे शब्दों में, यह एक HTTP राउटर है। चूंकि triemux http.Handler को संतुष्ट करता है, यह एक HTTP राउटर है और इसे गो स्टैंडर्ड लाइब्रेरी से पूर्वनिर्धारित ServeMux के साथ प्रयोग किया जा सकता है। हमारा लेख राउटिंग टेबल ( रीड-राइट लॉक ) के समानांतर सुरक्षा के लिए थोड़ा सुरक्षा जोड़ता है, जो आपको वर्तमान अनुरोधों के रखरखाव को बाधित किए बिना तालिका को गतिशील रूप से अपडेट करने की अनुमति देता है।
भारी http.Handler पैटर्न की भव्यता इस तथ्य से जोड़ दी जाती है कि स्विच (mux) स्वयं पूरी तरह से http.Handler है, जो अन्य http.Handler हैंडलर को ट्रैफ़िक पुनर्निर्देशित करने के तरीके से अधिक कुछ नहीं है। triemux संचालकों के डिजाइन के बारे में धारणा नहीं बनाता है, यह वही है जहां स्विच करना है। यहां, राउटर पैकेज लकड़ी की छत पर आता है।

मार्गों की गतिशील लोडिंग।

वास्तव में पत्र की पहली पंक्तियों में उल्लिखित समस्याओं को हल करने के लिए, हमें कुछ स्टोरहाउस से मार्गों को लोड करना होगा, जिन्हें वे तैनात होने पर अनुप्रयोगों द्वारा अपडेट किया जा सकता है। हम GOV.UK के हुड के नीचे MongoDB के पूर्ण उपयोग में हैं, और राउटर पैकेज मोंगियो डेटाबेस के लिए त्रिकोणीय लिंक है। सिस्टम स्टार्टअप पर रूट को मेमोरी में लोड किया जाता है और अंतर्निहित रिवर्स फैक्ट्री का उपयोग करके ट्रैफ़िक को प्रोसेसिंग इंजन (डेटाबेस में भी परिभाषित) में से एक पर पुनर्निर्देशित किया जाता है। इस व्यवस्था से कई तरह की सुविधाएं मिलती हैं। अर्थात्, हम अनुप्रयोगों को तैनात करते समय गतिशील रूप से मार्गों को लोड कर सकते हैं और रूट तालिका को बिना अनुरोध के छोड़ने के स्थान पर बदल सकते हैं। यदि रूटों को लोड करते समय चीजें गलत हो जाती हैं (उदाहरण के लिए, मोंगो के साथ एक बातचीत काम नहीं करती है), तो हम आसानी से निर्बाध राउटिंग निरंतरता की गारंटी देने वाले एक लंबित पुनर्प्राप्ति प्रक्रिया को पंजीकृत कर सकते हैं।

राउटर किया।

GOV.UK के लिए एक नए राउटर पर काम की शुरुआत तक, गो में लिखे गए मेरे लिए व्यावहारिक रूप से कुछ भी नहीं था। हालाँकि, इस सभी जैज़ को केवल ढाई दिन लगे, और कार्य के परिणाम ने परिमाण के कई आदेशों द्वारा हमारी मौजूदा उत्पादन पाइपलाइन की उत्पादकता को पार कर लिया। (वास्तव में, मैं राउटर की जवाबदेही को माप नहीं सका। सभी तरह से राउटर के पीछे परीक्षण सर्वरों का माप था, और राउटर के रूप में स्वयं राउटर नहीं था। दर असल।)
इसके बाद, मैंने इसे "गो का बेलगाम प्रदर्शन" (यूजीन विग्नर की अनुमति के साथ) कहना शुरू किया। गो एक कॉम्पैक्ट भाषा है जो पूरी तरह से मेरे सिर में फिट होती है, जो कि अधिकांश भाग के लिए मुझे बेहद कम समय में प्रभावी बनने की अनुमति देती है। लेकिन भाषा का आकार इसकी अभिव्यंजना के संबंध में भ्रामक है, मानक पुस्तकालयों की गुणवत्ता और आश्चर्यजनक आसानी जिसके साथ जटिल निकाय सरल भागों (हमारे मामले में, trie -> triemux -> रूटर) से बने हैं।
पूरे विश्वास के साथ कह सकता हूं, मैंने अपने कारनामों से सबसे सुखद संवेदनाएं निकालीं। लेकिन एक कार्य प्रोटोटाइप से युद्ध के गठन तक, रास्ता लंबा नहीं है, खासकर GOV.UK के लोड किए गए घटकों के बारे में। अब मेरे सहयोगियों के पास राष्ट्रीय संसाधन के सामने एक नए राउटर के परीक्षण और तैनाती के लिए और अधिक कठिन काम है।
मूल