निंबस नोट में पार्सर, या हमने "शुद्ध" HTML की समस्या को कैसे हल किया

निंबस नोट की प्रमुख विशेषताओं में से एक HTML दस्तावेज़ के रूप में नोट्स को सहेजना और / या संपादित करना है। और ये नोट्स ब्राउज़र में या मोबाइल उपकरणों पर बनाए / संपादित किए जाते हैं। फिर उन्हें सर्वर पर भेजा जाता है। और जैसा कि पेशेवर व्यामोह सुझाव देते हैं, आप उपयोगकर्ता से आई जानकारी पर भरोसा नहीं कर सकते। क्योंकि कुछ भी हो सकता है: XSS, एक दस्तावेज जो लेआउट को एक सार कलाकार के सपने में बदल देता है, या कभी भी एक पाठ नहीं होता है। इसलिए, उपयोगकर्ता से प्राप्त डेटा को प्रारंभिक प्रसंस्करण की आवश्यकता होती है। इस लेख में मैं इस समस्या के हमारे समाधान की कुछ विशेषताओं का वर्णन करूंगा।



ऐसा लगता है कि यहाँ जटिल है? बचत करने से पहले कुछ html-purifyer जोड़ें और यह है। हाँ, यह सही है, अगर यह कुछ परिस्थितियों के लिए नहीं किया गया है तो यह किया जा सकता है:

• एक नोट में बहुत सारे पाठ हो सकते हैं (कई मेगाबाइट);
• परिवर्तनों को बचाने के लिए एक साथ अनुरोधों की एक महत्वपूर्ण संख्या अपेक्षित है;
• संरक्षण अनुरोध विभिन्न भाषाओं में लिखे गए विभिन्न भागों से किए जाने की उम्मीद है;
• पाठ को संसाधित करने और सहेजने से पहले, अतिरिक्त जांच संभव है;
• प्रसंस्करण के बाद, आपको नोट की उपस्थिति को मूल के करीब रखने की आवश्यकता है (आदर्श रूप में, उपस्थिति पूरी तरह से नहीं बदलना चाहिए);
• पृष्ठ लेआउट जब एक सहेजे गए नोट को प्रदर्शित करता है तो "पीड़ित" नहीं होना चाहिए;
• iframe का उपयोग करना असंभव है।

पहले तीन बिंदुओं को स्पष्ट रूप से एक समाधान की आवश्यकता होती है जो मुख्य कोड से अलग से काम करता है। चौथा एक कतार का उपयोग करता है (उदाहरण के लिए RabbitMQ) या, इसके विपरीत, उन्हें उपयोग करते समय गैर-तुच्छ समाधान की आवश्यकता होती है।

और अंत में, अंतिम तीन बिंदुओं को लेआउट के गहन प्रसंस्करण की आवश्यकता होती है, इस तथ्य को ध्यान में रखते हुए कि शुरू में यह सबसे अधिक वैध नहीं है ("बाएं" और / या अस्पष्ट टैग, गुण, मान)। उदाहरण के लिए, यदि किसी तत्व की चौड़ाई 100500 पर सेट की जाती है, तो यह मान "अनुमेय" की परिभाषा में नहीं आता है और इसे हटा दिया जाना चाहिए या बदल दिया जाना चाहिए (सेटिंग्स के आधार पर)।

उपरोक्त सभी तर्कों ने इस तथ्य को जन्म दिया कि हमने अपनी बाइक पार्सर / सत्यापनकर्ता लिखने का फैसला किया। जैसा कि भाषा ने अजगर को चुना। कारण यह था कि मुख्य परियोजना इस भाषा में लिखी गई थी और निश्चित रूप से, सौंदर्य संबंधी प्राथमिकताओं ने एक भूमिका निभाई थी।

खरोंच से सब कुछ नहीं लिखने के लिए, मेरे जीवन को आसान बनाने और किसी तरह के हल्के ढांचे का उपयोग करने का निर्णय लिया गया। विकल्प बवंडर पर गिर गया, क्योंकि उसके साथ हमारे पास पहले से ही अनुभव था।

स्केलेबिलिटी विचार के आधार पर, नाज़िनक्स को लोड बैलेंसर के रूप में सिस्टम में जोड़ा गया था। इस तरह की संरचना बस पार्सर उदाहरणों को जोड़कर प्रसंस्करण क्षमता को बढ़ाने के लिए एक काफी विस्तृत श्रृंखला की अनुमति देती है। और पार्सर की प्रतिक्रिया की प्रतीक्षा करने के लिए क्लाइंट का समय आपको अधिकतम प्रतीक्षा समय निर्धारित करने की अनुमति देता है, जो अभी भी उपयोगकर्ताओं के लिए आराम क्षेत्र नहीं छोड़ता है (इससे यह महसूस नहीं होता है कि "सब कुछ लटका हुआ है")।

सबसे पहले, lxml को html parser इंजन के रूप में चुना गया था। एक अच्छा, तेज सी पार्सर। और सब कुछ उसके साथ ठीक होगा, अगर "आश्चर्य" के एक जोड़े के लिए नहीं।

सबसे पहले, इस तरह के एक "महिमा" में काम करने की प्रक्रिया में इस तरह के एक प्रसिद्ध तथ्य दिखाई दिया कि एलएक्सएमएल लाइब्रेरी ने एचटीएमएल-दस्तावेजों की व्याख्या "टूटी हुई" एक्सएमएल-ऐप के रूप में की। यह सुविधा, जिसने पहले चिंता का कारण नहीं था, "बैसाखी" की बढ़ती संख्या का उत्पादन करना शुरू कर दिया। इसलिए, उदाहरण के लिए, lxml ने दृढ़ता से माना कि "" एक एकल टैग है और सही रूप से निम्नलिखित रूपांतरण "=> <span />" किया है।

हालांकि, कोई "बैसाखी" के साथ रख सकता है अगर "दूसरी" बाहर नहीं आया। असली डेटा की एक प्रति पर परीक्षण चलाने के दौरान, पार्सर "सेगमेंटेशन फ़ॉल्ट" के अनुसार दुर्घटनाग्रस्त हो गया। इसका कारण क्या था यह अज्ञात है। क्योंकि "प्रस्थान" लगभग आधे हजार रिकॉर्ड के प्रसंस्करण के बाद होने की गारंटी थी। उनकी सामग्री के बावजूद (तालिका में विभिन्न स्थानों से नमूना बनाया गया था)।

इस प्रकार, "शंकु" की एक निश्चित राशि जमा होने पर, हम "सुंदर सूप", "html5lib" और उनके ऑपरेटिंग बैसाखी के एक समूह पर बस गए।

इस निर्णय के बाद, "यहाँ यह है, खुशी" लगभग प्रतीत होने लगी। और यह खुशी ठीक उस समय तक रही जब तक कि पार्सर द्वारा संसाधित किए गए msn.com पेज ने मेरी आंख को पकड़ नहीं लिया। इस पृष्ठ की उल्लेखनीय विशेषताएं "इनपुट" टैग के लिए "प्रकार" विशेषता का सक्रिय, काल्पनिक उपयोग और "स्थिति: निरपेक्ष" के लिए उनके टाइपसेटर्स का प्यार था। चूंकि समस्या स्थानीयकृत थी, इसलिए इसे हल करना आसान था - कॉन्फ़िगर, सही कोड। और, ज़ाहिर है, पाया गया नाजुक धब्बों को कवर करने वाले परीक्षण लिखें।

अब हम न केवल सारगर्भित हैं कि वेब पर कई पृष्ठों में अमान्य html हैं, लेकिन हम एक नए "आश्चर्य" के आने की प्रतीक्षा कर रहे हैं। हम प्रतीक्षा कर रहे हैं, निवारक उपाय करने की कोशिश कर रहे हैं, और हम जानते हैं कि एक दिन हम उसे देखेंगे, सभी फिल्टर, सभी चालें पारित कर देंगे। हम एक पृष्ठ देखेंगे जो एक अमूर्त कलाकार के बुखार भरे प्रलाप का एक उत्पाद है ...