🧘 🌔 👴 LXML - HTML पार्सिंग के साथ एन्कोडिंग समस्याएँ 🚉 🛂 🧗🏾

यह पोस्ट सभी अजगर - सांकेतिक शब्दों की शाश्वत समस्या के लिए समर्पित है। हाल ही में, मुझे एक पत्र मिला जिसमें मेरे दोस्त ने शिकायत की कि उसे कार्यक्रम में फार्म की पंक्तियाँ मिलीं:

u'\xd0\x9a\xd1\x83\xd1\x80\xd1\x83\xd0\xbc\xd0\xbe\xd1\x87'

क्या आपने देखा है कि कुछ गलत है? और यहां मैं हूं। लाइनें यूनिकोड की तरह हैं, लेकिन उनके अंदर यूएफ -8 एनकोडेड बाइट्स हैं। यहाँ कुछ गड़बड़ है। आगे की समझ और ऐसी स्क्रिप्ट की मांग करना जो इसे उत्पन्न करता है, यह स्पष्ट हो जाता है कि डेटा वेब से लिया गया है। lxml.html माध्यम से काफी सामान्य तरीके से और फिर पार्सिंग के लिए lxml.html में lxml.html किया गया। चूंकि urllib केवल बाइट स्ट्रिंग्स के साथ काम करता है, इसलिए वह उन्हें यूनिकोड में नहीं बदल सकता है, जिसका अर्थ है कि lxml को दोष देना है।

सामान्य तौर पर, lxml बहुत ही शांत पुस्तकालय है - दोनों तेज और कार्यात्मक, और ElementTree तहत इंटरफ़ेस की नकल कर सकते हैं और ElementTree के साथ बातचीत कर सकते हैं। यह लंबे समय से pythonists के साथ लोकप्रिय है जब आपको किसी तरह आसानी से xml साथ काम करने की आवश्यकता होती है।

लेकिन यहां कुछ अलग मामला है। यह html parser का उपयोग करता है। और यह उस में है कि ये अप्रिय मेटामॉर्फोसॉर्स स्ट्रिंग्स के साथ होते हैं।

मैंने यह समझने का फैसला किया कि मामला क्या है और इस व्यवहार को कैसे दूर किया जाए।

आरंभ करने के लिए, मैं yandex.ru पर गया और देखा कि वहां किस तरह का html दिया गया है। Utf8 सामग्री एन्कोडिंग। क्या तुरंत मेरी आंख पकड़ा एक एन्कोडिंग घोषणा की कमी थी। यह आवश्यक नहीं है, लेकिन यह अभी भी काफी बार उपयोग किया जाता है। एक समान HTML बनाकर:

data = """<html>
<head>
</head>
<body> </body>
</html>"""
html = lxml.html.document_fromstring(data)

और इसे lxml.html में lxml.html , मुझे अपेक्षित परिणाम प्राप्त हुए:

>>> s
u'\xd0\x9f\xd1\x80\xd0\xb8\xd0\xb2\xd0\xb5\xd1\x82 \xd0\xbc\xd0\xb8\xd1\x80'
>>> print s
ÐŸÑ€Ð¸Ð²ÐµÑ‚ Ð¼

s - यह बिल्कुल "हेल्लो वर्ल्ड" की लाइन है, जिसे xpath के माध्यम से फाड़ा गया है। जैसा कि आप देख सकते हैं, यह डिकोड नहीं किया गया है। द्वारा और बड़े पैमाने पर, इस समस्या को मौके पर हल किया जा सकता है। इस तरह के एक विशेष कोडेक कच्चे-यूनिकोड-एस्केप हैं, जो इस तरह की लाइन से एक बाइट बनाएंगे, लेकिन रूपांतरण के बिना भी:

>>> print s.encode('raw-unicode-escape')

लेकिन ऐसा निर्णय बुरा है। हमें किसी तरह से lxml.html गैर-ASCII वर्णों का मजाक नहीं बनाना चाहिए।

यदि मैं अपने घृणित मेटा-हेडर html में एन्कोडिंग निर्दिष्ट करता हूं तो क्या होगा?

<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
</head>

<body> </body>
</html>

सब कुछ तुरंत जगह में गिर जाता है:

>>> print s

निश्चित रूप से, http हेडर से एन्कोडिंग के बारे में जानकारी लेना अधिक तर्कसंगत होगा, लेकिन lxml.html के लिए प्रोटोकॉल जिसके द्वारा रिडल आया था और उस पर भरोसा नहीं किया जा सकता है।

इसे हल करने का एक और तरीका है lxml.html इनपुट को बाइट स्ट्रिंग नहीं देना है, लेकिन एक यूनिकोड (जब तक कि आप खुद को एन्कोडिंग नहीं जानते):

>>> html = lxml.html.document_fromstring(data.decode('utf-8'))
...
>>> print s

मेरी राय में, अगर lxml.html "हर कीमत पर जीवित रहने" की कोशिश करता है और सामग्री को खराब करता है, तो यह अधिक सही होगा, लेकिन यह स्पष्ट रूप से सूचित करने के लिए कि एन्कोडिंग सेट नहीं है - जिस तरह यह पार्सल xml के मामले में है। लेकिन किसी भी मामले में, वर्कअराउंड हैं।

सतर्क रहें।

LXML - HTML पार्सिंग के साथ एन्कोडिंग समस्याएँ

More articles: