Urllib2 / मैकेनाइज करने और इसे ठीक करने के लिए कई सेट-कुकी को चिपकाने में त्रुटि (पायथन के लिए)

कुछ पाठकों ने इस समस्या का सामना किया होगा। जीएई बगट्रैकर में, यह लंबे समय से एक समस्याग्रस्त अंक 3379 के रूप में लटका हुआ है। ऐसा लगता है कि शुरू में समस्या केवल जावा से संबंधित थी, लेकिन अब इसे पायथन (2.7 में कम से कम) में देखा गया है। जावा के लिए त्रुटि विवरण और समाधान पाया जा सकता है, उदाहरण के लिए, वहां , और इस विषय में हम पायथन के बारे में बात करेंगे।

संक्षेप में सार के बारे में। अक्सर साइटें एक समय में एक से अधिक कुकी सेट करने का प्रयास करती हैं। वे अनुरोध के जवाब में कई सेट-कुकी हेडर निर्दिष्ट करके ऐसा करते हैं। इस मामले में, urlfetch (और उसके आधार पर urllib / urllib2) अजीब व्यवहार करता है: इन सभी हेडर को एक में चिपका दिया जाता है और कॉमा द्वारा अलग किया जाता है। मुझे आपको याद दिलाना है कि कॉमा एक्सपायरी क्षेत्रों में भी मौजूद हैं, और कभी-कभी कुकी खुद को महत्व देते हैं, जिससे इस तरह की लाइन को पार्स करना बहुत मुश्किल हो जाता है। और urlib2 और मैकेनाइज्ड से मानक HTTPCookieProcessor इस स्थिति को आसानी से संभाल नहीं सकता है।

इसलिए, यदि आपका प्रोजेक्ट urllib2 या मैकेनाइज में बॉक्स से बाहर कुकीज़ का उपयोग करता है, तो आप निश्चित रूप से इसे उपयुक्त पाएंगे सरल समाधान के बाद।

एक हैंडलर बनाएँ जो समस्याग्रस्त हेडर को HTTPCookieProcessor पर जाने से पहले अलग करता है:

import urllib2, re class SplitCookiesHandler(urllib2.BaseHandler): handler_order = 0 def http_response(self, req, response): headers = response.info().headers for h in headers[:]: matched = re.match("(?i)set-cookie:(.*)\n$", h) if matched is not None: headers.remove(h) for cookie in re.split(",(?= \w+[\w\d]*=)", matched.group(1)): headers.append("set-cookie:" + cookie + "\n") return response 

परिसीमन के रूप में उपयोग की जाने वाली नियमित अभिव्यक्ति गंभीर मामलों में झूठी सकारात्मकता दे सकती है, लेकिन मैंने कभी भी इस तरह के कुकी घटता का सामना नहीं किया है।

यह केवल नए ओपनडायरेक्टर में हमारे हैंडलर को जोड़ने के लिए बना हुआ है (या ऐड_हैंडलर () का उपयोग करके मौजूदा में है):

 import cookielib cj = cookielib.CookieJar() opener = urllib2.build_opener(SplitCookiesHandler(), urllib2.HTTPCookieProcessor(cj)) 

सब कुछ, हम उपयोग करते हैं:

 r = opener.open("http://www.yandex.ru/") 

यदि आप (मेरे जैसा) मैकेनाइज का उपयोग करते हैं, तो बस हर जगह मैकेनाइज्ड के साथ urllib2 को बदलें, और मैकेनाइज के बजाय .build_opener () निम्न निर्माण का उपयोग करना अधिक स्वाभाविक है:

 br = mechanize.Browser() br.add_handler(SplitCookiesHandler())