🙇🏼 🏑 🐋 CURL अनुरोधों में जावास्क्रिप्ट कुकीज़ का एकीकरण 🤽 🎏 🐮

इस लेख में मैं एक असामान्य समस्या के बारे में बात करूंगा जो मुझे एक बार अपनी गतिविधि की प्रकृति के कारण सामना करना पड़ा था। चेतावनी: यह लेख शुरुआती लोगों के लिए नहीं है। यह माना जाता है कि पाठक को पहले से ही वेब प्रोग्रामिंग में अनुभव है और यह PHP भाषा, CURL लाइब्रेरी और HTTP की मूल बातें से परिचित है।

आइए समस्या के विवरण पर जाएं।
मुझे प्राधिकरण के अलावा, कई चरणों से कुछ प्रक्रिया को स्वचालित करने के लिए एक साइट के लिए एक बॉट स्क्रिप्ट लिखने की आवश्यकता थी। ऐसा काम था, पहली नज़र में, कुछ खास नहीं। हालाँकि, पहले तो ऐसा था। क्योंकि साइट पर प्राधिकरण का उपयोग किया गया था और कुकीज़ सक्रिय रूप से उपयोग किए गए थे, यह CURL का उपयोग करने का निर्णय लिया गया था। मैंने धीरे-धीरे साइट सर्वर पर HTTP अनुरोधों को सूँघा और उन्हें अपनी स्क्रिप्ट में निभाया। प्रक्रिया, जैसा कि वे कहते हैं, चल रहा था ...। मुसीबतें उस समय शुरू हुईं, जब सर्वर ने मेरे लिए पूरी तरह से अप्रत्याशित परिणाम देने से इनकार कर दिया। इसने मुझे स्तूप की स्थिति में पहुंचा दिया, जिसमें मैं "कृत्रिम" और "प्राकृतिक" (ब्राउज़र) अनुरोधों की तुलना करने के लिए निरंतर लंबे समय तक रहा, कम से कम कुछ विसंगति को खोजने की उम्मीद में फिर से अनुरोध करता हूं। मुझे एहसास होने में कई घंटे बीत गए कि मैं अपना समय बर्बाद कर रहा हूं।

और फिर मैंने अपना ध्यान तथाकथित जावास्क्रिप्ट (या गैर-HTTP) कुकीज़ की ओर दिया। बेशक, CURL उनकी उपस्थिति को ट्रैक नहीं कर सका और तदनुसार, उन्हें अपने प्रश्नों में शामिल नहीं कर सका। लेकिन सर्वर को जावास्क्रिप्ट कुकीज़ की जांच क्यों करनी चाहिए? अच्छा सवाल है, एक और समय वह मुझे निश्चित रूप से दिलचस्पी देगा, लेकिन उस समय मुझे अन्य चिंताएं थीं।

आगे देखते हुए, मैं कहूंगा कि मेरा अनुमान सही था। सर्वर ने वास्तव में जेएस कुकीज़ की जांच की, और केवल उस दुर्व्यवहारपूर्ण कदम पर। मुझे नहीं पता कि यह किस उद्देश्य से किया गया था। इसके अलावा, मुझे यकीन नहीं है कि यह लक्ष्य बॉट्स के खिलाफ की रक्षा करना था। जैसा कि कहा जाता है, किसी और की आत्मा (सर्वर) अंधेरा है।

इसलिए, मुझे निम्नलिखित दो समस्याओं को हल करना था:

सर्वर की प्रतिक्रिया को प्रभावित करने वाली "महत्वपूर्ण" जावास्क्रिप्ट कुकीज़ खोजें;
CURL अनुरोधों में इन कुकीज़ को सम्मिलित करने का एक तरीका खोजें।

पहले कार्य के लिए, सिद्धांत रूप में, मेरे लिए सब कुछ स्पष्ट था, किसी भी मामले में, मैंने पहले से ही कार्रवाई की अनुमानित योजना की कल्पना की थी। इसलिए मैंने दूसरे के साथ तुरंत शुरू करने का निर्णय लिया: CURL अनुरोध में "मेरे" कुकीज़ को जोड़ने के लिए एक टूल खोजने के लिए, उन लोगों के अलावा जो स्वचालित रूप से वहां दिखाई देते हैं, CURLOPT_COOKIEFILE विकल्प द्वारा निर्दिष्ट फ़ाइल से।

पहली बात जो मेरे दिमाग में आई वह थी आइडिया: कुकुर पैरामीटर से बना एक स्ट्रिंग के साथ CURLOPT_COOKIE विकल्प को सक्षम करें। कुछ इस तरह:

curl_setopt($hc, CURLOPT_COOKIE, "name1=value1; name2=value2; ...");

इसलिए मैंने किया: मैंने इस लाइन को कोड में जोड़ा ... और बहुत जल्द मुझे यकीन हो गया कि यह काम नहीं किया। बल्कि, यह काम करता है, लेकिन बिल्कुल नहीं जैसा मैं चाहता था। भेजे गए HTTP हेडर में केवल इस विकल्प द्वारा जोड़े गए कुकीज़ होते हैं, लेकिन CURLOPT_COOKIEFILE फ़ाइल से कुकीज़ गायब हो गईं (वे हेडर से गायब हो गईं, फ़ाइल से नहीं)। यानी कुकी संग्रहण फ़ाइल की सामग्री को अनदेखा कर दिया गया था। एक सरल ~~और बेकार~~ निष्कर्ष इस प्रकार है: CURLOPT_COOKIE और CURLOPT_COOKIEFILE / CURLOPT_COOKIEJAR विकल्पों का एक साथ उपयोग नहीं किया जा सकता है।

संक्षेप में, समस्या को हल करने के लिए जल्दी विफल रहा। इंटरनेट पर तैयार समाधानों की खोज से भी कुछ नहीं मिला। शायद मैं बुरी तरह से देख रहा था, लेकिन मुझे इस विषय पर सभी मिल सकता है यह सवाल स्टैकऑवरफ्लो मंच पर पूछा गया था, और, जाहिर है, अनुत्तरित रहा।

इस बीच, काम पूरा करने की समय सीमा एक करीबी के लिए आ रही थी, ग्राहक ने स्पष्टीकरण की मांग की, और, जैसा कि किस्मत में होगा, मेरा पूरा वाक्पटु कहीं गायब हो गया। फिर किसी कारण से मुझे एक सोवियत कॉमेडी से कैच वाक्यांश याद आया: "या तो मैं उसे रजिस्ट्री कार्यालय में ले जाऊं, या वह मुझे अभियोजक के पास ले जाए।" न तो रजिस्ट्री कार्यालय को, न ही अभियोजक को, मैं नहीं चाहता था। मैं वास्तव में छिपना चाहता था और कहीं भूल गया था ... लेकिन मुझे समस्याओं को ठीक करने के लिए एक अलग तरीका चुनना था।

उस समय तक, मैं पहले से ही दो समाधान देख चुका था:

कुकीज़ के स्वचालित प्रसंस्करण के संदर्भ में CURL की सेवाओं को मना कर दें और अपने लिए यह "काला काम" लें, अर्थात् प्रतिक्रिया हेडर से कुकीज़ को पार्स करें, उन्हें सहेजें, और अनुरोधों के साथ संचारित करें। यह थोड़ा डरावना लगता है, लेकिन यह आपको कुकीज़ पर पूरा नियंत्रण देता है।
कुकीज़ की ऑटो प्रोसेसिंग छोड़ें, लेकिन कुकी फ़ाइल में "अपने" (कस्टम) पैरामीटर डालने की क्षमता जोड़ें। इसके अलावा, संभावना सुखद नहीं है, क्योंकि इसमें कुकी फ़ाइल का मैन्युअल संपादन शामिल है।

कुछ हिचकिचाहट के बाद, दूसरा विकल्प चुना गया था, क्योंकि मुझे इसे लागू करना आसान लग रहा था। इसके अलावा, मुझे लंबे समय से नेटस्केप कुकी फ़ाइल प्रारूप में दिलचस्पी है, लेकिन इसे बेहतर तरीके से जानने का कोई कारण नहीं था। और यह कारण दिखाई दिया।
इस प्रारूप की जानकारी खोजने में बहुत समय नहीं लगा। Google जारी करने के पहले पृष्ठ से, मैं कार्यालय में पहुंच गया। CURL की साइट, इस लाइब्रेरी के निर्माता के साथ उपयोगकर्ताओं के पत्राचार के संग्रह में, जहां उसने पाया कि वह क्या देख रहा था ।

फ़ाइल प्रारूप काफी सरल निकला - प्रत्येक पंक्ति में 7 फ़ील्ड (विशेषताएँ), टैब द्वारा अलग किए गए और इस क्रम में जा रहे हैं:

डोमेन
tailmatch
पथ
सुरक्षित
समय सीमा समाप्त
नाम
मूल्य

इन क्षेत्रों का अर्थ काफी स्पष्ट है। मैं केवल यह ध्यान देता हूं कि साइट के डोमेन नाम के सटीक मिलान का ध्वज टेलमैच है।

अब जब फ़ाइल प्रारूप ज्ञात था, बाकी पहले से ही एक तकनीकी मामला था।
परिणामस्वरूप, मैंने एक छोटा वर्ग CookiejarEdit लिखा, जिसका स्रोत कोड मैं यहाँ उद्धृत करता हूं:

 <?php class CookiejarEdit { protected $sFname= false; //   cookies protected $aPrefix= array( //      '', // #0: domain 'FALSE', // #1: tailmatch (   ) '/', // #2: path 'FALSE', // #3: secure (https-) ); protected $sPrefix= ''; //      cookie function __construct($sFn, $sDomain='', $aXtra=0) { if (!$sFn) return; $this->sFname= $sFn; $this->setPrefix($sDomain, $aXtra); } function __clone() { $this->setPrefix(); } /**** ** /    cookie: ** : ** 1) $sDomain -   'domain' ** 2) $aXtra -   -  : ** $aXtra['tailmatch'] -   'tailmatch' ** $aXtra['path'] -   'path' ** $aXtra['secure'] -   'secure' */ function setPrefix($sDomain, $aXtra=0) { if ($sDomain) $this->aPrefix[0]= $sDomain; if (is_array($aXtra)) { if (isset($aXtra['tailmatch'])) $this->aPrefix[1]= $aXtra['tailmatch']? 'TRUE': 'FALSE'; if (isset($aXtra['path'])) $this->aPrefix[2]= $aXtra['path']; if (isset($aXtra['secure'])) $this->aPrefix[3]= $aXtra['secure']? 'TRUE': 'FALSE'; } if ($this->aPrefix[0]) $this->sPrefix= implode("\t", $this->aPrefix). "\t"; } /**** **    cookies: */ function export() { return ($this->sFname)? file_get_contents($this->sFname) : false; } /**** **    cookies: */ function import($sCont) { if (!$sCont || strlen($sCont)<10) return false; file_put_contents($this->sFname, $sCont); return true; } /**** ** //  /  cookies: ** : ** 1) $aFields -      cookie ** $aFields[0] -  'name' ( ) ** $aFields[1] -  'value' ( ) ** $aFields[2] -      **  : ** 1) false -     ** 2) true -     ** 3) string -    /,    */ function setCookie($aFields) { if (!$this->sFname || !$this->sPrefix) return false; if (!is_array($aFields) || !($n_arr= count($aFields))) return false; $name= $aFields[0]; $cont= file_exists($this->sFname)? file_get_contents($this->sFname): ''; $cr= (strpos($cont, "\r\n") !== false)? "\r\n" : "\n"; $a_rows= explode($cr, trim($cont, $cr)); $i_row= -1; foreach ($a_rows as $i=> $row) { if (strpos($row, "\t".$name."\t") === false) continue; if (strpos($row, $this->sPrefix) !== 0) continue; $i_row= $i; break; } $ret= true; if ($n_arr> 1) { // add/modify: $val= $aFields[1]; $life= ($n_arr> 2 && $aFields[1]>= 0)? $aFields[1] : 1; if ($i_row<0) $i_row= count($a_rows); $n_exp= ($life> 0)? (time()+ $life* 24* 60* 60) : 0; $a_rows[$i_row]= $ret= $this->sPrefix. implode("\t", array($n_exp, $name, $val)); } else if ($i_row>= 0) { // remove: unset($a_rows[$i_row]); } file_put_contents($this->sFname, implode($cr, $a_rows).$cr); return $ret; } /**** ** /    cookies: */ function addCookie($sName, $sVal, $nLife=0) { return $this->setCookie(array($sName, $sVal, $nLife)); } /**** **     cookies: */ function removeCookie($sName) { return $this->setCookie(array($sName)); } } ?>

__Clone (), निर्यात (), आयात () विधियों को "शुद्ध रूप से सजाने के लिए" कोड जोड़ा गया है। ईमानदारी से, मुझे उनमें बहुत समझदारी नहीं दिख रही है, साथ ही साथ सेटपिरिफिक्स मेथड के लिए अतिरिक्त तर्क $ aXtra, जो मैंने सिर्फ मामले में जोड़ा है (हालांकि IMHO, इसके लिए आवश्यकता परिभाषा द्वारा नहीं पैदा हो सकती है)। किसी भी स्थिति में, कोड काम कर रहा है और उपयोग करने के लिए तैयार है (PHP> = 5.0)।
मैं मूल विचारों का ढोंग नहीं करता और इस संभावना को बाहर नहीं करता कि यह एक और "बाइक" है। शायद इसी तरह और यहां तक कि सरल समाधान लंबे समय से मौजूद हैं। फिर भी, मेरी "साइकिल" ने मेरी मदद की और मुझे खुशी होगी अगर यह किसी और की मदद करे।

तो, कुकीज़ के साथ "उन्नत" कार्य के लिए उपकरण तैयार था। लेकिन वह मेरे कारनामों का अंत नहीं था। अभी भी उन्हीं "महत्वपूर्ण" जेएस कुकीज़ को ट्रैक करना आवश्यक था, यह समझने के लिए कि उन्हें क्या मान सौंपा गया था और बहुत कुछ। लेकिन वह एक और कहानी है। मैं शायद इसे समाप्त कर दूंगा। आपका ध्यान देने के लिए धन्यवाद।

पुनश्च:
लेख के पाठ को एक बार फिर से पढ़ने के बाद, मुझे एहसास हुआ कि उसके पास अभी भी "वास्तविक जीवन का उदाहरण" नहीं है। यह अच्छा होगा, मैंने सोचा, कुछ साइट के उदाहरण पर एक छोटे से प्रदर्शन की व्यवस्था करना। किसी कारण से, मैं उस साइट का उपयोग नहीं कर सका जिसके साथ मैंने काम किया था। इसलिए, उसके लिए प्रतिस्थापन खोजने के लिए आवश्यक था: कुछ प्रसिद्ध साइट जिसे प्राधिकरण की आवश्यकता नहीं है, जहां कम से कम किसी तरह जावास्क्रिप्ट सर्वर कुकीज़ का उपयोग किया जाता है। मेरे आश्चर्य और खुशी के लिए, ऐसी साइट बहुत जल्दी मिल गई: मेरे बुकमार्क में। यह प्रसिद्ध यैंडेक्स कैटलॉग, फ्रीलांस श्रेणी (जो मेरे सबसे करीब है) है।

पहले यह पृष्ठ इस तरह दिखता है:

लेकिन अगर आप सेटिंग में जाते हैं , तो वहां "संख्या के साथ मानक" चुनें:

और कैटलॉग पेज पर लौटें, फिर हम "अद्भुत" प्रभाव प्राप्त करेंगे: पृष्ठ से पूर्वावलोकन गायब हो जाएगा और केवल "शुष्क" नंबर और पाठ रहेगा:

आइए इस निर्देशिका के पहले पृष्ठ को थंबनेल के बिना डाउनलोड करने के लिए एक सरल बॉट लिखने का प्रयास करें। मैं समझता हूं कि यह बाहर से कितना बेवकूफ दिखता है: पृष्ठ की उपस्थिति को बदलने के लिए सिर्फ एक बॉट लिखने के लिए। लेकिन यह मत भूलो कि यह सिर्फ एक उदाहरण है। आइए कल्पना करें कि थंबनेल के बिना एक पृष्ठ प्राप्त करना हमारी सबसे अधिक पोषित इच्छा है)।

शुरू करने के लिए, हम एक टोही कार्रवाई करेंगे। सेटिंग बदलने के बाद निर्देशिका पृष्ठ के यूआरएल पर ध्यान दें: यह नहीं बदला है। यह सच है, "लाइन? Rnd = xxx" को इसके साथ जोड़ा गया था, लेकिन यह, जाहिरा तौर पर, ब्राउज़र को केवल कैश से पेज नहीं लेने के लिए एक संकेत है। इससे हम निष्कर्ष निकाल सकते हैं कि सेटिंग्स को प्रेषित और संग्रहीत किया जाता है, सबसे अधिक संभावना कुकीज़ के माध्यम से।

आइए जानने की कोशिश करते हैं कि आखिर ऐसा कैसे होता है। लाइव HTTP हेडर्स जैसा एक उपयोगी टूल हमें इसमें मदद करेगा:

यह फ़ायरफ़ॉक्स एक्सटेंशन आपको कुकीज़ सहित ब्राउज़र में आने वाले सभी आउटगोइंग ट्रैफ़िक को ट्रैक करने की अनुमति देता है, जिसके माध्यम से हमारे उदाहरण में सेटिंग्स संग्रहीत की जाती हैं। ऐसा होता है, जाहिर है, "सहेजें" बटन पर क्लिक करने और कैटलॉग पृष्ठ पर जाने के बाद।

लाइव HTTP हेडर्स स्निफ़र को सक्षम करने के बाद, सेटिंग पृष्ठ पर वापस जाएं। फिर से "संख्या के साथ मानक" आइटम का चयन करें और "सहेजें" बटन पर क्लिक करें। अब हम अपने स्निफर कैच को देखें। हम सूची पृष्ठ अनुरोध के विवरण में रुचि रखते हैं। वे मेरे लिए इस तरह दिखते हैं:

 GET / yca / cat / Employment / Freelance /? Rnd = 191 HTTP / 1.1
 होस्ट: yaca.yandex.ru
 उपयोगकर्ता-एजेंट: ...
 स्वीकार करें: टेक्स्ट / html, एप्लिकेशन / xhtml + xml, एप्लीकेशन / xml; q = 0.9, * / *; q / =
 स्वीकार-भाषा: आरयू- ru, ru; q = 0.8, en-us; q = 0.5, en; q = 0.3
 स्वीकार-एनकोडिंग: गज़िप, अपस्फीति
 स्वीकार-सारसेट: विंडोज़ -१२५१, यूटीएफ-;; q = ०. windows, *; q = ०. windows
 कीप-अलाइव: 115
 कनेक्शन: जीवित रखें
 रेफर: http://yaca.yandex.ru/setup.xml
 कुकी: yandexuid = 796954901281541279;  fuid01 = 4c62c49f04c00e82.pQ2hPKLWAnitiiTOBnW-nvOhiFssICTMfcKaMv0ZeTsFKaxVHOYxAPA2AGRsdF1qi3rm7fAKk77gJevuaNmhtnNUx_k0ykECc8bRJv3dUadZ_YDF1QLDZddTzYP_ZfOs;  my = YwA =;  L = eEAcXVFJR252Q0ADVkt9BWwwmmyyyhhxBkBYAwQaYmIRBgo6Ciw9ZggRFwUmNQwcw5VwQvVD42OjAPCFFmFfQQ==।  yp = 1636215158.sp;  yabs-frequency = / 3 / UOW2AQmAGyle0Ici2au0 /;  yaca_view = num

यहाँ टुकड़ा "yaca_view = num" तुरंत स्पष्ट होता है। सबसे अधिक संभावना है, यह हमारा वांछित कुकी पैरामीटर है। लेकिन यह कहाँ स्थापित है? किसी भी स्थिति में, सर्वर प्रतिक्रिया हेडर में नहीं, क्योंकि यह पैरामीटर वहां नहीं पाया जाता है। फिर यह मान लेना तर्कसंगत है कि यह एक जावास्क्रिप्ट कुकी है और इसका मतलब है कि यह सेटिंग्स पृष्ठ ("setup.xml") के जावास्क्रिप्ट में कहीं स्थापित है। आइए इस पृष्ठ के पाठ में इसे खोजने का प्रयास करें। तो यह है। यहाँ setup.xml फ़ाइल से पंक्ति है:

 $.cookie('yaca_view', $('input[name="yaca_view"]:checked' ).val());

जाहिर है, पैरामीटर "yaca_view" समान नाम के फार्म तत्व से लिया गया मूल्य के साथ यहां सेट किया जा रहा है (हमारे मामले में, यह मान 'संख्या' है)।

इसलिए, हमें पता चला कि पूर्वावलोकन के बिना कैटलॉग पेज को देखने के लिए, आपको 'yaca_view' और मान 'num' नाम के साथ एक कुकी पैरामीटर को सर्वर से पास करना होगा। अब जब हमारे पास CURL अनुरोधों के लिए कुकीज़ जोड़ने का एक उपकरण है, तो हम आसानी से एक बॉट स्क्रिप्ट लिख सकते हैं। यहाँ कुछ टिप्पणियों के साथ उसका कोड है:

 <?php require_once "cookiejaredit.inc"; if (!function_exists('curl_setopt_array')) { function curl_setopt_array(&$hc, $a_opts) { foreach ($a_opts as $name=> $val) if (!curl_setopt($hc, $name, $val)) return false; return true; } } /**** **     CURL: ** : ** 1) $aOpts -    CURL: ** 2) $sUrl - URL  ** 3) $sUrlRef - URL  **  : ** 1) false -    ** 2) string -   ,   */ function getByCurl($aOpts, $sUrl, $sUrlRef='') { $hc= curl_init(); curl_setopt_array($hc, $aOpts); curl_setopt($hc, CURLOPT_URL, $sUrl); curl_setopt($hc, CURLOPT_REFERER, $sUrlRef); $cont= curl_exec($hc); $b_ok= curl_errno($hc)==0 && curl_getinfo($hc, CURLINFO_HTTP_CODE)==200; echo "\nSent HTTP Header:\n". curl_getinfo($hc, CURLINFO_HEADER_OUT). "Content Length: ".strlen($cont)."\n\n"; curl_close($hc); return $b_ok? $cont : false; } //  ()  cookies: $fn_cook= $_SERVER['DOCUMENT_ROOT'].'/cookiejar-tmp.txt'; //    CURL: $a_curl_opts= array( CURLOPT_NOBODY => 0, CURLOPT_RETURNTRANSFER => 1, CURLOPT_CONNECTTIMEOUT => 10, CURLOPT_TIMEOUT => 15, CURLOPT_USERAGENT => 'Mozilla/5.0 Gecko/20110920 Firefox/3.6.23', CURLINFO_HEADER_OUT => true, CURLOPT_COOKIEFILE => $fn_cook, CURLOPT_COOKIEJAR => $fn_cook, ); define('URL0', 'http://yaca.yandex.ru/yca/cat/Employment/Freelance/'); define('URL1', 'http://yaca.yandex.ru/setup.xml'); define('URL2', 'http://yaca.yandex.ru/yca/cat/Employment/Freelance/?rnd='); define('FN_RESULT', 'result.htm'); echo '<h3>Trace Log:</h3><pre>'; $cookedit= new CookiejarEdit($fn_cook, 'yaca.yandex.ru'); //   : getByCurl($a_curl_opts, URL1, URL0); //  JS cookie-: $rec= $cookedit->addCookie('yaca_view', 'num'); echo "addCookie:\n". ($rec? "$rec\n" : "Fail\n"); //   : $cont= getByCurl($a_curl_opts, URL2. rand(0,999), URL1); echo '</pre> <hr><h3>Result: '; if ($cont) { file_put_contents(FN_RESULT, $cont); echo 'OK</h3><a href="'.FN_RESULT.'" target="_blank">Result page</a>'; } else echo 'Fail</h3>'; ?>

अब वास्तव में सब कुछ। आपके ध्यान के लिए फिर से धन्यवाद, खासकर उन लोगों के लिए जो अंत तक पढ़ चुके हैं)।

CURL अनुरोधों में जावास्क्रिप्ट कुकीज़ का एकीकरण

More articles: