अजीब Googlebot व्यवहार

हाल ही में, Google वेबमास्टर टूल्स में जाकर, मैंने अपनी साइट पर "ट्रांज़िशन फेल" जैसी त्रुटियों की संख्या में वृद्धि की सूचना देना शुरू किया, जो कि मेरे मामले में तथाकथित चक्रीय पुनर्निर्देशन के कारण उत्पन्न हुई। ये साइट के उपयोग किए गए "इंजन" की विशेषताएं हैं। लेकिन किसी भी ब्राउज़र में यह त्रुटि दोहराई गई थी, जब हाथों से अनुरोध किया गया था, अर्थात टेलनेट के माध्यम से - कोई विसंगतियां भी नहीं देखी गईं। फिर भी, जीडब्ल्यूटी में त्रुटियां बार-बार सामने आती रहीं, जो मेरी साइट के एक ही यूआरएल की ओर इशारा करती हैं और उनके मात्र अस्तित्व से नाराज हैं। मुझे अपना सिर ठंडा करना पड़ा, लेकिन फिर भी समस्या की तह तक पहुंचने में कामयाब रहा।

तो, साइट पर एक टैग क्लाउड है जो फ़ॉर्म के लिंक उत्पन्न करता है: / ब्लॉग / टैग / टैग_नाम /। चूंकि टैग उपयोगकर्ता-परिभाषित हैं, इसलिए उनमें लगभग कोई भी UTF-8 वर्ण हो सकता है। इसके अलावा, ऐसे पृष्ठ (एक निश्चित टैग के विषयों के साथ) समय-समय पर अन्य साइटों / सामाजिक नेटवर्क / मंचों से लिंक डालते हैं। अक्सर, URL एन्कोडिंग विधियों में अंतर के कारण, ये लिंक गैर-विहित पृष्ठों पर ले जाते हैं।

मैं एक उदाहरण दूंगा। एक हैरी पॉटर टैग है, जो एन्कोडेड रूप में हैरी + पॉटर या हैरी% 20 पॉटर हो सकता है। साइट में दोनों विकल्पों के साथ लिंक हो सकते हैं। लेकिन साइट इंजन के लिए, जब REQUEST_URI डिकोड किया जाता है, तो ये लिंक बिल्कुल समान होते हैं, इस कारण डुप्लिकेट पेज होते हैं, जो सर्च इंजन वास्तव में पसंद नहीं करते हैं। इन डुप्लिकेट्स का मुकाबला करने के लिए, जब मैं पृष्ठ को लोड करता हूं, तो मैं URL को डीकोड करता हूं, और फिर इसे PHP फ़ंक्शन urlencode () का उपयोग करके वापस एनकोड करता हूं और मूल रूप से अनुरोध किए गए स्ट्रिंग के साथ तुलना करता हूं। यदि वे मेल नहीं खाते हैं, तो ब्राउज़र को 301 वां कोड दें और उसे सही URL पर भेजें। इस प्रकार, खोज इंजन की आंखों में डुप्लिकेट पृष्ठ "एक साथ छड़ी।"

सब कुछ काफी सरल लग रहा है। Googlebot को इनमें से कुछ लिंक पर क्यों लटका दिया गया था? सौभाग्य से, GWT का एक विशेष कार्य है - "Googlebot के रूप में देखें", जो आपको खोज बॉट की आंखों के माध्यम से साइट को देखने की अनुमति देता है। खैर, कोशिश करते हैं। इस उदाहरण के लिए, मैं एक और टैग लूंगा: "बंदूकें'n'roses"। तो, हम बॉट को पेज / ब्लॉग / टैग / गन'नोरोस / लोड करने के लिए कहते हैं। बॉट हमें जवाब देता है कि सब कुछ ठीक है, जवाब मिला है:

HTTP/1.1 301 Moved Permanently ... Location: /blog/tag/guns%27n%27roses/ 

यह सही है, RFC 3986 के अनुसार सिंगल कोट्स 27% के रूप में एन्कोडेड हैं । ठीक है, अब हम बॉट को URL / ब्लॉग / टैग / बंदूकें% 27n% 27roses / (जैसे कि हम एक सामान्य ब्राउज़र थे) को निर्देशित करने का प्रयास कर रहे हैं। जवाब में, हमें मिलता है:

 HTTP/1.1 301 Moved Permanently ... Location: /blog/tag/guns%27n%27roses/ 

और एक टिप्पणी जो पहली नज़र में बिल्कुल उचित है: "पृष्ठ पर खुद को पुनर्निर्देशित किया गया था। यह एक अंतहीन पुनर्निर्देशन चक्र का कारण बन सकता है। ”

लेकिन सर्वर लॉग में, हम देखते हैं कि वास्तव में अनुरोध फिर से था: स्पष्ट रूप से निर्दिष्ट "GET / ब्लॉग / टैग / बंदूकें / बंदूकें% 27n% 27roses के बजाय" GET / ब्लॉग / टैग / बंदूकें'n'roses / HTTP / 1.1 " / HTTP / 1.1। " यह पता चला है कि Googlebot ने स्थान निर्देश के अर्थ की व्याख्या करने के लिए अपने तरीके से निर्णय लिया, RFC पर थूक दिया, अपने आप को और मेरी साइट को अर्थहीन प्रश्नों के साथ सताया।

आगे के Google ने यह पता लगाने में मदद की कि Google खोज बॉट में निम्नलिखित प्रतीकों के लिए एक विशेष सहानुभूति है:
, @ ~ * ( ) ! $ '
और उन्हें संबंधित कोड में परिवर्तित नहीं करता है
%2C %40 %7E %2A %28 %29 %21 %24 %27
क्या वास्तव में आपकी नसों को खराब कर सकता है और पहले से ही प्रताड़ित वेबमास्टर्स का समय बर्बाद कर सकता है :)