सही ढंग से अनुक्रमण से साइट दर्पण को बंद करें

नमस्कार,% habrauser%।
आज मैं दिखाऊंगा कि कैसे आपको अनुक्रमणिका से साइट दर्पण को बंद करने की आवश्यकता नहीं है, और इसे सही तरीके से कैसे बंद करें।

प्रागितिहास

मैं हमारे शहर के लिए एक बड़ी कंपनी में एक वेब मास्टर के रूप में काम करता हूं।
हमने अपने उत्पादों के विज्ञापन और बिक्री के लिए ग्राहक के लिए एक साइट बनाई।
क्लाइंट ने .RU ज़ोन में एक डोमेन नाम चुना और साइट ने लगभग एक साल तक सफलतापूर्वक काम किया। वर्तमान में साइट को हमारे साथ आवश्यक रूप से बनाए रखा और संपादित किया गया है।
कुछ समय बाद, ग्राहक साइट के लिए दूसरा डोमेन चाहता था, लेकिन।
उन्होंने स्वतंत्र रूप से "प्रमोटरों के पेशेवर एसईओ-विशेषज्ञ " पाए, जिनकी साइट कुछ अनुरोधों के लिए यांडेक्स जारी करने में पहले स्थान पर थी।
उन्होंने उनके साथ एक समझौता किया, और मासिक ने इस सेओ-डेस्क को काफी मात्रा में पैसा भेजा।
कुछ हफ़्ते के बाद, एसईओ अंततः जाग गए, हमसे संपर्क किया और साइट पर एफ़टीपी का उपयोग किया, साथ ही साथ साइट व्यवस्थापक पैनल से पासवर्ड भी प्राप्त किया।

"अनुकूलन" शुरू किया

यह सब इस तथ्य से शुरू हुआ कि वे PHPShop साइट के इंजन को नहीं समझते थे।
उन्होंने हमें एक पत्र भेजा, हमें बताया गया कि इसे कहाँ संपादित किया जा रहा है, उन्हें जिन टैगों की ज़रूरत है, उन्हें फ़ाइल करें और परिशिष्ट में उन्होंने आधिकारिक दस्तावेज के लिए कुछ लिंक दिए हैं।

साइट को स्वयं डिज़ाइन किया गया है ताकि मुख्य पृष्ठ का लेआउट कंकाल index.tpl फ़ाइल में हो, और शेष आंतरिक पेजों का html कंकाल Shop.tpl फ़ाइल में हो। सामग्री स्वयं डेटाबेस में स्थित है और एक दृश्य संपादक का उपयोग करके व्यवस्थापक पैनल के माध्यम से संपादित की जाती है, या स्रोत HTML के रूप में।

सेश्निकी ने आवश्यकतानुसार लेआउट को ठीक किया, लेकिन मुख्य पृष्ठ पर वे अपने कॉपीराइट विज्ञापन को चिपकाना चाहते थे।
वैसे, समझौता बताता है कि आप उनकी साइट पर इस अनुक्रमित लिंक को नहीं हटा सकते।

वे-ऑप्टिमाइज़र, प्राथमिक व्यवस्थापक पैनल को समझे बिना, साइट को क्रिप्ट्स के साथ अपनी स्क्रिप्ट के साथ crammed कि फ्रेमवर्क के सामान्य संचालन में हस्तक्षेप किया और सामान्य ज्ञान के खिलाफ चले गए। सबसे अहानिकर - उन्होंने स्थैतिक संस्करण को मुख्य बना दिया, और इस स्थैतिक index.html को index.php के बगल में रख दिया।

इसके अलावा, उनकी लिपियों के माध्यम से, हम index.php से index.html पर पुनर्निर्देशित हुए
क्यों? इस तथ्य से आंखें मूंदकर कि सबकुछ व्यवस्थापक पैनल के माध्यम से संपादित किया गया है, आप वेब सर्वर स्तर पर ऐसा रीडायरेक्शन करने के लिए htaccess और mod_rewrite का उपयोग कर सकते हैं कुछ पंक्तियाँ लिखकर और moderphph को जोड़ने के लिए हेडर प्रदर्शित करने के लिए नहीं ...

यह आश्चर्य एक महीने बाद seoshniks द्वारा निकला, जब ग्राहक मुख्य जानकारी को बदलना चाहता था, और हमारे लिए बदल गया।

मैं सब कुछ TZ के अनुसार करता हूं, सहेजता हूं, और धीरे-धीरे पागल होने लगता हूं।
मैं डेटाबेस में चढ़ गया - नई जानकारी। वह इंजन में चढ़ गया, और डिबग से पता चलता है कि जानकारी सही ढंग से जारी की गई है। मैं ftp पर जाता हूं और साइट की जड़ में 4 अपरिचित लिपियों को खोजता हूं, जिसका नाम seo-company है।

लगभग एक घंटा उनके कोड में घूमता रहा। वैसे, उनकी स्क्रिप्ट के php कोड को संसाधन govnokod.ru पर एक सम्मानजनक स्थान से सम्मानित किया गया था

मैं उनके बाद जाम को ठीक करता हूं, उन्होंने जो काम किया है, उसे स्टैटिक इंडेक्स डॉट कॉम से इंजन डेटाबेस में ट्रांसफर करें।

"हमें कोई आश्चर्य नहीं हुआ"

कुछ हफ़्ते में, एक नया जाम सामने आ रहा है। यह जिसके बारे में यह धागा है।

क्लाइंट कॉल करता है और दुर्भावनापूर्वक कहता है कि हमने फिर से साइट पर कुछ किया, और कुछ भी काम नहीं करता है। नुकसान होने पर, हम समस्या को फिर से हल करना शुरू करते हैं।

हम रूसी संघ के क्षेत्र में दर्पण के मुख्य पृष्ठ पर जाते हैं, और हमें एक त्रुटि 404 दिखाई देती है।
फिर, हम लोगों को नीले रंग से बाहर काम करने के लिए जोड़ने की क्षमता पर थोड़ा आश्चर्यचकित होना शुरू करते हैं, और सवाल पूछते हैं कि "कैसे?"।
हम Zone.ru में मुख्य डोमेन पर जाते हैं (वे इसे बढ़ावा देते हैं) - सब कुछ ठीक है।
फिर से मैं शोक-आशावादियों के कोड में चढ़ता हूं।

और ... मुझे निम्नलिखित कोड मिलते हैं:
मैं विशेष रूप से डोमेन नामों का खुलासा नहीं करता हूं, और मैं इस बारे में भी चुप रहता हूं कि कौन सी कंपनी कितनी विकृत है

if($_SERVER['HTTP_HOST']!='domain.ru'&&$_SERVER['HTTP_HOST']!='www.domain.ru') { $page=file_get_contents_curl('http://domain.ru/hjgjgjhgjh'); $page=iconv('utf-8','windows-1251',$page); header('HTTP/1.1 404 Not Found',true,404); $page=str_replace('<head>','<head><base href="http://domain.ru/">',$page); echo $page; echo 'not found'; exit(); } 

facepalm.jpg

जैसा कि हम देखते हैं, वे नहीं चाहते थे कि दर्पण यैंडेक्स सूचकांक में गिर जाए, और एक क्रूर बैसाखी बना।

मैं उनका हिंदू कोड लेता हूं और निम्नलिखित कार्य करता हूं:

मैं एक robots.php फ़ाइल बनाता हूं, और वहां निम्नलिखित लिखता हूं:

 <?php header("Content-type: text/plain"); //  ,         if(strpos($_SERVER['HTTP_HOST'], 'domain.ru') === false) { //      , : echo "User-agent: *\nDisallow: /\nHost: domain.ru"; //    ,        } else { //    domain.ru,       ?> User-agent: Yandex Disallow: /gbook/ID Disallow: /search/ Disallow: /highslide/ Disallow: /java/ Disallow: /license/ Disallow: /pageHTML/ Disallow: /tagcloud/ Disallow: /data/ Disallow: /capcha/ Disallow: /pages/ Host: domain.ru User-Agent: Slurp Disallow: / User-agent: * Disallow: /gbook/ID Disallow: */*.swf Disallow: /search/ Disallow: /highslide/ Disallow: /java/ Disallow: /license/ Disallow: /pageHTML/ Disallow: /tagcloud/ Disallow: /webstat/ Disallow: /data/ Disallow: /capcha/ Disallow: /pages/ Sitemap: http://domain.ru/sitemap.xml <?php } ?> 

हमने काम पूरा कर लिया है, अब हम robots.txt को हटाते हैं, और .htaccess फ़ाइल (आवश्यक शर्त अपाचे + mod_rewrite) के लिए निम्न लाइनें जोड़ते हैं।

 RewriteEngine On RewriteRule ^robots.txt$ robots.php 

UPD: nginx के लिए परिवर्तित नियम व्यक्तिगत रूप से जाँच नहीं करता था, लेकिन काम करना चाहिए।
यदि आप टिप्पणी में कुछ लिखते हैं - तो मैं इसे ठीक कर दूंगा

 location = /robots.txt { rewrite ^(.*)$ /robots.php; } 

वह सब है! जब रोबोट robots.txt का अनुरोध करते हैं, तो सर्वर उन्हें robots.php फ़ाइल देता है

पीएस मुझे उम्मीद है कि अगर कोई दर्पण को बंद करने के समान घुमावदार तरीकों का उपयोग करता है, तो वह इसे अनुकूलन के लिए स्क्रिप्ट के अपने "गुल्लक" में जोड़ देगा।

पीपीएस ऐसा हुआ कि वर्तमान में बहुत कम पेशेवर एसईओ कंपनियां हैं, और परिणाम एक शाश्वत टकराव "वीएस डेवलपर्स" है, कुछ साइट बनाते हैं, अन्य लोग कुटिल हाथों और गलतफहमी के कारण इसकी कार्यक्षमता को तोड़ते हैं।

PPPS अगर किसी को दिलचस्पी है, तो मैं अभी भी उस एसईओ-डेस्क को इंगित कर सकता हूं

आपका ध्यान के लिए धन्यवाद!

UPD: विज्ञापन विरोधी उद्देश्यों के लिए नहीं, बल्कि एहतियाती उद्देश्यों के लिए: demis.ru - इस धागे के सेओ-हीरो।

UPD: एक और मामला। वे कुछ करने के लिए चढ़ गए, लेआउट चला गया। पहले से ही अपने स्वयं के खर्च और समय पर अपने जाम को सही करने के लिए थक गया