आपकी साइट पर रोबोट के व्यवहार की निगरानी के लिए एक उपकरण

नमस्ते!
आज मैं अपने प्रोजेक्ट के बारे में बात करना चाहूंगा, जिसकी शुरुआत 2008 में हुई थी। तब से, बहुत कुछ बदल गया है, दोनों डेटा भंडारण की वास्तुकला और सूचना प्रसंस्करण एल्गोरिदम में।

यह एसईओ विशेषज्ञों और / या साधारण वेबमास्टर्स के लिए एक सेवा के बारे में होगा। बोटहंटर आपकी साइट पर उपयोगकर्ता एजेंटों की निष्क्रिय निगरानी (वास्तविक समय में) की एक प्रणाली है। सिस्टम की वेबसाइट (डेमो मोड में सीमित कार्यक्षमता) पर एक इंटरफेस के नीचे, या एक डेमो अकाउंट में उदाहरण देखें। पर पढ़ें

प्रागितिहास

मेरे भूख को देखते हुए और डेटा की मात्रा का विश्लेषण करते हुए, मैंने इस सेवा को अपने लिए लिखा। मेरे लिए, सभी सवालों के लिए "ग्राफिक जवाब" अधिक समझ में आता है। बॉटहंटर जवाब देंगे कि अक्सर पूछे जाने वाले प्रश्न:

• खोज इंजन मेरी साइट पर कब, कितनी बार गए?
• किसने मेरी साइट को पार्स किया और कब, खोज बॉट प्रतीत हो रहा है?
• मेरी साइट के कितने पृष्ठ खोज रोबोट द्वारा लोड किए गए थे?
• खोज क्रॉल करने वाले कितने पृष्ठ खोज में शामिल हैं?
• खोज ड्राइव ट्रैफ़िक में कितने पृष्ठ शामिल हैं?
• लैंडिंग पेज का अनुपात क्या है कि खोज बॉट का दौरा किया, लेकिन वे कभी भी प्रवेश बिंदु नहीं थे (खोज इंजन से)?
• Sitemap.XML के कितने पृष्ठ अनुक्रमित थे?
• एक खोज बॉट लगातार मेरी साइट पर जाती है, लेकिन क्या यह पर्याप्त है?
• क्या Yandex, Google, Search.Mail.ru, Bing, Yahoo! के साथ एक प्रणाली में काम करने पर डेटा देखना संभव है (मेरी साइटों की एक बड़ी सूची पर)?
• क्या साइट पर ऐसे कोई पृष्ठ हैं जो इंजन प्रचार को खोजने के लिए "हानिकारक" हो सकते हैं?
• आदि आदि

एक समाप्त बाइक है

मैं तुरंत उन लोगों को रोकना चाहूंगा जो सवाल पूछने के लिए तैयार हैं "क्यों?" Yandex.webmaster और Google वेबमास्टर्स है? "
हां, ये सेवाएं उपयोगी और प्रसिद्ध हैं, लेकिन वे निम्नलिखित प्रश्नों का उत्तर नहीं देंगे:

1. क्या मेरी साइट पर एक पेज है, जिसके बारे में बॉट्स को पता है, लेकिन वे साइटमैप। XML में नहीं हैं?
2. क्या मेरी साइट पर ऐसे पृष्ठ हैं जो बॉट का दौरा किया था, लेकिन उन पर कभी भी ट्रैफ़िक नहीं आया (मुझे सूची चाहिए)?
3. क्रॉलर द्वारा लगातार किस अनुपात में यूरल्स का दौरा किया जाता है, लेकिन वे खोज में नहीं हैं?
4. क्या मेरी साइट पर ऐसे पृष्ठ हैं जिनका बाइट्स में भी समान वजन है (एक डुप्लिकेट विषय भी)?
5. एक निश्चित संख्या के खोज आधार (या एल्गोरिथ्म को बदलने) को अपडेट करने के बाद; साइट के कितने पृष्ठ अब बॉट द्वारा नहीं देखे जाते हैं? और उनमें से कितने अब जैविक जारी करने से यातायात के प्रवेश बिंदु नहीं हैं?
6. आदि।
दिलचस्प सवालों की सूची जारी रखी जा सकती है और हम में से प्रत्येक के पास यह सूची होगी ...

सेवा के लाभ क्या हैं

• एक घटना सूचना प्रणाली है (मापदंड की सूची के अनुसार)
• एक खाते में साइटों की संख्या की कोई सीमा नहीं
• इसका कोई मतलब नहीं है कि लॉग बंडल में "सुई" देखने के लिए, सिस्टम स्वयं आपको घटना के बारे में सूचित करेगा
• विश्लेषण और एक इंटरफेस में कई खोज इंजन पर डेटा प्रस्तुत करते हैं
• न केवल पूरी साइट का विश्लेषण करना संभव है, बल्कि केवल इसका टुकड़ा, खंड, आदि। (url द्वारा नियमित अभिव्यक्ति पर आधारित)
• सभी डेटा हमारे क्लाउड में संग्रहीत हैं और सिस्टम में साइट के पंजीकरण के क्षण से इतिहास उपलब्ध है
• रिपोर्ट फजी डुप्लिकेट को रोकने में मदद करती हैं
• यदि आपकी साइट नियमित रूप से पार्स की जाती है, तो हम आपको बताएंगे कि यह कौन है। आपको लॉग को लगातार लॉग इन नहीं करना है
• सेवा मुफ्त है

सरल और समझ में आने वाली रिपोर्टों के अलावा, बोटहंटर दैनिक आपकी प्रत्येक साइट के लिए robots.txt और sitemap.xml फ़ाइलों की अखंडता की जांच करता है। साइटमैप, एक अलग गीत के बारे में, फ़ाइल की वैधता और साइटमैप प्रोटोकॉल के अनुपालन के लिए परीक्षण किया गया है। प्रणाली प्रतिदिन रिपोर्ट तैयार करने के सभी चेक और तथ्यों के बारे में एक पत्रिका लिखती है।

क्या हाल है?

• सांख्यिकीय अनुक्रमण सूचकांक (आपकी साइट का) से विचलन की पहचान
• सामान्य त्रुटि का पता लगाना
• अनुक्रमण सेटिंग्स पर सिफारिशें (प्रत्येक साइट की सुविधाओं पर विचार)
• [संग्रह] उन महत्वपूर्ण वाक्यांशों का संग्रह जो साइट पर ट्रैफ़िक लाए
• [संग्रह विस्तार] साइट के लिए अनुशंसित प्रमुख वाक्यांशों की एक सूची प्राप्त करना
• ट्रैफ़िक हानि (साइट सेगमेंट द्वारा) की भविष्यवाणी करने के लिए Google Analytics के साथ एकीकरण
• विशेषज्ञों के लिए क्या उपयोगी है (आपकी सिफारिशें और विचार)

TTX के बारे में ps, संक्षेप में:

• DC Filanco में स्वयं के सर्वर समूह का उपयोग किया जाता है
• हम NoSQL में सभी डेटा को स्टोर और विश्लेषण करते हैं, विशेष रूप से, मैं MongoDB का उपयोग करता हूं
• हम आपकी लॉग फ़ाइलों को संग्रहीत नहीं करते हैं, केवल प्रसंस्करण के परिणाम हैं
• प्राधिकरण के लिए, अपनी प्रोफ़ाइल का उपयोग करें: facebook, Yandex या Google

इस पोस्ट का मुख्य लक्ष्य आपकी सलाह लेना है ।
आप किस अन्य डेटा को प्राप्त करना चाहते हैं और किस रूप में?
आप क्या विचार सुझाएंगे?

रचनात्मक आलोचना के लिए अग्रिम धन्यवाद ...