जीएसए: एक वर्चुअल मशीन में Google खोज उपकरण तैयार करना

हाल के वर्षों में, Google नाम के अजीब पीले बक्सों में व्यक्तिगत खोज इंजनों के बारे में पढ़ने में रुचि के साथ, मुझे समय-समय पर जीएसए, Google खोज उपकरण, रिवर्स इंजीनियरिंग और, ईमानदारी से, हैक, DIY, डिस्क डंप, आदि के अनुसार गुगली मिली है। लेकिन मैं आधिकारिक प्रेस विज्ञप्ति और खुशियों के पत्राचार (?) के अलावा कुछ नहीं मिला, एक समर्थन समूह के मालिक।

कभी-कभी मंचों पर डरपोक प्रश्न भी सुनाई देते थे, जैसे कि "मुझे रूट कैसे मिलता है" या "ssh के माध्यम से GSA को मिलता है", लेकिन ऐसे सभी सवालों का एक ही जवाब था - केवल Google समर्थन समूह ही पासवर्ड जानता है। और वह किसी को नहीं बताएगी। हैरानी की बात है कि मैं इंटरनेट पर Google इंजन पर हैकिन्टोश बनाने या लाइव कोड का उपयोग करके पेज रैंकिंग एल्गोरिदम को समझने के किसी भी प्रयास से नहीं मिला हूं।

2008 में स्थिति थोड़ी बदल गई, जब वर्चुअलाइजेशन से उत्सुकता के मद्देनजर, Google ने VGSA को रोल आउट किया - 50 हजार दस्तावेजों तक सीमित लाइसेंस के साथ Vmware के लिए एक मुफ्त वर्चुअल मशीन। हालांकि, इससे इंटरनेट पर बहुत उत्साह नहीं हुआ, 2009 में यह परियोजना बंद कर दी गई और वीजीएसए के लिए Google के अधिकांश लिंक 404 (आप ​​ही, Google स्वयं) वापस करने लगे। 2008 की रिलीज़ का लिंक काफी आसानी से पाया जा सकता है। 2009 संस्करण के लिंक को केवल कुछ चीनी साइटों पर संरक्षित किया गया था।

ईएसएक्स 5.1 पर मैंने vgsa_20090210 कैसे स्थापित किया और इसके बारे में बहुत सारी दिलचस्प चीजें देखीं, आप नीचे पढ़ सकते हैं।

Google खोज उपकरण के बारे में कुछ शब्द

जीएसए एक पॉकेट-आकार का खोज इंजन है जो साइटों, किसी भी दस्तावेज़ और डेटाबेस को अनुक्रमित कर सकता है। इसे बड़ी कंपनियों के लिए स्थानीय Google के रूप में तैनात किया गया है जो अपनी स्वयं की स्थानीय विशिष्ट खोज करना चाहते हैं, लेकिन इसे किसी को भी न दिखाएँ (या इसे किसी को दिखाएं)। बॉक्स ही एक थ्रेशर है जो न केवल सेटिंग्स (http: //, smb: //) में निर्दिष्ट URL को अनुक्रमित करता है, बल्कि एपीआई के माध्यम से फीड किए जा सकने वाले किसी भी डेटा (Oracle, MySQL, आदि) को भी प्रदर्शित करता है। अपने स्वयं के http / smb मकड़ी के अलावा जीएसए डेटा को भरना, विभिन्न डेटाबेस और फ़ाइल सिस्टम के लिए लिखे गए तथाकथित ओपन-सोर्स कनेक्टर के माध्यम से किया जाता है। वे Google कोड के माध्यम से स्वतंत्र रूप से उपलब्ध हैं और कनेक्टर प्रबंधक के माध्यम से प्रबंधित होते हैं।

स्थापना

VGSA वर्चुअल मशीन CentOS 5 फाइनल के आधार पर बनाई गई है। संग्रह को अनपैक करने के बाद, हमें Vmware Player के लिए vmx / vmdk फ़ाइलों का एक मानक सेट मिलता है। चूंकि संस्करण पहले से पुराना है, इसलिए इसे Vmware Converter के माध्यम से ESXi 5.1 पर स्थापित करने में विफल रहा। Redhat 5 32b, 2 Gb मेमोरी और एक छोटी डिस्क के लिए मूल सेटिंग्स के साथ एक नया VM बनाया गया था, जिसे तुरंत हटा दिया गया और VGSA से vmdk द्वारा बदल दिया गया (SCSI समानांतर BusLogic के रूप में जुड़ा)। अद्यतन: टिप्पणियों में वे लिखते हैं कि यह VmWare वर्कस्टेशन 8 में ठीक चलता है।

मानक LILO के बाद, डाउनलोड चला गया और एन्क्रिप्शन के बारे में पहला चेतावनी संकेत दिखाई दिया:



तब वीजीएसए को डीएचसीपी पते मिले और इसकी मानक स्क्रीन दिखाई दी:



प्रस्तावित URL द्वारा, सामान्य रूप से काम करने वाला Google इंजन पाया गया, जो सेटिंग्स के लिए तैयार है (50 हजार दस्तावेजों के लिए लाइसेंस के साथ):



जांचने के लिए, मैंने मानक Google रणनीति - प्रति डोमेन / साइट पर 4 प्रक्रियाओं के साथ, Habr के पहले 100 पृष्ठों को अनुक्रमित किया। क्रॉलर सभी आंतरिक लिंक को बायपास करता है, और अनुक्रमण तंत्र एक साथ कचरा और डुप्लिकेट को सॉर्ट करता है। उसी समय, सब कुछ रैंक किया जाता है, पृष्ठ से और उससे जुड़े लिंक पर विचार किया जाता है, प्रत्येक पृष्ठ को अपने स्वयं के पीआर को रूट के सापेक्ष सौंपा जाता है (साइट की जड़ हमेशा PR10 है), आदि।



उन साइटों का एक संग्रह बनाया है जो मेरे लिए दिलचस्प हैं (मैंने छवि अनुक्रमण को सक्षम करने के लिए अभी तक निर्णय नहीं लिया है), मैं जल्दी से समझता हूं कि 50 हजार पृष्ठों की सीमा बहुत छोटी है। यह हुड के नीचे देखने का समय है ...

हुड के नीचे

शिफ्ट LILO पर पकड़ा गया, किसी भी पैरामीटर के लिए यह पासवर्ड के लिए पूछने के प्रयास में:



एक बार फिर, मैं डिस्क की वितरण छवि लेता हूं और इसकी संरचना देखता हूं। एक अपरिचित GPT में Fdisk शपथ लेता है, मैं कोशिश करता हूं:

[root@server /]# parted /home/vgsa/vgsa-flat.vmdk GNU Parted 1.8.1 Using /home/storage/azureus/vgsa-flat.vmdk Welcome to GNU Parted! Type 'help' to view a list of commands. (parted) unit b (parted) p Model: (file) Disk /home/storage/azureus/vgsa-flat.vmdk: 36507222015B Sector size (logical/physical): 512B/512B Partition Table: gpt Number Start End Size File system Name Flags 1 17408B 2147484159B 2147466752B ext3 / 2 2147484160B 4294967807B 2147483648B linux-swap swap 3 4294967808B 36507205119B 32212237312B ext3 /export/hda3 (parted) 

पहला खंड 17408 से शुरू होता है। हम इसे माउंट करते हैं:

 # mount -t ext3 -o loop,rw,offset=17408 /home/vgsa/vgsa-flat.vmdk /mnt/vgsa 

और हमें VGSA की जड़ मिलती है - अब तक मुख्य विभाजन / देव / hda3 के बिना।
हम एक पासवर्ड के लिए lilo.conf देखते हैं:

 # grep pass /mnt/vgsa/etc/lilo.conf password=cmBalx7 

अब init = / bin / bash के साथ बूट करें, रूट को rw (माउंट -o rw, रिमाउंट /) में बदलें और पासवर्ड बदलें।
उसी समय, iptables तय किया जा सकता है। मुख्य सिस्टम कॉन्फिगर /export/hda3/5.2.0/local/conf/google_config में ENT_LICENSE_MAX_PAGES_OVERALL पैरामीटर है, जो अधिकतम अनुक्रमित पृष्ठों के लिए जिम्मेदार है। मैंने पहली कोशिश की जो दिमाग में आई: 1 टेलिनिट, ENT_LICENSE_MAX_PAGES_OVERALL बदलकर 50 मिलियन, फिर सिंक और रिबूट। हैरानी की बात यह है कि इस प्रणाली को हटा दिया गया और एक नई सीमा दिखाई ...

उन दिलचस्प स्थानों के बारे में संक्षेप में जिनके लिए पर्याप्त समय नहीं है:

/export/hda3/5.2.0/local/google3/quality/, जिसका स्थान रैंकबॉस्ट / इंडेक्सिंग / रैंकबॉस्ट_ एलसीडीका_आटैचमेंट_पब्लॉक है:

एक बहुत ही दिलचस्प बात है:

  self.link_count_ = 0 self.offdom_link_count_ = 0 self.paid_link_count_ = 0 self.ppc_link_count_ = 0 self.page_blog_score_ = 0 self.page_wiki_score_ = 0 self.page_forum_score_ = 0 self.page_ppc_spam_score_ = 0 self.has_link_count_ = 0 self.has_offdom_link_count_ = 0 self.has_paid_link_count_ = 0 self.has_ppc_link_count_ = 0 self.has_page_blog_score_ = 0 self.has_page_wiki_score_ = 0 self.has_page_forum_score_ = 0 self.has_page_ppc_spam_score_ = 0 

- कई ज्ञात रैंकिंग कारक हैं, लेकिन अभी भी कुछ नया है। मुझे संदेह था कि पीपीसी विज्ञापन अभियान जैविक वितरण में फायदेमंद या हानिकारक हो सकता है। उपरोक्त स्निपेट से पता चलता है कि Google पीपीसी अभियानों के व्यवहार को ध्यान में रखता है। अभी के लिए, कोई केवल अनुमान लगा सकता है कि PPC स्पैम क्या है।
/Export/hda3/5.2.0/spelling/ में बहुत सारी दिलचस्प चीजें। मैंने अभी तक प्रारूप का पता नहीं लगाया है, लेकिन एक संकेत के बिना - विभिन्न भाषाओं में समानार्थक शब्द और संयुग्मन पर Google के आधार हैं। कभी-कभी पागलपन देने वाले स्टॉप शब्दों और बहुत सारे मज़ेदार फिल्टर का एक संग्रह होता है:

 en.spelling.filter.dnc.utf8:# Prevent correcting 'aryan' to 'jewish' or 'arabic'. 

एक उपसंहार के बजाय

इनसाइड्स का समग्र प्रभाव अस्पष्ट है। अजगर में बनाया गया, जाहिरा तौर पर एक नियमित स्क्रिप्ट का हिस्सा, संकलित कोड का हिस्सा। सिस्टम अभी भी एक ठोस उत्पाद की तुलना में बैसाखी स्क्रिप्ट के एक सेट की तरह अधिक है। फिर भी, यह सब काफी तेजी से काम करता है और, एक बड़ी साइट के सक्रिय अनुक्रमण के दौरान प्रोसेसर लोड को देखते हुए, काफी प्रभावी है।

अब जब सिस्टम एक ब्लैक बॉक्स से वास्तव में पीला हो गया है - इसके संभावित अनुप्रयोग के बारे में कुछ विचार:

1. SEO के दृष्टिकोण से ब्याज स्पष्ट है।
2. किसी साइट के लिए स्थानीय खोज, जब सिस्टम केवल एक साइट को अनुक्रमित करता है और एक शक्तिशाली आंतरिक खोज प्रणाली है (उदाहरण के लिए, iframe के माध्यम से)।
3. कार्यक्षमता का विस्तार करना दिलचस्प होगा - उदाहरण के लिए, व्यवस्थापक द्वारा कीवर्ड में एक फ़िल्टर दर्ज करें। मकड़ी के लिए केवल उन पृष्ठों को इकट्ठा करने के लिए जिनमें कुछ शब्द या वाक्यांश होते हैं।
4. मुझे यकीन है कि यह लोहे पर भी लॉन्च किया जा सकता है, संभवतः हाथ में एक छोटी फ़ाइल के साथ।
5. ... या एक OpenVZ कंटेनर में।
6. ... अपने लिए सोचो।
   
   मैं इस मामले पर आपके विचार सुनकर प्रसन्न हूं।