मेटाबेस - विषयगत खोज इंजन के निर्माण के लिए मंच

यह सब इस तथ्य से शुरू हुआ कि कुछ बिंदु पर मुझे एहसास हुआ: "वास्तविक" जीवन के सामान, सेवाओं और स्थानों के लिए इंटरनेट पर खोज करना काफी मुश्किल है। हाँ, लगभग सभी चीजें लोकप्रिय इंटरनेट सर्च इंजन के माध्यम से पाई जा सकती हैं, लेकिन जब आप वास्तविक जीवन से कुछ ढूंढना शुरू करते हैं जो एक भौतिक पते से बंधा होता है, तो यह और मुश्किल हो जाता है। और जब आपको अभी भी अनुरोध को परिष्कृत करने की आवश्यकता होती है, तो कई विशेषताओं, काम के घंटे, स्थान या माल की कीमत निर्धारित करें, यह और भी कठिन हो जाता है। नतीजतन, खोज मैन्युअल रूप से कई पृष्ठों और खर्च किए गए समय के द्रव्यमान के माध्यम से छंटनी के लिए आती है। प्रत्येक विषय के अपने संसाधन होते हैं। हम एक फिल्म शो की तलाश कर रहे हैं - हम बिलबोर्ड, इलेक्ट्रॉनिक्स पर जाते हैं - हम बाजार पर चयन करते हैं। फिर कोई इंटरनेट के माध्यम से ऑर्डर करता है, और कोई निकटतम स्टोर में जाता है और चयनित को खरीदता है। हम एक एटीएम की तलाश कर रहे हैं - अक्सर यह आवेदन आपके फोन पर होता है। नतीजतन, कई सेवाएं हैं, जिनमें से सार एक चीज को उबालता है - वास्तविक जीवन में माल, सेवाओं और स्थानों की खोज। उस समय, मैं एक एकल, सुविधाजनक सेवा चाहता था जो यह सब करेगी।

नतीजतन, लगभग दो वर्षों के बाद, मैंने आखिरकार परियोजना का विकास किया। जैसा कि योजना बनाई गई थी, यह एक ऐसा मंच था जो आपको किसी भी सामान, सेवाओं और स्थानों की खोज करने की अनुमति देता है। सभी डेटा की अपनी संरचना है, जो आपको कई विशेषताओं पर जटिल प्रश्न बनाने की अनुमति देती है। साथ ही, सभी डेटा में एक जियो-कंपोनेंट होता है, जो आपको जियो-ओरिएंटेड क्वेरी करने की अनुमति देता है। उदाहरण के लिए, एक वाक्यांश के रूप में पूछताछ की जा सकती है, "कीवस्काय के पास एक पूल के साथ एक होटल ढूंढें", या विशेष फिल्टर का उपयोग कर।

metafind ऐसी खोज का एक उदाहरण है

खोज एक एकल खोज स्ट्रिंग से शुरू होती है। अनुरोध में, आप पते को निशुल्क रूप में निर्दिष्ट कर सकते हैं। यदि पता निर्दिष्ट नहीं है, तो एक जियोलोकेशन प्रयास किया जाएगा। खोज परिणाम वांछित विषय के लिए बिक्री के स्थान, उनकी कीमतों, फोन नंबर, पते, संचालन के घंटे और विशेषताओं के अनुसार समूहीकृत माल प्रदर्शित करते हैं। परिणामों में अनुरोध को परिष्कृत करने के लिए एक नक्शा और एक फ़िल्टर भी होता है। उदाहरण के लिए, यहाँ दवा खोज कैसा दिखता है:



भोजन या अन्य विषयों की खोज करते समय, वांछित विषय के लिए विशिष्ट अन्य फ़िल्टर और अतिरिक्त विशेषताएँ स्वतः दिखाई देंगी। मोबाइल संस्करण भी उपलब्ध है:

उदाहरण

फिलहाल, केवल मास्को को कवरेज क्षेत्र में शामिल किया गया है, निम्नलिखित विषयों पर: दवाएँ और फ़ार्मेसीज़, गैस स्टेशन, गैस की कीमतें, कार वॉश और उनकी सेवाएं, एटीएम, भुगतान टर्मिनल, होटल, कैफे, रेस्तरां, भोजन (मेनू से), स्विमिंग पूल, टिकट कार्यालय और टिकट।

जैसा कि मैंने पहले ही कहा था, आप कई विशेषताओं के साथ जटिल प्रश्न बना सकते हैं: मूल्य सीमा द्वारा खोज, कार्य के समय तक, खोज की त्रिज्या सेट करें, किसी विशेष विषय के लिए विशिष्ट विशेषताओं को सेट करें। यहाँ कुछ उदाहरण हैं:

1. क्रेमलिन के पास कराओके के साथ एक रेस्तरां में काले कैवियार
2. कीव के पास एक पूल के साथ होटल
3. vykhino में एकीकृत धुलाई
4. Preobrazhenskaya स्क्वायर पूल 50 मीटर
5. पुश्किनकाया के पास डॉलर के साथ एटीएम
6. स्लीपिंग ब्यूटी कुर्स्क स्टेशन पर

डेटा कवरेज अभी तक पूरा नहीं हुआ है। जो लोग चाहते हैं, डेटा जोड़ने के लिए एक अनुरोध छोड़ सकते हैं।

एक मंच क्यों?

क्योंकि अब यह साइटों और सेवाओं का एक पूरा परिसर है।

• स्वयं खोज सेवा और उसका खुला एपीआई। इसमें एक मकड़ी भी शामिल है जो साइटों से डेटा को अनुक्रमित करती है, डेटा संरचना, निगरानी सबसिस्टम और बहुत कुछ पार्स करती है, जो आंखों को चुभने के लिए दिखाई नहीं देती है।
• metafind.ru मुख्य खोज इंजन है जो सभी खोज क्षमताओं को प्रदर्शित करता है। साथ ही एक मोबाइल संस्करण।
• एसएमएस सेवा - एसएमएस द्वारा खोज क्वेरी करने की क्षमता। जवाब में, एक बड़ा संदेश (अक्सर पांच भागों में) खोज परिणामों के साथ आता है। संचार की लागत वैट सहित लगभग 3.5 रूबल है। संदेश उदाहरण: "पुश्किनकाया के पास Sberbank के एक एटीएम की खोज करें"। आप लिप्यंतरण लिख सकते हैं।
• खेल का मैदान .metabus.ru - एपीआई के परीक्षण के लिए सैंडबॉक्स। आपको एपीआई का उपयोग करने के लिए तैयार किए गए उदाहरणों को देखने, संपादित करने, चलाने और डिबग करने की अनुमति देता है।
• Export.metabus.ru - डेटा निर्यात सबसिस्टम। उदाहरण के लिए, आप खोज क्वेरी को सहेज सकते हैं, RSS टेम्प्लेट का चयन कर सकते हैं और अपने RSS रीडर में खोज परिणामों से नए उत्पाद / सेवाएँ / स्थान प्राप्त कर सकते हैं। आप मौजूदा टेम्प्लेट का उपयोग कर सकते हैं और अपना खुद का (एक्सएसएलटी पर) बना सकते हैं।
• docs.metabus.ru - डेवलपर्स के लिए प्रलेखन।

डेटा को उन साइटों से अनुक्रमित किया जाता है जिनकी मुझे आवश्यकता होती है (मुझे पूरे इंटरनेट को अनुक्रमित करने में कोई समस्या नहीं है, केवल दिए गए विषयों पर साइटें)। यह या तो स्रोत है (उदाहरण के लिए, बैंकों या कैफे की आधिकारिक साइटें), या एग्रीगेटर साइटें (उदाहरण के लिए, पूल या कार वॉश की सूची वाली साइट)। लेकिन किसी भी मामले में, मैं हमेशा सूचना के स्रोत के लिए एक लिंक डाल देता हूं और डेटा के लेखक होने का दावा नहीं करता हूं। अधिकांश स्रोतों के लिए, दिन में एक बार डेटा अपडेट किया जाता है। अगले कई वर्षों में, मेरी योजना है कि इच्छुक संगठन एपीआई (या मूल्य सूची) का उपयोग करके अपना डेटा अपलोड करना शुरू करेंगे, जिसे वास्तविक समय में खोज सूचकांक में जोड़ा जाएगा। यह फ़ंक्शन पहले ही लागू हो चुका है, लेकिन मांग में कमी के कारण सार्वजनिक उपयोग के लिए अभी भी बंद है।

पहले से ही अब एपीआई का उपयोग करके आप विभिन्न खोज सेवाएँ कर सकते हैं। आप मौजूदा साइटों में खोज को एम्बेड कर सकते हैं, सामाजिक नेटवर्क के लिए विषयगत मोबाइल एप्लिकेशन या एप्लिकेशन बना सकते हैं। उदाहरण के लिए, दवाओं की खोज का परीक्षण करने के लिए, मैंने केवल दवाओं और फार्मेसियों की तलाश में एक फॉर्म बनाया:

डिज़ाइन

इस परियोजना का विकास लगभग दो वर्षों से चल रहा है। कोई टीम नहीं, मैं अकेला काम करता हूं। प्रारंभ में .NET और MSSQL सर्वर का उपयोग किया गया। डेढ़ महीने के बाद, मैंने महसूस किया कि ये प्रौद्योगिकियां मेरी समस्या को हल करने के लिए काफी उपयुक्त नहीं हैं, और जावा में बदल गई हैं। गलती से तकनीक में विलीन हो गया: पहला संस्करण Hadoop, HBase और Lucene का उपयोग करके बनाया गया था। थ्रिफ्ट का उपयोग मॉड्यूल के बीच डेटा के आदान-प्रदान के लिए एक प्रोटोकॉल के रूप में किया गया था। अब तकनीकी आधार MongoDB और Apache Solr का एक संयोजन है। सभी साइट Google ऐप इंजन क्लाउड में काम करती हैं। मंच खुद को एक समर्पित सर्वर (हेट्जनेर ईक्यू 4) पर चलाता है, दूसरे पर मकड़ी (ईक्यू 4 भी)। चूंकि मैं अकेला हूं, मैंने सब कुछ अधिकतम करने का फैसला किया: एक अलग सीआई सर्वर काम करता है (हेट्ज़नर के साथ भी), बहुत सारी इकाइयाँ, कार्यात्मक और एकीकरण परीक्षण। विकास और युद्ध के माहौल पर प्रकाशन पूरी तरह से स्वचालित है। आंतरिक उद्देश्यों के लिए, NodeJS सक्रिय रूप से उपयोग किया जाता है। सर्वर उबंटू सर्वर 10.10 के तहत चलता है।

उत्पादकता

मुझे लगभग पक्का पता है कि सर्वर हाइब्रिड से गिर जाएगा। मैंने परीक्षण करने की कोशिश की: सभी साइटों को Google ऐप इंजन में होस्ट किया गया है, और इसका परीक्षण करने का कोई मतलब नहीं है। यह एपीआई भार (जावास्क्रिप्ट में) का परीक्षण करने के लिए बना हुआ है, और यह अधिक जटिल है (आपको बहुत सारे अद्वितीय, लेकिन वास्तविक अनुरोध भेजने की आवश्यकता है)। सिद्धांत रूप में, वास्तुकला में कोई प्रदर्शन अड़चनें नहीं हैं, सभी नोड्स को क्षैतिज रूप से बढ़ाया जा सकता है। लेकिन अब सब कुछ एक ही सर्वर पर होस्ट किया गया है: डेटाबेस, खोज अनुक्रमित, और एप्लिकेशन का वेब सर्वर। एक अच्छे तरीके से, सभी चीज़ों को कई सर्वरों में वितरित करने की आवश्यकता होती है, जो केवल हैबर इफ़ेक्ट की अवधि के लिए करना उचित नहीं है।

हर्ष वास्तविकता

वास्तव में, कई उपयोगकर्ता ब्राउज़र में एड्रेस बार के अस्तित्व के बारे में भी नहीं जानते हैं। केवल यैंडेक्स / Google है। इंटरनेट की शुरुआत उन्हीं से होती है। भले ही मेटाबस के माध्यम से वस्तुओं और सेवाओं की खोज करना बहुत अधिक सुविधाजनक है, लेकिन उपयोगकर्ताओं को ऐसा करने के लिए प्रशिक्षित करना बेहद मुश्किल है। Yandex / Google के माध्यम से सब कुछ खोजने की आदत है - और इसके बारे में कुछ भी नहीं किया जाना है। या प्रचार पर लाखों खर्च करते हैं। या अन्य तरीकों की तलाश करें।

जैसा कि मैंने कहा, "किसी भी सामान और सेवाओं के लिए एकल खोज" के रूप में परियोजना को बढ़ावा देना बहुत मुश्किल है। मैं विषयगत खोज इंजन, विषयगत मोबाइल एप्लिकेशन और सामाजिक नेटवर्क के लिए एप्लिकेशन बनाकर आगे बढ़ने की योजना बना रहा हूं। मैं एक संबद्ध नेटवर्क विकसित करने की योजना भी बना रहा हूं। इसी समय, एक एकल खोज इंजन (अब यह मेटाफ़ाइंड है) काम करना जारी रखेगा, धीरे-धीरे अधिक से अधिक डेटा जमा करेगा।

मेरा लक्ष्य वस्तुओं, सेवाओं और उन स्थानों के लिए एक सुविधाजनक, एकल, भू-उन्मुख खोज इंजन बनाना है जहां उन्हें खरीदा जा सकता है। यह एक बेतुकेपन की तरह आवाज करेगा, लेकिन डेटाबेस में बिल्कुल सारा डेटा होना चाहिए: निर्माण बाजार से व्लादिमीर क्षेत्र की वस्तुओं से लेकर मॉस्को रेस्तरां में मेनू तक। और इसलिए यह होगा। एक और बात यह है कि यह जल्द ही नहीं होगा, और सबसे अधिक संभावना है - अफसोस, दुख की बात है क्योंकि यह मेरे लिए हो सकता है - यह खोज दिग्गजों द्वारा किया जाएगा। भविष्य में कॉल करने के लिए आवश्यक नहीं होगा, इसकी खोज करना स्पष्ट नहीं है कि इंटरनेट पर कहां है, और इससे भी अधिक वास्तविक जीवन में स्थानों का दौरा करने के लिए, वांछित उत्पाद या सेवा खोजने के लिए। एक निश्चित समान डेटा एक्सचेंज बस होगी जहां संगठन डेटा अपलोड करेंगे, और कई एप्लिकेशन, सेवाएं और साइट इस डेटा का उपयोग खोज, विश्लेषण और प्रसंस्करण के लिए करेंगे। और यह हर जगह होगा।

प्रस्ताव

अगर आपको यह परियोजना पसंद आई है, तो मुझे हर तरह के सहयोग के लिए तैयार होने की खुशी है:

• बेशक, मैं कोई भी डेटा जोड़ने (न्यूनतम आवश्यकताओं को पूरा करने) या किसी भी शहर और देशों के लिए किसी भी विषय को कवर करने के लिए तैयार हूं। यह आपको क्या देगा? यह आपके डेटा के लिए आपको एक सुविधाजनक खोज (मेटाफ़ाइंड के माध्यम से, और एपीआई से जुड़ी सभी अन्य सेवाओं के माध्यम से) करने की अनुमति देगा। तदनुसार, आपकी साइटों पर अधिक ट्रैफ़िक।
• आप एक वेबसाइट / मोबाइल ऐप / सोशल ऐप बना सकते हैं। नेटवर्क। मैं आपको उच्च-गुणवत्ता, अद्यतन सामग्री, सुविधाजनक खोज, एसएमएस द्वारा खोज करने की क्षमता प्रदान करता हूं। आप एक आवेदन कर रहे हैं। उदाहरण: कार के प्रति उत्साही के लिए एक आवेदन, जहां सभी गैस स्टेशन, सभी कार वॉश, सभी कार सेवाएं, ट्रैफिक पुलिस पोस्ट आदि होंगे। मैं दोहराता हूं: डेटा विषय कुछ भी सीमित नहीं है।
• आप एक पोर्टल बना सकते हैं जहाँ मुझसे प्राप्त आंकड़ों के आधार पर मूल्यवान अति विशिष्ट जानकारी होगी। उदाहरण: मैं आपके क्षेत्र में कीमतों, नाम, उपलब्धता सहित धातु उत्पादों के आपूर्तिकर्ताओं / विक्रेताओं की साइटों से विस्तृत डेटा एकत्र करता हूं। आप धातु की कीमतों, उपलब्धता, खोज, आदि पर डेटा के साथ एक पोर्टल बनाते हैं। अन्य क्षेत्रों के लिए भी ऐसा ही किया जा सकता है: ऑटो पार्ट्स की खोज, भवन निर्माण, आदि।
• आपके पास पहले से ही एक निश्चित संसाधन है जहां आप प्रासंगिक डेटा रख सकते हैं। उदाहरण के लिए: आपके पास एक स्वास्थ्य / सौंदर्य ब्लॉग है। उन लेखों में जहां दवाओं का उल्लेख किया जाता है, आप कीमतों के साथ एक इकाई या निकटतम फार्मेसियों के साथ एक इकाई जोड़ सकते हैं जहां आप इन दवाओं को खरीद सकते हैं। क्या आपके पास संगीत सितारों के बारे में एक संसाधन है? एक संगीतकार की प्रोफाइल में, आप अगले कॉन्सर्ट के लिए टिकटों की कीमतों के साथ एक ब्लॉक जोड़ सकते हैं या उन स्थानों पर जहां आप इन टिकटों को खरीद सकते हैं। और यह सब आपके सर्वर साइड में बदलाव के बिना। बस HTML और जावास्क्रिप्ट कोड का एक स्थिर सम्मिलन।
• यदि आप उत्पाद प्रचार साइट बना रहे हैं, तो आप उन स्थानों के लिए खोज फ़ॉर्म रख सकते हैं जहाँ यह उत्पाद खरीदा जा सकता है। या इस उत्पाद के लिए मूल्य निर्धारण की जानकारी।

मुझे उन लोगों के साथ वाणिज्यिक और गैर-वाणिज्यिक दोनों आधारों पर सहयोग करने में खुशी होगी जो ऐसी सेवाओं, जावा या जावास्क्रिप्ट प्रोग्रामर, डिजाइनरों, परीक्षकों और किसी भी अन्य सहायता को बढ़ावा देने में सक्षम हैं।

मैं दोहराता हूं, क्योंकि अनुरोध पर, मैं देखता हूं कि वे सब कुछ देख रहे हैं - आप केवल दवाइयों और फार्मेसियों, गैस की कीमतों, कार की राख और उनकी सेवाओं, एटीएम, भुगतान टर्मिनलों, होटल, कैफे, रेस्तरां, भोजन (मेनू से), पूल, टिकट कार्यालयों और टिकटों के लिए खोज कर सकते हैं। । केवल मास्को में।