सार्वजनिक वेब इंडेक्स (5 बिलियन वेब पेज)

कॉमन क्रॉल ने सूचना खोज और प्रसंस्करण के क्षेत्र में काम करने वाले डेवलपर्स और कंपनियों को एक उदार उपहार दिया। Amazon S3 पर एक ओपन इंडेक्स में मेटाडेटा, पेजरैंक और हाइपरलिंक ग्राफ के साथ 5 बिलियन वेब पेज का इंडेक्स है।

यदि आपने वेब सर्वर लॉग में CCBot / 1.0 देखा, तो यह उनका क्रॉलर है। गैर-लाभकारी संगठन कॉमन क्रॉल सूचना की स्वतंत्रता के लिए खड़ा है और इसने एक सार्वजनिक खोज सूचकांक बनाने का लक्ष्य रखा है जो हर डेवलपर या स्टार्टअप को उपलब्ध होगा। यह माना जाता है कि इससे अभिनव वेब सेवाओं की एक पूरी आकाशगंगा का निर्माण होगा।

आम क्रॉल खोज समूह Hadoop पर चलता है, डेटा HDFS फ़ाइल सिस्टम में संग्रहीत किया जाता है, और MapReduce टूल का उपयोग करके प्रसंस्करण किया जाता है, जिसके बाद सभी सामग्री एआरसी अभिलेखागार, 100 एमबी फ़ाइलों (कुल डेटाबेस आकार 40-50 टीबी) में संपीड़ित होती है। फ़ाइलों को अपने आप डाउनलोड किया जा सकता है या सीधे उसी MapReduce का उपयोग करके EC2 पर संसाधित किया जा सकता है। बाल्टी तक पहुंच केवल अमेज़ॅन रिक्वेस्टर-पेज़ ध्वज के साथ ही संभव है, जो कि पंजीकृत ईसी 2 उपयोगकर्ताओं (अमेज़ॅन रिक्वेस्टर-पे के बारे में अधिक) के लिए है। बाहरी नेटवर्क से 40-50 टीबी डाउनलोड करने पर अमेज़ॅन की मौजूदा दरों पर $ 130 का खर्च आएगा, EC2 के अंदर MapReduce का उपयोग करना मुफ्त है।

डेटा लगभग बिना किसी प्रतिबंध के उपलब्ध है: डेटा एक्सेस और उपयोग की शर्तों के लिए निर्देश देखें। केवल डाउनलोड किए गए डेटा को कहीं और अपलोड करना, एक्सेस बेचना या किसी भी अवैध तरीके से डेटा का उपयोग करना मना है।

हम कहते हैं कि कॉमन क्रॉल फ़ाउंडेशन के प्रमुख को व्यापक रूप से संकीर्ण सर्कल गिल्ड एल्बाज़ (गिल्ड एल्बाज़) में जाना जाता है, जो Google AdSense के मुख्य डेवलपर और स्टार्टअप फैक्चुअल के कार्यकारी निदेशक हैं।