रूसी संघ की सार्वजनिक सेवाओं पर खुला डेटा

मुझे यकीन है कि आप में से कई, और शायद आप सभी पहले से ही एक सरकारी सेवा स्थल पर आ चुके हैं।
मैं जो देखता हूं, एक तरह से या कोई और, वह अच्छा है या बुरा, लेकिन उसमें दिलचस्पी है।
हालाँकि, इस रुचि को पूर्ण रूप से महसूस करने के लिए, मुझे व्यक्तिगत रूप से लगता है कि खुले डेटा की आवश्यकता है।

और ऐसा खुला डेटा है। हालांकि संचार मंत्रालय द्वारा प्रदान नहीं किया गया है, लेकिन एक विशेष पार्सर द्वारा सार्वजनिक सेवाओं की वेबसाइट से निकाला गया है, वे मौजूद हैं।

उदाहरण के लिए, इन आंकड़ों ने मुझे एक महीने पहले इस साइट पर संगठनों के विश्लेषण और उनके संपर्कों पर कुछ दिलचस्प आंकड़े प्राप्त करने की अनुमति दी थी।


मैं उस पोस्ट से उद्धृत करूंगा:
राज्य सेवा की वेबसाइट पर 19989 पंजीकृत राज्य संगठन।

संगठनों के पास कुल 6,730 अद्वितीय ईमेल पते हैं (कुछ संरचनाओं के लिए, पतों की नकल की जाती है, इसलिए हम केवल अनूठे लोगों पर विचार करते हैं)। उनमें से:

- 412 (6%) - गलत तरीके से दर्ज किया गया है, सत्यापन पास न करें।
- 59 (1%) - गैर-मौजूद डोमेन को इंगित करें
- 1517 (22.5%) मुफ्त ईमेल पते हैं जैसे Mail.ru, Google Mail, Yandex.Mail और Rambler Mail।
प्रत्येक के लिए विवरण:
- 982 (64.7%) - Mail.ru
- 305 (20.1%) - Yandex.Mail
- 118 (7.8%) - रामब्लर मेल
- 112 (7.4%) - Google मेल
- 30 - हॉटमेल (1.97%)

हालाँकि, मैंने यह सब केवल एक तरफ से देखा और मुझे पूरा यकीन है कि वहाँ बहुत अधिक समस्याएं हैं। उदाहरण के लिए, कई मामलों में पूरी तरह से गलत संपर्क नंबर इंगित किए जाते हैं, सेवा स्थानों के बिना संगठनों की एक बड़ी संख्या, सामान्य रूप से कई संगठन सेवाओं से बंधे नहीं होते हैं, अधिकांश संगठनों में संपर्क नहीं होते हैं, और इसी तरह।
निश्चित रूप से, आप में से कई लोग विज़ुअलाइज़ेशन और विश्लेषण के लिए वहाँ दिलचस्प डेटा पा सकेंगे।

और डेटा ही MongoDB में उपयोग के लिए उपयुक्त प्रारूपों में उपलब्ध है:
- Mongoexport के माध्यम से JSON प्रारूप में - http://export.opengovdata.ru/raw/gs_json..7
- Mongodump के माध्यम से BSON प्रारूप में - http://export.opengovdata.ru/raw/gs_bson.7z

सरणी का विश्लेषण संगठनों पर केंद्रित है, न कि सरकारी सेवाओं पर, इसलिए मुख्य तालिका वहां पर है। कई सहायक तालिकाएं भी हैं जिनके माध्यम से डोमेन, ईमेल पते और इसी तरह के आंकड़े पढ़े जाते हैं।

डेटा संरचना का वर्णन इस प्रकार है।

संगठन संग्रह - संगठन

• _id - सिस्टम में एक अद्वितीय संगठन कोड, Mongodb पहचानकर्ता
• कुंजी - Gosuslug वेबसाइट पर एक अद्वितीय संगठन कोड
• नाम - संगठन का नाम
• url - राज्य सेवा की वेबसाइट का लिंक
• स्तर - संगठन अधीनता स्तर
• जनक - मूल संगठन कोड, यदि कोई हो
• प्रोफ़ाइल - संगठन प्रोफ़ाइल से खेतों की एक सूची के साथ 2 लाइनों के सरणियों की एक सरणी
• childs - शब्दकोश सहयोगी
• childs.num - संगठनों की संख्या
• childs.list - संगठन कोड की सूची / सरणी
• सेवाएं - इस संगठन द्वारा प्रदान की गई सेवाओं का वर्णन करने वाला शब्दकोश
• services.exists - संगठन में सेवाओं के ब्लॉक के अस्तित्व का ध्वज
• services.items - फ़ील्ड नाम और url के साथ सेवा शब्दकोशों की एक सरणी
• उपसमूह - अधीनस्थ संगठनों का शब्दकोश
• suborgs.exists - एक ब्लॉक के संगठन के अस्तित्व का झंडा
• उपसमूह - कुंजी, नाम और यूआरएल फ़ील्ड के साथ सेवा शब्दकोशों की एक सरणी
• अज्ञात - शब्दकोश के रूप में पृष्ठ का "अज्ञात" ब्लॉक। केवल तभी प्रस्तुत करें जब कोई अन्य ब्लॉक न हो
• अज्ञात.नेता - संगठन के सेवा ब्लॉक अस्तित्व का झंडा
• अज्ञात.मान - एक सरणी, हमेशा खाली
• संपर्क - संगठन संपर्क शब्दकोश
• contacts.exists - एक ब्लॉक के संगठन के अस्तित्व का झंडा
• contacts.items - संपर्कों के साथ तार की एक सरणी
• स्थान - सेवा के स्थानों का शब्दकोश
• स्थानों.न्यासियों - एक ब्लॉक के संगठन के अस्तित्व का झंडा
• place.items - सेवा के स्थानों का वर्णन करने वाले स्ट्रिंग की एक सरणी

पृष्ठ संग्रह - पृष्ठ

• _id - सिस्टम पर अद्वितीय कोड, Mongodb पहचानकर्ता
• url - अनुरोधित पृष्ठ का लिंक
• rurl - सार्वजनिक सेवाओं की साइट से रीडायरेक्ट के बाद पृष्ठ का url
• पृष्ठ - पृष्ठ की सामग्री के लिए HTML कोड का एक टुकड़ा।

डोमेन संग्रह - साइट डोमेन (ईमेल पते के आधार पर)

• _id - सिस्टम पर अद्वितीय कोड, Mongodb पहचानकर्ता
• डोमेन - डोमेन
• has_a - DNS में ए रिकॉर्ड की उपस्थिति को चिह्नित करें
• a - नाम फ़ील्ड के साथ शब्दकोशों की एक सरणी और DNS से ​​क्वेरी ए के परिणामों की एक सूची
• has_mx - DNS में एमएक्स रिकॉर्ड की उपस्थिति का झंडा
• mx - फ़ील्ड नाम (सर्वर नाम), l2_dom (द्वितीय स्तर डोमेन सर्वर), प्राथमिकता (प्राथमिकता) और DNS के लिए MX क्वेरी परिणामों की सूची के साथ शब्दकोशों की एक सरणी

Mx_servers संग्रह - मेल सर्वर

• _id - सिस्टम पर अद्वितीय कोड, Mongodb पहचानकर्ता
• डोमेन - मेल सर्वर डोमेन
• l2_dom - दूसरे स्तर का डोमेन
• num_domains - इस एमएक्स सर्वर का उपयोग करने वाले डोमेन की संख्या
• डोमेन - इस एमएक्स सर्वर का उपयोग करने वाले डोमेन की एक सरणी

ईमेल संग्रह - संगठन संपर्कों से ईमेल पते

• _id - सिस्टम पर अद्वितीय कोड, Mongodb पहचानकर्ता
• ईमेल - ईमेल पता
• डोमेन - ईमेल पता डोमेन
• पार्स किया गया - ध्वज जिसे ईमेल पता पार्स किया गया है
• मान्य - ध्वज जो ईमेल पता सही है
• has_a - DNS में ए रिकॉर्ड की उपस्थिति को चिह्नित करें
• a - नाम फ़ील्ड के साथ शब्दकोशों की एक सरणी और DNS से ​​क्वेरी ए के परिणामों की एक सूची
• has_mx - DNS में एमएक्स रिकॉर्ड की उपस्थिति का झंडा
• mx - फ़ील्ड नाम (सर्वर नाम), l2_dom (द्वितीय स्तर डोमेन सर्वर), प्राथमिकता (प्राथमिकता) और DNS के लिए MX क्वेरी परिणामों की सूची के साथ शब्दकोशों की एक सरणी

सेवाएं संग्रह - सार्वजनिक सेवाएं
विवरण अभी तक पूरा नहीं हुआ है, सेवाओं के लिए केवल संगठनों के नाम और बाइंडिंग हैं

• _id - सिस्टम पर अद्वितीय कोड, Mongodb पहचानकर्ता
• नाम - सार्वजनिक सेवा का नाम
• url - सार्वजनिक सेवाओं की वेबसाइट से लिंक
• num_orgs - संगठनों की संख्या
• orgs - इस सेवा प्रदान करने वाले संगठनों के कोड की एक सरणी

और इसके अलावा, आप में से जो इस डेटा के साथ काम करने के बारे में सोच रहे हैं, मैं सुझाव देता हूं कि OpenGovData.ru में कैटलॉग पर ध्यान दें, जहां से आप सार्वजनिक सेवाओं पर डेटा को बेहतर बनाने / विश्लेषण करने के लिए उपयोग करने का प्रयास कर सकते हैं।

मैं राज्य सेवाओं से डेटा निकालने और पार्स करने वालों के लिए एक कोड भी ट्रांसफर कर सकता हूं। मैं जल्द ही इसे किसी भी मामले में, सार्वजनिक डोमेन में पोस्ट कर दूंगा, लेकिन अभी तक यह विशेष रूप से प्रकाशन के लिए तैयार नहीं है - बिना टिप्पणी या स्पष्टीकरण के।