👩🏼‍🎨 🈹 👏 मॉस्को ओपन डेटा और एपीआई चैलेंज इसके आधार पर 👩🏿‍🎓 🙃 🔔

उन डेवलपर्स के साथ संवाद करने के मेरे अनुभव में, जिन्होंने कभी खुली डेटा प्रतियोगिताओं में भाग लिया है, वे सभी कहते हैं कि हमें यथासंभव अधिक विवरण के डेटा की आवश्यकता है।

उदाहरण के लिए, क्षेत्रों के आंकड़े नहीं, बल्कि नगरपालिकाओं के आंकड़े। अपराधों / यातायात दुर्घटनाओं का सारांश नहीं, बल्कि पते और निर्देशांक के साथ जानकारी।
न केवल निर्देशांक वाले संस्थानों के पते, बल्कि प्रत्येक के बारे में विस्तृत जानकारी।

जबकि इस तरह के विस्तृत डेटा, स्पष्ट रूप से, थोड़ा सुविधाजनक रूप में। यदि हम मास्को को एक उदाहरण के रूप में लेते हैं, तो यहां तक कि मास्को data.mos.ru पोर्टल पर भी , अधिकांश डेटा एक पते और कुछ अन्य न्यूनतम जानकारी के रूप में जियोडाटा या भू-संदर्भित डेटा है। यह स्पष्ट है कि उनके साथ वास्तव में दिलचस्प कुछ करना मुश्किल है। इसलिए, हम कहते हैं कि कम से कम इस बारे में खुलासा करने और अधिक दिलचस्प डेटा प्राप्त करने और उनके साथ क्या करना है, इसके लिए मॉस्को सरकार को धन्यवाद।

प्रतियोगिताओं और प्रतियोगिताओं

मैं इस प्रश्न का तुरंत उत्तर दूंगा कि यह क्यों आवश्यक है - किसी भी दिलचस्प डेटा के बिना डेवलपर्स के लिए एकल प्रतियोगिता / हैकथॉन / प्रतियोगिता आयोजित करना असंभव है। हम Apps4Russia प्रतियोगिता और कई अन्य लोगों में आयोजित यैंडेक्स हैकाथॉन में इसका सामना करते हैं।

इसलिए, अब, जैसा कि हम एपीआई चैलेंज तैयार करने में मदद करते हैं , हमने जितना संभव हो उतना उपयोगी डेटा तैयार करने का निर्णय लिया। और चूंकि एपीआई चैलेंज मास्को के अधिकारियों से आने वाली एक प्रतियोगिता है और मास्को पर केंद्रित है, हम मॉस्को पर डेटा एकत्र करते हैं।

इसे प्राप्त करने के लिए, हमने दर्जनों वेबसाइटों के माध्यम से ब्राउज़ करना शुरू किया और कुछ ऐसी चीज़ों की तलाश कर रहे हैं जिनका उपयोग कानूनी रूप से और लाभ के साथ किया जा सके।

यह कैसे हुआ और जारी है

पहले आपको यह समझने की आवश्यकता है कि डेटा कहाँ देखना है। सार्वभौमिक सूत्र 4 दिशाओं में है।

अधिकारियों की आधिकारिक वेबसाइट
संघीय निकायों (एफएसआईएन, न्याय मंत्रालय, आंतरिक मामलों के मंत्रालय, आदि) के क्षेत्रीय प्रभागों की साइटें।
राज्य के स्वामित्व वाले उद्यमों और राज्य-विनियमित एकाधिकार की साइटें
नगर पालिकाओं के स्थल

आखिरी पैराग्राफ मास्को को कमजोर रूप से संदर्भित करता है और फिर केवल नए क्षेत्रों में, लेकिन सभी बाकी पूरी तरह से वहां और सुलभ हैं।

हमने सभी विभागों की साइटों को देखा, उनकी सूची दिलचस्प डेटा के www.mos.ru पर मिली, ऐसा बहुत कम नहीं है, लेकिन पर्याप्त नहीं है। कुछ डेटा जो वे पहले से ही data.mos.ru पर प्रकाशित कर चुके हैं, जबकि अन्य को पीडीएफ दस्तावेजों से इसे निकालने के लिए महत्वपूर्ण प्रयासों की आवश्यकता होती है, उदाहरण के लिए, मोसेकोमोनिटोरिंग रिपोर्ट बड़े पीडीएफ दस्तावेज हैं जिन्हें मैन्युअल रूप से डेटा में अनुवाद नहीं किया जा सकता है।

आगे संघीय सरकार के क्षेत्रीय प्रशासन की साइटों पर। मॉस्को में, सभी क्षेत्रों की तरह, बड़ी संख्या में संघीय निकायों के प्रतिनिधि कार्यालय हैं, क्योंकि हमारे देश में शक्ति के कई कार्य संघीय सरकार और क्षेत्रों के बीच विभाजित हैं। विशेष रूप से, आंतरिक मामलों का मंत्रालय संघीय सरकार, फेडरल पेनिटेंटरी सेवा, बेलीफ सर्विस, अभियोजक के कार्यालय और बहुत कुछ को संदर्भित करता है। हमने उनकी बहुत सारी साइटों को देखा, उनकी सूची को पहले रूसी संघ की सरकार की वेबसाइट पर खोजा, और फिर प्रत्येक के माध्यम से जाकर मॉस्को में एक अनुभाग ढूंढा।

और अंत में, राज्य के स्वामित्व वाले उद्यमों और विनियमित निगमों पर डेटा उनके उपयोग की संभावना के संदर्भ में सबसे जटिल हैं। तथ्य यह है कि प्राकृतिक लोग संघीय एंटीमोनोपॉली सेवा और संघीय सीमा शुल्क सेवा के आदेशों के अनुसार कई डेटा प्रकाशित करने के लिए बाध्य हैं, और ये डेटा केवल सार्वजनिक डोमेन हैं, उन पर कोई प्रतिबंध नहीं है। आमतौर पर, साइटों पर इन वर्गों को "प्रकटीकरण" कहा जाता है। अन्य जानकारी के अनुसार, उनकी वेबसाइटों पर कोई असमान कानूनी शुद्धता / समझ नहीं है - यहाँ हमें अपने खुलेपन को विनियमित करने में एक शहर की नीति की आवश्यकता है। फिर भी, डेवलपर्स की प्रतियोगिता के लिए, उनके उच्च सामाजिक मूल्य के मामले में ऐसा डेटा काफी उपयुक्त है।

हमने क्या पाया

मैं डेटा को उन सरणियों के लिंक के साथ तुरंत सूचीबद्ध करूंगा जिन्हें हमने निकाला था और जिन्हें तुरंत डाउनलोड और उपयोग किया जा सकता है।
हम जो भी डेटा इकट्ठा करते हैं, उसे हम अपने ओपन डेटा के हब पर अपलोड करते हैं। यह ओपन नॉलेज फाउंडेशन द्वारा thedatahub.io के समान एक खुला गैर-लाभकारी परियोजना है। उस पर रखी गई हर चीज हमेशा खुली रहेगी और पोर्टल उन लोगों को अनुमति देता है जो CKAN API के माध्यम से कम से कम सभी डेटा अपलोड करना चाहते हैं।

वकीलों का रजिस्टर

ये आंकड़े रूस के न्याय मंत्रालय की वेबसाइट पर पोस्ट किए गए हैं - मास्को कार्यालय।

हमने उन्हें अपवित्र किया और सामान्य क्षेत्रों के साथ JSON, CSV और XLS में परिवर्तित कर दिया। अब डेटा यहाँ डाउनलोड किया जा सकता है - http://hubofdata.ru/dataset/mosadv

नोटरी रजिस्ट्री

न्याय मंत्रालय की वेबसाइट से डेटा, फिर से ।
कहानी उनके साथ बिल्कुल वैसी ही है - यह शुरू में एक XLS फ़ाइल है, हमने इसे बस डाउनलोड किया, इसे OpenRefine में संसाधित किया और इसे JSON, CSV में परिवर्तित किया और इसे यहाँ रखा - http://hubofdata.ru/dataset-mos-notary

मास्को जेल

जेलों की एक बहुत छोटी सूची मास्को में FSIN वेबसाइट पर उपलब्ध है - http://www.77.fsin.su/structure/
एक बहुत ही साधारण पार्सर के साथ, इसे सभी समान JSON, CSV, XLS स्वरूपों में बदल दिया गया और यहाँ पोस्ट किया गया - http://hubofdata.ru/dataset/mos-prison

सड़कों के किनारे मोसगज़ इकाइयों के संपर्क

यदि पिछले 3 सरणियाँ संघीय अधिकारियों से राज्य डेटा से संबंधित हैं, तो अगला सरणी मोसाज़ के संपर्कों पर डेटा है, जो मॉस्को में एक उद्यम है और सूचना प्रकटीकरण पर कानूनों और नियमों द्वारा विनियमित है।

मोसागज़ में एक खंड है जिसमें आप अपनी इकाइयों के संपर्कों का पता लगाने के लिए सड़क पर प्रवेश कर सकते हैं। यहाँ यह http://www.mos-gaz.ru/services/territory/ है

चूंकि इस खंड के अंदर यह काफी सरल AJAX कोड था - यह थोड़े समय में सभी संपर्कों और सभी विभागों को निकालने के लिए निकला और हमने संपर्कों का एक बड़ा सरणी http://hubofdata.ru/dataset/mosgaz-contacts पोस्ट किया जिसमें सड़क के साथ फाइल जिलों और फाइलों के लिए बाध्य हैं। क्षेत्रों के लिए बाध्यकारी इकाइयों के साथ।

टीपीपी, जलविद्युत पावर स्टेशन और मोस्सेंर्गो के राज्य जिला पावर स्टेशन के पते

मॉस्कोनरगो की साइट पर, मॉस्को के प्राकृतिक एकाधिकार में, उनके थर्मल पावर प्लांट, हाइड्रोइलेक्ट्रिक पावर स्टेशन और स्टेट डिस्ट्रिक्ट पावर प्लांट्स के पते हैं - http://www.mosenergo.ru/catalog/228.aspx यह सूची बहुत छोटी है, लेकिन ऐसे डेटा में रुचि रखने वाले सभी के लिए उपयोगी है।

इसे पार्स और यहाँ रखना आसान था - http://hubofdata.ru/dataset/mosenergo-filials । यह डेटा उन सभी के लिए उपयोगी है जो मॉस्को में पर्यावरण की स्थिति पर आवेदन करने का निर्णय लेते हैं और मैं अभी तुरंत कहता हूं, हम अभी तक मोसेंर्गो के सभी डेटा को संसाधित नहीं कर पाए हैं। उनके पास " 2TP-Air " सांख्यिकीय रिपोर्ट अनुभाग में कई सार्वजनिक रिपोर्टें हैं, प्रत्येक स्टेशन के लिए XLS प्रारूप में बहुत अधिक डेटा है कि वे कितना कचरा फेंकते हैं। हो सकता है कि कोई उन्हें इकट्ठा करने और उन्हें एक साथ लाने के लिए तैयार होगा।

रूस के डाकघरों के पते और विशेषताएं

रूसी पोस्ट एक सरकारी निकाय नहीं है, लेकिन काम की गुणवत्ता को देखते हुए अक्सर राज्य के स्वामित्व वाले उद्यम की आलोचना की जाती है। उनके पास विभागों पर डेटा है, विशेष रूप से, वे उन्हें अपनी कई साइटों पर प्रकाशित करते हैं, जिनमें से मुख्य उनकी साइट है ।

हमने मॉस्को में उनके कार्यालयों के डेटा को उनके स्थान, पते, अनुक्रमित, काम के घंटे और इतने पर निर्देशांक के साथ निकाला। इस डेटा को किसी भी तरह से एक सरल तरीके से CSV में पैक नहीं किया जा सकता है, इसलिए यह एक JSON फ़ाइल http://hubofdata.ru/dataset/ruspost-msk में उपलब्ध है

शोर की शिकायतें

पहले उल्लेख किए गए मॉसकोमोनिटोरिंग की साइट पर, शोर के बारे में शहर के निवासियों की शिकायतों से डेटा की एक छोटी लेकिन उत्सुक सरणी की खोज की गई थी। यहां http://www.mosecom.ru/noise/territ/noise_stroy_pl_2013.php इन शिकायतों को एकत्र किया गया है और उन्हें पते के बारे में जानकारी भी है, अर्थात, यदि वे चाहें तो कार्ड पर सुपरइम्पोज किया जा सकता है।

हमने इस डेटा को एक पार्सर के साथ बाहर निकाला और हब पर पोस्ट किया - http://hubofdata.ru/dataset/msk-noise-req

गैर-लाभकारी संगठन

और यहाँ सबसे बड़ी डेटा सरणियाँ गई हैं। इस मामले में, हमने न्याय मंत्रालय की वेबसाइट को देखा और पाया कि गैर-लाभकारी संगठनों के रजिस्टर में उन्हें क्षेत्र में प्राप्त किया जा सकता है। यहाँ - http://unro.minjust.ru/NKOs.aspx
वास्तव में, हमने इस साल की शुरुआत में बहुत समय पहले किया था, और डेटा "शेल्फ पर धूल इकट्ठा कर रहा था।" अब हमने उन्हें काम के लिए सुविधाजनक प्रारूपों में बदल दिया है और हब पर पोस्ट किया है - http://hubofdata.ru/dataset/mos-nko-2013

कृपया ध्यान दें कि डेटा को संगठनों के प्रकारों में विभाजित किया गया है। यदि आप धार्मिक संगठनों पर और दूसरों पर अलग से काम करना चाहते हैं।

निर्वाचन क्षेत्रों और निर्माण की तारीखों के संदर्भ में मास्को घरों के मामले

और अंत में, डेटा जो सबसे उपयोगी हो सकता है। कई साइटों ने मास्को में प्रत्येक घर के लिए विस्तृत डेटा दिखाया। ये साइटें हैं जैसे कि dom.mos.ru, gorod.mos.ru, reformazhkh.ru, mosgorizbirkom.ru और कई अन्य।

हमारे पास उन सभी को संसाधित करने और घरों में सभी डेटा को एक ही डेटाबेस में लाने के सपने को साकार करने का समय नहीं था, लेकिन हमने पहला कदम उठाया - हमने कई डेटाबेसों को छांटा और उन्हें आगे संयोजित करना संभव बनाया।

अब उपलब्ध है:

PECs के संदर्भ में सभी घरों का आधार - http://hubofdata.ru/dataset/mos-elect-houses प्रत्येक PEC के लिए मतदान स्थल पर अतिरिक्त जानकारी और जानकारी होती है
घरों के निर्माण की तारीखों का आधार http://hubofdata.ru/dataset/mos-builds-years इस तथ्य के बावजूद है कि साइट पर, वास्तव में, प्रत्येक घर के लिए बहुत अधिक जानकारी है, हमने अब तक निर्माण की तारीखें एकत्र कर ली हैं और हमें उम्मीद है कि ऐसे लोग हैं जो हर चीज को इकट्ठा करने में मदद करना चाहते हैं डेटा

बेशक, यह सब नहीं है। अधिक डेटा है और हम उन्हें हब में नियमित रूप से अपलोड करेंगे।
सभी github कोड को github पर रखा गया है जिसका उपयोग हम https://github.com/infoculture/mosopendata पर करते हैं

सारांश के रूप में, निष्कर्ष और सुझाव क्या हैं:

मॉस्को में हम जो कुछ इकट्ठा कर रहे हैं और पारसीम कर रहे हैं, हम आधिकारिक तौर पर खुलासा करने के लिए डीआईटी के अधिकारियों की पेशकश करेंगे। मुझे लगता है कि वे मना नहीं करेंगे, क्योंकि डेटा पहले से ही स्पष्ट है कि कहां देखना है। किसी भी मामले में, मॉस्को अधिकारियों के अधिकार क्षेत्र में आने वाले आंकड़ों में, यहां संघीय लोगों के साथ है - आपको संघीय अधिकारियों से लंबे समय तक पूछना होगा।
आप अपने पसंदीदा क्षेत्र या शहर में बहुत अच्छा कर सकते हैं और खुले शहर के डेटा का एक पोर्टल बना सकते हैं या इसे हमारे हब या अन्य जगहों पर सामान्य उपयोग के लिए अपलोड कर सकते हैं।
प्रतियोगिताओं और प्रतियोगिताओं में भाग लें। और जो मैंने ऊपर उद्धृत किया है, और उस सब में होगा। यह न केवल आपके कौशल का परीक्षण करने का अवसर है, बल्कि एक महत्वपूर्ण पुरस्कार भी प्राप्त करने के लिए है।

मॉस्को ओपन डेटा और एपीआई चैलेंज इसके आधार पर