खुले डेटा का बेजा इस्तेमाल

मैंने सोचा कि इस पोस्ट को लिखना है या नहीं, फिर मैंने फैसला किया कि यह अभी भी इसके लायक है -

इससे पहले कि मैं कसकर खुले डेटा लेता, कुछ वर्षों के लिए मैं व्यस्त था और अब वर्गीकरण, पाठ विश्लेषण, अर्ध-संरचित डेटा, डेटा सफाई और संवर्धन के विभिन्न कार्यों में लगा हुआ हूं।

उदाहरण के लिए, काफी समय पहले, मैंने किसी भी वर्तनी, लिंग के निर्धारण और संभवत: नृवंशविज्ञान में एक पूर्ण नाम के स्वचालित पार्सिंग के लिए एक एल्गोरिथ्म बनाया। यह सबसे मुश्किल काम नहीं है, मैं इसे कुछ उत्कृष्ट के रूप में नहीं, बल्कि कुछ नियमित और विशिष्ट के रूप में उद्धृत करता हूं। हालाँकि, इसके बजाय विशिष्ट समस्या का समाधान। प्रश्न यह है कि इस विशिष्ट चीज़ को कैसे हल किया जाए।

और यहाँ ओपन डाटा काम आया।

हालाँकि, मैं शुरुआत से शुरू करूँगा।

1. एल्गोरिथ्म के लिए ईंधन

अब हम लगभग सभी जानते हैं कि सार्वजनिक खरीद वेबसाइट से डेटा हर किसी के लिए सुलभ है - उन्हें एक एफ़टीपी सर्वर से बड़ी मात्रा में डाउनलोड किया जा सकता है, जिसे विभिन्न उपयोगी उद्देश्यों और कार्यों के लिए इस्तेमाल किया जाता है। कई प्रोजेक्ट सामने आए हैं क्योंकि अधिकारियों ने इन आंकड़ों को प्रकाशित करना शुरू किया है। हां, और मैंने खुद उन्हें काफी पहले इस्तेमाल किया था - सार्वजनिक खरीद का विश्लेषण करने के लिए, स्वचालित रूप से उल्लंघन का पता लगाने, बाजारों का विश्लेषण करने के लिए - हाँ, कई कार्य!

और अब, कुछ समय पहले, मुझे किसी भी डेटा नमूने के लिए लिंग विश्लेषण का अवसर बनाने की इच्छा थी। उदाहरण के लिए, हम deputies की सूची का विश्लेषण करते हैं - और मैं वास्तव में सूची में मैन्युअल रूप से उनके लिंग को नीचे नहीं रखना चाहता हूं, लेकिन रोबोट को नोटों के साथ सूची में लाने दें। और फिर आप सूची की कल्पना कर सकते हैं - कितने पुरुष, कितनी महिलाएं, लिंग द्वारा गतिविधि का स्तर, आय का स्तर, और इसी तरह।

समस्या का हिस्सा सबसे लोकप्रिय नामों की सभी प्रकार की सूचियों द्वारा हल किया जाता है, यह अच्छी तरह से एक मध्य नाम और इतने पर हल किया जाता है। जब पूर्ण नाम की इनपुट स्ट्रीम अच्छी तरह से संरचित हो जाती है, तो यह दृष्टिकोण अच्छी तरह से काम करता है, लेकिन जब उन्हें "इवान पेट्रोव" से "पेट्रोव आईए" और एक दर्जन से अधिक विकल्पों में लिखा जाता है, तो यह पता चलता है कि बहुत सरल और सामने वाले समाधान पर्याप्त नहीं हैं। इसलिए, मैंने इस तथ्य के बारे में सोचा कि हमें नाम, संरक्षक और अंतिम नामों के संदर्भ डेटाबेस की आवश्यकता है, साथ ही साथ पूर्ण नाम की आने वाली धारा की संरचना की मान्यता भी है।

ऐसी निर्देशिकाओं को बनाने के लिए आपको पूर्ण नामों का एक संरचित आधार चाहिए जो इस उद्देश्य के लिए उपयोग किया जा सके।

सवाल यह है कि इष्टतम समाधान कैसे खोजें?

समाधान पास ही था। व्यक्तियों के नाम खुले डेटा के कई बड़े सरणियों में हैं जो प्राधिकरण खोलते हैं। विशेष रूप से, संपर्क व्यक्तियों, जिम्मेदार व्यक्तियों और इतने पर का पूरा नाम खरीद घोषणाओं, खरीद प्रोटोकॉल और अनुबंध विवरण में है। और संगठनों के कार्ड की संपर्क जानकारी में भी!

हां, कई लोग वहां नकल करते हैं, लाखों लोग नहीं, केवल सैकड़ों हजारों, लेकिन डेटा संरचित है और यह केवल इस नमूने को सही ढंग से वर्गीकृत करने के लिए बना हुआ है, इसे निर्देशिकाओं में क्रमबद्ध करें, और फिर उन्हें नाम, संरक्षक और अंतिम नामों को पहचानने के लिए उपयोग करें। यह हमें नाम और नाम की संरचना को समझने की अनुमति देता है जो एल्गोरिथ्म में आता है और लिंग का सटीक निर्धारण करता है।

अब यह एल्गोरिथ्म 26 हजार नामों की एक निर्देशिका, 40 हजार संरक्षक और लगभग 300 हजार अंतिम नामों का उपयोग करता है। इसके साथ, हम, उदाहरण के लिए, जिला पुलिस अधिकारियों के आधार में सुधार करते हैं और अब हमारे पास लिंग के निशान के साथ एक डेटाबेस है (जहां हम इसे निर्धारित करने में कामयाब रहे) और जिला पुलिस अधिकारियों के लिंग संरचना का विश्लेषण भी है। यहाँ यह सब है - http://data.openpolice.ru/dataset/mvd-uchast

बेशक, मैं यह नहीं कहना चाहता कि पूर्ण नाम के साथ कोई अन्य स्रोत और आधार नहीं हैं, हालांकि, उनमें से कुछ हैं जो त्वरित उपयोग के लिए व्यावहारिक रूप से तैयार हैं।

2. निर्देशिकाओं का पुनर्निर्माण

कई खुले और बहुत सार्वजनिक डेटा के लिए ऐसी कोई विशेषता नहीं है जो वे प्रकाशित, प्रकाशित किए गए हैं, लेकिन उनका विवरण ढूंढना मुश्किल है और उन निर्देशिकाओं को खोजना और भी मुश्किल है जो उनके अंदर उपयोग की जाती हैं। ज्यादातर बार यह बुराई से नहीं हुआ (बुराई से वे बस डेटा को प्रकाशित नहीं करने की कोशिश करते हैं), लेकिन संभावित डेटा उपयोगकर्ताओं की जरूरतों की गलतफहमी से।

मैं कुछ उदाहरण दूंगा।

बजट गाइड

रूस का वित्त मंत्रालय नियमित रूप से राज्य के बजट और इसके कार्यान्वयन पर डेटा प्रकाशित करता है। ये अपनी वेबसाइट पर एक्सेल फ़ाइल प्रारूप में बड़ी शीट हैं - यहां " बजट पेंटिंग " अनुभाग में।

फ़ाइलों में बहुत सी अलग-अलग लाइनें हैं और उनकी ख़ासियत यह है कि उनमें से प्रत्येक में बहुत सारी निर्देशिकाओं का उल्लेख किया गया है। कई शीर्ष-स्तरीय लाइनें मुख्य बजट फंड प्रबंधक (जीआरबीएस), अन्य - एफकेआर (खर्चों का कार्यात्मक वर्गीकरण), टीएसआर (खर्चों का लक्ष्य आइटम), सीडब्ल्यूआर (खर्च के प्रकारों का कोड) और कई अन्य निर्धारित करती हैं।

इन निर्देशिकाओं को कैसे प्राप्त करें? उनमें से कुछ अपने विभिन्न राज्य प्रणालियों के खुले डेटा के रूप में उपलब्ध हैं, लेकिन हमेशा अद्यतित लोगों को ढूंढना संभव नहीं है। इसलिए, सबसे प्रभावी तरीका डेटा सरणी से निर्देशिकाओं का पुनर्निर्माण करना है। यह देखते हुए कि बजट विवरण को व्यवस्थित किया जाता है ताकि इसमें मौजूद लाइनें निर्देशिकाओं की रेखाओं का नाम हों, जो कि ग्रैन्युलैरिटी के आधार पर इन निर्देशिकाओं को काफी जल्दी बहाल कर देती हैं।

ऐसा क्यों जरूरी है? सबसे पहले, बजट की कल्पना करने के लिए इन निर्देशिकाओं की आवश्यकता होती है। दूसरे, उन्हें कई अन्य सूचना प्रकटीकरण प्रणालियों में डिक्रिप्शन के बिना उल्लेख किया गया है, उदाहरण के लिए, अनुबंध रजिस्टरों से पुराने डेटा में। जब आप रजिस्ट्री प्रविष्टियों द्वारा संदर्भित निर्देशिकाओं को नहीं जानते हैं, तो यह डेटा विश्लेषण करना मुश्किल है।

3. जियोफेरेंसिंग

मान लीजिए हमारे पास टेलीफोन के साथ संगठनों की एक सूची है और यह समझने की इच्छा है कि वे किन शहरों और क्षेत्रों से संबंधित हैं। कार्य कई कार्यों के लिए लगातार और आवश्यक से अधिक है। यह कैसे करना है? सबसे प्रभावी तरीका शहर टेलीफोन की एक निर्देशिका है और इन निर्देशिकाओं के उपसर्गों का उपयोग करके शहर का निर्धारण करना है। इस तरह की निर्देशिका कई साइटों पर उपलब्ध है, उदाहरण के लिए, रोस्टेलकॉम वेबसाइट पर या एबीसी नंबरिंग अनुभाग में रॉसिवेज़ वेबसाइट पर।

एकमात्र समस्या वहां के शहर और क्षेत्र हैं, लेकिन अधिक विस्तार से और ओकेएटीओ या केएलएडीआर जैसे किसी भी वर्गीकरण कोड के बिना नहीं। और सटीकता प्राप्त करने के लिए निर्देशिका को OKATO में लाया जाना चाहिए। लेकिन एक और तरीका है। सार्वजनिक खरीद वेबसाइट पर डेटा के बीच मैंने पहले ही उल्लेख किया है और सार्वजनिक संस्थानों की वेबसाइट पर डेटा (Bus.gov.ru) में कई संगठनों के कार्ड हैं। इस डेटा में जियो-रेफ़रिंग कोड (KLADR और OKATO) और टेलीफोन दोनों शामिल हैं। इसलिए समाधान। सबसे पहले, इन ठिकानों पर एक निर्देशिका बनाई जाती है जो आपको फ़ोन नंबर उपसर्गों और भू-संदर्भों की तुलना करने की अनुमति देती है, और उसके बाद ही संगठन का फ़ोन उसके संभावित स्थान को निर्धारित करने के लिए पर्याप्त होता है।

4. खाली डाटा

2011 में जब विश्व बैंक ने Apps4Development प्रतियोगिता का आयोजन किया था, तो प्रस्तुत परियोजनाओं में से एक ब्लाइंड डेटा प्रोजेक्ट ("अंधा डेटा") था - इसका सार यह था कि विश्व बैंक ने जो प्रकाशित किया उसमें छेद, voids, डेटा अंतराल को ढूंढना था। अब यह परियोजना उनकी प्रतियोगिता की वेबसाइट के अलावा उपलब्ध नहीं है, लेकिन जब यह वहां था तो यह स्पष्ट था कि बड़ी संख्या में देशों से कई प्रमुख मुद्दों पर डेटा की कमी थी।

एक अन्य उदाहरण सनलाइट फाउंडेशन में बनाई गई क्लीयरस्पेंडिंग परियोजना है। उनके विशेषज्ञों ने राज्य अनुबंधों के आधार पर व्यय पर बजट लाइनों और डेटा का विश्लेषण किया और "रिक्त स्थान" की पहचान की - बड़ी मात्रा में धन की रिपोर्टिंग की कमी। और वह भी भ्रष्टाचार के मामलों में नहीं, बल्कि ऐसे मामलों में जब कोई सार्वजनिक सूचना नहीं थी कि क्या खरीदा गया और कैसे।

ये उदाहरण कई में से दो हैं। कई अन्य हैं जो नागरिक नियंत्रण के लिए उपयोग किए जाते हैं। जब डेटा का प्रकाशन कुछ ऐसा खोजने के लिए किया जाता है जिसके बारे में डेटा प्रकाशित नहीं हुआ है और पहले प्रकाशित नहीं किया गया है। डेटा का पता लगाया जा सकता है, तुलना की जाती है, और असामान्य मामलों का पता लगाया जाता है। आपको बस उस चीज़ से स्विच करने की ज़रूरत है जो कि नहीं है।

5. और भी बहुत कुछ

उपरोक्त सभी नहीं है। सबसे सुलभ डेटा के उदाहरण के रूप में खुला डेटा एल्गोरिदम के विकास और अन्य कार्यों के लिए दोनों लागू है। और उनके समान एप्लिकेशन को छूट नहीं दी जा सकती है, खासकर अगर भविष्य में अन्य दिलचस्प डेटा सरणियां उपलब्ध होंगी।
उदाहरण के लिए:

• आगमन के समय की गणना के लिए सार्वजनिक परिवहन के जीपीएस ट्रैक्स का आधार स्टॉप डे फैक्टो है, न कि शेड्यूल के अनुसार;
• असामाजिक व्यवहार का स्वचालित रूप से पता लगाने या भीड़ में लोगों की संख्या की गिनती के लिए वेब कैमरा छवियों का डेटाबेस;
• दिन और दिन के समय तक पार्किंग की पूर्णता की गतिशीलता - प्रारंभिक मार्ग योजना के लिए;
• उनके विश्लेषण के लिए एल्गोरिदम की जांच के लिए पते का आधार।

और भी बहुत कुछ।

मैं इस पोस्ट के साथ कहना चाहता हूं कि खुले डेटा का उपयोग करने का परिणाम केवल साइट और मोबाइल एप्लिकेशन नहीं हो सकता है। परिणाम एल्गोरिदम और उनके सुधार हो सकते हैं। साथ ही स्पष्ट कार्यों से दूर के लिए डेटा का उपयोग।