रूसी सार्वजनिक पहल के लिए एपीआई। चरण 1: डेटा संग्रह और विश्लेषण

एक परिचय के रूप में

आप सभी शायद रूसी सार्वजनिक पहल ( www.roi.ru ) की घटना को याद करते हैं - संघीय सरकार के व्यक्ति में राज्य द्वारा घोषित एक ऑनलाइन याचिका के लिए हस्ताक्षर एकत्र करने की पहल। यह माना जाता है कि यदि याचिका पर 1 वर्ष में 100 हजार वोट एकत्र किए जाते हैं, तो याचिका को हमारे अधिकारियों द्वारा आधिकारिक रूप से माना जाएगा। और बिल का दर्जा पाने का भी मौका है।

इसी समय, 6 याचिकाएं पहले ही इस तरह के एक फिल्टर को पारित कर चुकी हैं - https://www.roi.ru/complete/ उनमें से दो ने वास्तव में 100 हजार वोटों की सभा को पारित किया और 4 याचिकाएं जिन्हें कम वोट मिले, लेकिन अधिकारियों ने प्रतिक्रिया देने में कामयाबी हासिल की।

और, हालांकि याचिकाएं इस बात की गारंटी नहीं देती हैं कि कोई भी निर्णय बिल्कुल ही किया जाएगा, कई उन्हें न केवल एक सकारात्मक समाधान की उम्मीद में बनाते हैं, बल्कि समस्या को "मीडिया एजेंडा" पर दूसरे शब्दों में डालने के लिए भी कहते हैं, ताकि मीडिया इसके बारे में लिख सके। और एक सार्वजनिक राज्य प्रतिक्रिया होगी।

इसलिए, आरओआई, अब तक, राज्य परियोजनाओं का अंतिम नहीं है और इसमें रुचि है। इसके अलावा, ROI में कई कमियां और समस्याएं हैं।

ROI की समस्याएं

ईएसआईए (सरकारी सेवाओं) के माध्यम से प्राधिकरण

इस बारे में पहले से ही बहुत कुछ लिखा गया है - प्राधिकरण, बेशक, सैकड़ों हजारों लोगों ने सार्वजनिक सेवाओं के लिए मतदान करने में सक्षम होने के लिए पंजीकरण करना शुरू कर दिया है, लेकिन यह किसी भी तरह से एक बाधा है। इसे व्यवस्थित करना इतना आसान नहीं है, और अभी तक सभी नागरिकों के पास इस तरह का पंजीकरण नहीं है। उदाहरण के लिए, एक मोबाइल फोन नंबर के संदर्भ में ऑनलाइन पंजीकरण की व्यवस्था कर सकता है।
यह एक सीमा है जिसे हम अभी तक दूर नहीं कर सकते हैं।

डेटा और एपीआई खोलें

आरओआई कई लोगों के लिए न केवल उनकी याचिकाओं के संदर्भ में बल्कि सामान्य रूप से याचिकाओं के लिए भी रुचि रखता है। याचिकाएँ उन सभी के लिए दिलचस्प सामग्री हैं जो यह समझना चाहती हैं कि नागरिकों को क्या चिंता है और कौन सी समस्याएं सभी को सबसे ज्यादा प्रभावित करती हैं।
कई कार्यों के लिए खुला डेटा आवश्यक है:

• ट्रैकिंग पहल के लिए मोबाइल ऐप
• विज़ुअलाइज़ेशन और एनालिटिक्स के लिए
• एक पहल की सफलता / विफलता का अनुमान लगाने के लिए
• पहल को बढ़ावा देने और उन पर ध्यान आकर्षित करने के लिए सेवाएं बनाना

डेटा एकत्र करना

ROI के लिए एक पूर्ण एपीआई बनाने के लिए शुरू करने से पहले, मैंने वहां से सूचनाओं के संग्रह की मॉडलिंग शुरू की और यहाँ लिखा कि Github पर ऐसा छोटा दस्तावेज़ - ROI के लिए API

जहां मूल अवधारणाओं को पूर्व-चित्रित किया गया है जो सिस्टम में हैं और जिन्हें सैद्धांतिक रूप से निकाला जा सकता है।
और तुरंत सीमाओं का पता चला:

1. / के खिलाफ वोट केवल अधिकृत उपयोगकर्ताओं के लिए उपलब्ध हैं। यह देखते हुए कि सार्वजनिक सेवाओं के माध्यम से प्राधिकरण - यह कुछ प्रतिबंध लगाता है। निस्संदेह, प्राधिकरण निश्चित रूप से सराहनीय है, लेकिन अभी तक हम "माथे में" उस डेटा को इकट्ठा कर रहे हैं जिसमें इस तरह के प्रतिबंध नहीं हैं।
2. डेटा को याचिका पृष्ठ पर याचिका के विवरण और याचिकाओं की सूची के बीच विभाजित किया गया है। इस सूची में वोट के लिए और पृष्ठ पर डेटा है, जैसा कि मैंने पहले ही लिखा था, वोटों का डेटा केवल प्राधिकरण के पास उपलब्ध है।

डेटा डाउनलोड करने के लिए, एक छोटी सी स्क्रिप्ट लिखी गई थी जिसने डेटा को याचिकाओं की सूची और उनके पृष्ठों से बाहर पंप किया, और फिर उन्हें एक सामान्य विवरण में घटा दिया। MongoDB को भंडारण के रूप में इस्तेमाल किया गया था। यहां आप इसे डाउनलोड और देख सकते हैं - github.com/ivbeg/apiroi/blob/master/scripts/data_extract.py
स्क्रिप्ट यथासंभव सरल और निश्चित रूप से है, फिर नियमित रूप से याचिकाओं को अद्यतन करने और तुरंत उन्हें एक ही प्रारूप में संकलित करने के लिए इसे पूरी तरह से बदल दिया जाएगा।

डेटा को बहुत तेज़ी से एकत्र किया गया था - इसमें सचमुच कई घंटे लगते थे। मैं इस बात के विवरण में नहीं जाऊंगा कि कैसे पार्सर लिखते हैं - यह एक बहुत ही सरल मामला है, इसमें कोई आश्चर्य की बात नहीं है।
प्राप्त डेटा अब Github पर यहाँ उपलब्ध है github.com/ivbeg/apiroi/tree/master/scripts/data/raw और खुले डेटा हब पर - hubofdata.ru/dataset/roi-pump

तो, डेटा एकत्र किया गया है, आगे क्या है?

डेटा का विश्लेषण

मैंने इस पोस्ट को एपीआई पोस्ट कहा है क्योंकि अंतिम लक्ष्य इसे प्राप्त करना है। हालांकि, जब हम यह कर रहे हैं, हम समझ सकते हैं कि एपीआई को सबसे सुविधाजनक और तरीका कैसे बनाया जाए और क्या यह आवश्यक है कि वहां किसी भी डेटा को शामिल किया जाए और एकत्र किए गए डेटा के आधार पर अतिरिक्त डेटा स्लाइस बनाएं। एक एपीआई, आखिरकार, डेटा वापस करने के लिए सिर्फ एक एपीआई नहीं हो सकता है; एक एपीआई बहुत अधिक कार्य कर सकता है।

पहले, आइए इस बारे में सोचें कि हम अपने डेटा से क्या निकाल सकते हैं जो विज़ुअलाइज़ेशन के लिए सुविधाजनक है। मान लीजिए कि एपीआई के उपभोक्ता मीडिया हैं और जो लोग उनकी कल्पना करना चाहते हैं।
यहाँ कुछ विचार हैं जो मेरे बारे में आए जो दिलचस्प हो सकते हैं:
1. 100 हजार वोट हासिल करने वाली एक पहल की संभावना को समझें।
2. पहल के लिए मतदान की तीव्रता का मूल्यांकन करें।
3. सबसे "मतदाता लेखकों" को पहचानें
4. सबसे अनुरोधित विषयों को पहचानें।

वास्तव में, यह निर्धारित करना शुरू करने के लिए यह सब है - data_process.py स्क्रिप्ट लिखी गई थी, यह वहाँ पर है, github पर है, और इसकी मदद से ऊपर दिए गए संकेतक की गणना की गई थी।
डेटा फ़ोल्डर में - परिष्कृत - JSON में प्रारंभिक गणना के परिणाम हैं।

किसी पहल की संभावना का आकलन कैसे करें? आदर्श रूप से, पूरे समय और दिन तक मौजूद रहने के लिए मतदान के आंकड़ों पर विवरण होना वांछनीय है, लेकिन हमारे पास एक आदर्श स्थिति नहीं है और इस तरह के विवरण केवल पहल के लेखकों के लिए उपलब्ध हैं।
इस बीच, पूर्वानुमान सूत्र बहुत सरल है। आप गणना कर सकते हैं कि सूत्र द्वारा कितने लोग संभावित रूप से मतदान कर सकते हैं:
वोट + (वोट / (check_date_seconds - start_date_seconds)) * * (end_date_seconds - जांच_date_seconds)

• वोट - डेटा पुनर्प्राप्ति की तारीख को वोटों की संख्या
• check_date_seconds - सेकंड में डेटा सैंपलिंग की तारीख
• start_date_seconds - सेकंड में याचिका के प्रकाशन की तारीख
• end_date_seconds - सेकंड में याचिका की जानकारी एकत्र करने की पूर्ण तिथि

दूसरे शब्दों में, इस धारणा से सब कुछ माना जाता है कि लोग उसी तरह से मतदान करेंगे जैसे उन्होंने पहले वोट दिया था और वोटों का वितरण लगभग समान होगा। यह, ज़ाहिर है, सबसे अधिक संभावना नहीं है, और बहुत कुछ आरंभकर्ताओं की मीडिया गतिविधि पर निर्भर करता है, हालांकि, एक प्रारंभिक सन्निकटन देता है।
और इसलिए पहले विश्लेषण ने स्क्रीनशॉट में दिखाया गया है की एक तस्वीर दिखाई।


यह पता चला है कि:

• 100 हजार वोटों से 6 याचिकाएं
• 5 याचिकाएं 50 हजार वोटों तक हासिल करेंगी
• शेष 2492 याचिकाएँ भी इसे प्राप्त नहीं करेंगी
• और 1641 एक याचिका, सबसे अधिक संभावना नहीं है और जिनमें से 1 हजार वोट होंगे

या फिर वही तस्वीर


जिससे मैं यह निष्कर्ष निकालता हूं कि एपीआई में कई अतिरिक्त सुविधाओं को शामिल करना उपयोगी है:

• याचिका की सफलता / विफलता की संभावनाओं को समायोजित करने के लिए पूरे मतदान इतिहास के संरक्षण की परिकल्पना की जानी चाहिए
• किसी भी याचिका पर सफलता की गणना करना संभव बनाना आवश्यक है
• आपको प्रत्येक याचिका के लिए एक लिंक शॉर्टनर की आवश्यकता है क्योंकि अभी लिंक के साथ काम करना पूरी तरह से असुविधाजनक है - वे यादगार नहीं हैं
• आरएसएस फ़ीड विकल्प की जरूरत है
• और भी बहुत कुछ

यह दुर्भाग्यपूर्ण है कि आरओआई के निर्माता स्वयं एपीआई और डेटा के संदर्भ में आरओआई को खोलने के लिए कोई प्रयास नहीं करते हैं।
लेकिन इस तथ्य के लिए धन्यवाद कि पहला कदम उठाया गया है - पहला डेटा अपलोड है और अपलोड के लिए स्क्रिप्ट के उदाहरण हैं, अब कोई भी इस तरह की एपीआई कर सकता है। और बाद के पोस्ट में मैं इसके बारे में अधिक विस्तार से लिखूंगा।