💲 👧🏾 ♥️ चुनावों में कैमरों से सामूहिक रिकॉर्डिंग

हबर - राजनीति के लिए नहीं। यह लेख विशेष रूप से एक विशिष्ट सॉफ्टवेयर समाधान को लागू करने के तकनीकी पहलुओं से संबंधित है। आम अच्छे के लिए, कृपया किसी भी राजनीतिक बहस, भाषण, आंदोलन, या टिप्पणियों में पसंद को छोड़ दें। इसके अलावा, कृपया विनाशकारी उद्देश्यों के लिए अधिग्रहीत ज्ञान का उपयोग न करें, विशेष आवश्यकता के बिना पूरे वीडियो संग्रह को बैकअप करने के लिए शुरू न करें, और इसी तरह। आपका धन्यवाद

8 सितंबर, एकल मतदान दिवस। इस वर्ष, इंटरनेट के माध्यम से राजधानी के मेयर के चुनाव की निगरानी के लिए आम जनता को आमंत्रित किया जाता है। कई नागरिकों को कैमरों से एक तस्वीर रिकॉर्ड करना दिलचस्प लगता है: किसी की राजनीतिक रूप से प्रेरित रुचि है, और ज्यादातर खुद को देखने के लिए उत्सुक हैं और इंटरनेट की नज़रों से परिचित हैं। यह लेख वर्तमान प्रणाली के सिद्धांतों को प्रदर्शित करने और काम करने की अवधारणाओं की पेशकश करने के लिए है।

पिछले चुनाव के बाद से, सिस्टम थोड़ा बदल गया है (अन्यथा कोई लेख नहीं होगा), इसलिए पहले हम याद करते हैं कि कैसे सब कुछ पहले काम करता था और अब कैसे काम करना शुरू कर दिया है। इसलिए, प्रत्येक कैमरे में एक अद्वितीय यूआईडी और सर्वर पूल होता है जिसमें से वीडियो स्ट्रीमिंग होती है। इस डेटा का उपयोग करके एक विशेष अनुरोध बनाने के बाद, आप चयनित कैमरे द्वारा रिकॉर्ड किए गए वीडियो के एक टुकड़े को लिंक प्राप्त कर सकते हैं।

सबसे पहले, सभी मौजूदा कैमरों पर डेटा ढूंढें। निम्नलिखित विधि मुझे सबसे सरल लग रही थी: हम साइट संख्या 1 से 3800 तक खोजना शुरू करते हैं। ऐसा करने के लिए, GET vybory.mos.ru/json/id_search aaa / bbb .json भेजें, जहां bbb uid है और aaa लेन ( bbb ) है। उदाहरण के लिए, vybory.mos.ru/json/id_search/1/3.json

हमें इस खंड के बारे में जानकारी के साथ कुछ इस तरह से जाना जाता है:

[{"id":7933,"name":"   №3","num":"3","location_id":1162,"address":" , 36/9","raw_address":".,   .,  36/9","is_standalone":false,"size":null,"location":{"id":1162,"address":", ,   , 36/9","raw_address":".,   .,  36/9","district_id":1,"area_id":null,"sub_area_id":null,"locality_id":1,"street_id":1590,"lat":55.753266,"lon":37.577301,"max_zoom":17}}]

यहाँ विशेष रुचि की आईडी है । हम इस मामले में vybory.mos.ru/account/channels?station_id= id का एक GET भेजेंगे, इस मामले में vybory.mos.ru/account/channels?station_id=7933

जवाब में, हमें बदमाशों के साथ एक पंक्ति मिलती है जो मेरे संपादक की कसम खाता है, लेकिन कैमरा हैश और सर्वर पते से युक्त होता है। हम वहां से नियमित रूप से हैश को निकालते हैं
\ $ ([0-9a-h] {8} - [0-9a-h] {4} - [0-9a-h] {४} - [०-९a-h] {४} - [०० 9a-h] {12}) और नियमित रूप के आईपी पते । *? (\ D {1,3} \ _ \ _ {1,3} \ _। \ _ {1,3} \ _। \ _ \ _ {1,3}। })

नतीजतन, हम वर्तमान अनुभाग के कैमरों के बारे में आवश्यक जानकारी प्राप्त करते हैं:
2e9dd8dc-edd4-11e2-9a6b-f0def1c0f84c 188.254.112.2 188.254.112.3 188.254.112.4
2ea32990-edd4-11e2-9a6b-f0def1c0f84c 188.254.112.2 188.254.112.3 188.254.112.4

इसके बाद, बारीकियां शुरू होती हैं। तीन प्रकार के कैमरे हैं: पुराने, नए और अनुपस्थित। वे कैसे भिन्न होते हैं, मैं आपको थोड़ी देर बाद बताऊंगा, पहले हम यह पता लगाएंगे कि उन्हें कैसे अलग करना है, लेकिन उन्हें अलग करना बहुत आसान है - आपको फॉर्म का GET भेजने की आवश्यकता है http: // SERVER /master.m3u8.cid= UID
नया कैमरा कुछ इस तरह लौटेगा

# EXTM3U
# एक्सटी-एक्स-संस्करण: 2
# EXT-X-STREAM-INF: PROGRAM-ID = 777, BANDWIDTH = 3145728
/variant.m3u8?cid=e1164950-0c19-11e3-803b-00163ebf8df9&var=orig

पुराना कैमरा कुछ इस तरह लौटेगा:

# EXTM3U
# EXT-X-MEDIA-SEQUENCE: 136
# EXT-X-TARGETDURATION: 15
# EXT-X-ALLOW-CACHE: NO
# EXT-X-PROGRAM-DATE-TIME: 2013-09-04T12: 05: 40Z
# कपड़ा: 15,
/segment.ts?cid=2ea32990-edd4-11e2-9a6b-f0def1c0f84c&var=orig&ts=1378296340.93-1378296355.93
# कपड़ा: 15,
/segment.ts?cid=2ea32990-edd4-11e2-9a6b-f0def1c0f84c&var=orig&ts=1378296355.93-1378296370.93
# कपड़ा: 15,
/segment.ts?cid=2ea32990-edd4-11e2-9a6b-f0def1c0f84c&var=orig&ts=1378296370.93-1378296385.93
# कपड़ा: 15,
/segment.ts?cid=2ea32990-edd4-11e2-9a6b-f0def1c0f84c&var=orig&ts=1378296385.93-1378296400.93

404 CID के अलावा कुछ नहीं मिला तो कैमरा नहीं लौटेगा :)

अब जब हम किसी विशेष क्षेत्र में कैमरों के बारे में जानकारी प्राप्त कर सकते हैं, तो हम एक बहु-थ्रेडेड पार्सल लिखेंगे जो हमारे लिए सभी आवश्यक जानकारी एकत्र करेगा। मैं डेटा को एक नि: शुल्क मंगोलब में संग्रहीत करना पसंद करता हूं, लेकिन आप सामान्य आश्रय के साथ प्राप्त कर सकते हैं। यह जानते हुए कि मास्को में 3500+ साइट हैं, हम 1 से 3800 तक एक चक्र पर जाएंगे। नीचे मेरे घुटने पर एक स्केच है, लेकिन फिर भी, एक काम कोड है। इसमें, निश्चित रूप से, आपको मोंगा सर्वर से अपना कुकी और पासवर्ड दर्ज करना होगा।

 # -*- coding: utf-8 -*- import json, re import httplib import threading from time import sleep import Queue from pymongo import MongoClient client = MongoClient('mongodb://admin:@.mongolab.com:43368/elections') db = client['elections'] data = db['data'] data.drop() def get_data(uid): print uid headers = {'Origin': 'vybory.mos.ru', 'X-Requested-With': 'XMLHttpRequest', 'User-Agent': 'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0);', 'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8', 'Accept': '*/*', 'Referer': 'http://vybory.mos.ru/', 'Accept-Encoding': 'deflate,sdch', 'Accept-Language': 'ru-RU,ru;q=0.8,en-US;q=0.6,en;q=0.4', 'Accept-Charset': 'windows-1251,utf-8;q=0.7,*;q=0.3', 'Cookie': 'rack.session=' } try: conn = httplib.HTTPConnection('vybory.mos.ru') conn.request('GET', '/json/id_search/%d/%d.json'%(len(str(uid)), uid), None,headers) resp = conn.getresponse() try: content = json.loads(resp.read())[0] conn.request('GET', '/account/channels?station_id=%s'%content['id'], None,headers) resp = conn.getresponse() cont = resp.read() cnt=0 for i in cont.split('\x00')[1:]: cnt+=1 uid=re.findall(r'\$([0-9a-h]{8}-[0-9a-h]{4}-[0-9a-h]{4}-[0-9a-h]{4}-[0-9a-h]{12})', i)[0] ip=re.findall(r'.*?(\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3})', i) conn2 = httplib.HTTPConnection('%s'%ip[0]) conn2.request('GET', '/master.m3u8?cid=%s'%(uid), None,headers) info = conn2.getresponse().read() conn2.close() if '/segment.ts' in info: camtype='old' elif '/variant.m3u8' in info: camtype='new' else: camtype='nil' #print content data.insert({ 'name':content['name'], 'num':content['num'], 'addr':content['address'], 'uid':uid, 'ip':ip, 'cnt':str(cnt), 'type':camtype }) except Exception,e: pass except Exception,e: print e conn.close() queue = Queue.Queue() def repeat(): while True: try: item = queue.get_nowait() except Queue.Empty: break get_data(item) sleep(0.01) queue.task_done() for i in xrange(1, 3800): queue.put(i) for i in xrange(10): t = threading.Thread(target=repeat) t.start() queue.join() print data.find().count(),'all cams' print data.find({'type':'nil'}).count(),'offline cams' print data.find({'type':'old'}).count(),'old cams' print data.find({'type':'new'}).count(),'new cams'

अब हमारे पास कैमरों का पूरी तरह से इकट्ठा आधार है। इस लेखन के समय, 544 पुराने कैमरे थे, अफसोस, वे केवल पुराने तरीके से उनके साथ काम कर सकते हैं।
लेकिन अब हमारे पास 5778 नए कैमरे हैं, और उनमें एक विशेषता है। पुराने कैमरों से विखंडन बहुत कम समय के बाद फीका हो जाता है - आपको लगातार एक ताज़ा प्लेलिस्ट डाउनलोड करने की आवश्यकता होती है, वहाँ से विखंडू के लिंक को फाड़ दें और उन्हें सड़े हुए होने तक डाउनलोड करें। नए कैमरों में इस दोष का अभाव है। आप फॉर्मेट का एक जीईटी http: // SERVER /segment.ts?cid= UID & var = Origin & ts = BEGIN - END में GET भेजकर समय-समय पर मनमाने आकारों को डाउनलोड कर सकते हैं। BEGIN और END के बीच 15 सेकंड से अधिक नहीं हो सकता, लेकिन बहुत कुछ। मैं 5 मिनट तक चड्ढी पर बैठ गया। वास्तव में, आप कम से कम एक घंटा निर्दिष्ट कर सकते हैं, लेकिन कुछ मामलों में, जहां तक मैं बता सकता हूं, अगर प्रसारण को चंक की सीमा के दौरान बाधित किया गया था, तो पूरा हिस्सा डाउनलोड नहीं किया जाएगा। मोटे तौर पर, यदि आप संग्रह से 8 घंटे एक घंटे के लिए विखंडू से डाउनलोड करने का प्रयास करते हैं और एक ही समय में, कुछ मिनटों के भीतर, व्यावहारिक रूप से कोई प्रसारण हिस्सा नहीं है, तो पूरे घंटे का हिस्सा डाउनलोड नहीं किया जाएगा। इसलिए, एक छोटा हिस्सा चुनना बुद्धिमान है। एल्गोरिदम के गुरु (जो, जैसा कि हम याद करते हैं, 10%) अपनी द्विआधारी खोज लिख सकते हैं ताकि वीडियो का एक सेकंड खो न जाए =)
वैसे, प्रश्न को बंद करने के लिए - एक कैमरा अनुपस्थित कहा जाता है, जो पोर्टल में पंजीकृत है, लेकिन वास्तव में काम नहीं करता है।

हम डाउनलोड प्रक्रिया को स्वचालित करते हैं। यहां आप अपनी बहु थ्रेडेड बाइक को एक अजगर पर रोक सकते हैं, लेकिन मैंने तीसरे पक्ष के सॉफ्टवेयर का उपयोग करने का फैसला किया। हम aria2c के लिए विखंडू के लिंक के साथ एक मेटाफ़ाइल उत्पन्न करेंगे, tsmuxer के लिए मेटाफ़ाइल्स और उन्हें क्रमिक रूप से चलाएंगे।

उदाहरण के लिए, कुछ इस तरह:

 # -*- coding: utf-8 -*- from time import sleep, time from pymongo import MongoClient import os import subprocess import shutil # ,     directory='e:/dumps' #  delta=300 #   num='666' client = MongoClient('mongodb://:@.mongolab.com:43368/elections') db = client['elections'] data = db['data'] #    8  start=int(time())-3600*8 #       try: os.mkdir('%s/%s'%(directory,num)) except: pass #           for i in data.find({'num':num}): if i['type']=='nil': print 'Offline camera',i['uid'] elif i['type']=='old': print 'Old camera',i['uid'] else: print 'New camera',i['uid'] f=open('links-%s-%s.txt'%(num, i['cnt']),'w') #     try: os.mkdir('%s/%s/%s'%(directory,num,i['cnt'])) except: pass cur=start files='' #      while True: if cur+delta>time(): for ip in i['ip']: url = 'http://{0}/segment.ts?cid={1}&var=orig&ts={2}.00-{3}'.format(ip, i['uid'], cur, time()) f.write('%s\t'%url) f.write('\n dir={0}/{1}/{2}\n out={3}.ts\n'.format(directory,num,i['cnt'],url[-27:])) files += '"{0}/{1}/{2}/{3}.ts"+'.format(directory,num,i['cnt'],url[-27:]) break else: for ip in i['ip']: url = 'http://{0}/segment.ts?cid={1}&var=orig&ts={2}.00-{3}.00'.format(ip, i['uid'], cur, cur+delta) f.write('%s\t'%url) f.write('\n dir={0}/{1}/{2}\n out={3}.ts\n'.format(directory,num,i['cnt'],url[-27:])) files += '"{0}/{1}/{2}/{3}.ts"+'.format(directory,num,i['cnt'],url[-27:]) cur+=delta #        . m=open('%s-%s.meta'%(num,i['cnt']),'w') m.write('MUXOPT --no-pcr-on-video-pid --new-audio-pes --vbr --vbv-len=500\n') m.write('V_MPEG4/ISO/AVC, %s, fps=23.976, insertSEI, contSPS, track=3300\n'%files[:-1]) m.write('A_AAC, %s, timeshift=-20ms, track=3301\n'%files[:-1]) m.close() f.close() subprocess.Popen('aria2c.exe -i links-%s-%s.txt -d %s -x 16'%(num, i['cnt'], directory), shell=True).communicate() subprocess.Popen('tsMuxeR.exe %s-%s.meta %s/%s-%s.ts\n'%(num, i['cnt'], directory, num,i['cnt']), shell=True).communicate() shutil.rmtree('%s/%s'%(directory,num)) os.remove('%s-%s.meta'%(num, i['cnt'])) os.remove('links-%s-%s.txt'%(num, i['cnt']))

फिर से, कोड पूरी तरह से अवधारणा की जांच के उद्देश्य से लिखा गया था और पीईपी 8 के अनुपालन का उदाहरण नहीं है, लेकिन यह काम करता है। स्पष्ट कारणों के लिए डाउनलोड गति कई कारकों पर निर्भर करती है।

UPD एक राय है कि पुराने कैमरों को व्यवस्थित रूप से नए के साथ बदल दिया जाता है। पिछली रात 337 पुराने और 5776 नए थे, आज सुबह - 273 पुराने, 5811 नए।

UPD यह पता चला है कि webvybory2013.ru भी है, अन्य चुनावों से भी एक तस्वीर है। इस लेख में जो कुछ भी लिखा गया है, वह उन पर लागू होता है, केवल डोमेन को बदलने की आवश्यकता है।

यूपीडी कैमरा लगातार अपनी स्थिति बदल रहे हैं, इस पर ध्यान दें। पुराने सिस्टम के साथ नए की जगह ले रहे हैं।

चुनावों में कैमरों से सामूहिक रिकॉर्डिंग - 2

More articles: