नेटवर्क कैमरों से वीडियो कैप्चर करना, भाग 1

नेटवर्क वीडियो कैमरे धीरे-धीरे एनालॉग की जगह ले रहे हैं, हालांकि अब वे बहुत अधिक महंगे हैं। नेटवर्किंग के कई स्पष्ट लाभ हैं:

• अलग रिकॉर्डर या कैप्चर कार्ड की कोई आवश्यकता नहीं;
• शोर उन्मुक्ति;
• मौजूदा नेटवर्क में आसान एकीकरण;
• कोई दूरी सीमा नहीं;
• उच्च-रिज़ॉल्यूशन कैमरों की उपस्थिति;
• कैमरे को कैमरे से सीधे देखना http;
• विभिन्न सेटिंग्स की उपस्थिति;
• और अन्य

हम ऐसे कैमरों से चित्र प्राप्त करने की विधि में रुचि रखते हैं, इसके लिए आपको यह जानना होगा कि वे आम तौर पर उन्हें कैसे प्रसारित करते हैं? सौभाग्य से, हमारे लिए, कैमरे मौजूदा मानकों का उपयोग करते हैं, न कि चीनी डेवलपर के बारे में क्या सोचेंगे। कैमरों के विशाल बहुमत वीडियो ट्रांसमिशन के एक या अधिक तरीकों का उपयोग करते हैं, ये मुख्य रूप से HTTP पर Motion JPEG, RTSP पर Motion JPEG या RTSP पर H264 हैं। साथ ही, कई कैमरे ध्वनि संचारित कर सकते हैं, लेकिन अभी हमें इसमें कोई दिलचस्पी नहीं है।

इस लेख में, मैं नेटवर्क कैमरों से छवियों को स्थानांतरित करने के इन तरीकों पर विचार करूंगा, और मैं उन सभी छवियों को एक ही पायथन में कैप्चर करने का एक उदाहरण भी दूंगा।

HTTP पर MJPEG

चित्रों को स्थानांतरित करने का सबसे आसान तरीका HTTP पर MJPEG है। इस मामले में, फ़्रेम को विशेष सीमांकक के माध्यम से तैयार जेपीईजी फाइलें प्रदान की जाती हैं। ऐसे मामलों के लिए, एक विशेष MIME प्रकार मल्टीपार्ट विकसित किया गया था। इसके कई उपप्रकार हैं, हम मिश्रित और एक्स-मिश्रित-प्रतिस्थापन में रुचि रखते हैं। उनके बीच व्यावहारिक रूप से कोई मतभेद नहीं हैं, हम उन्हें उसी तरह से संसाधित करेंगे। अंतर सिमेंटिक है: मिश्रित बस एक दस्तावेज़ को इंगित करता है जिसमें कई भागों होते हैं, ये भाग स्वतंत्र हो सकते हैं या संयुक्त हो सकते हैं; और x- मिश्रित-प्रतिस्थापित प्रकार सीधे इंगित करता है कि प्रत्येक अगले भाग को पिछले एक को बदलना चाहिए और किसी प्रकार के प्रतिनिधित्व के अपडेट के रूप में संसाधित किया जाना चाहिए। नाम की शुरुआत में "x" अक्षर इंगित करता है कि यह प्रकार प्रयोगात्मक है, लेकिन फिर भी इसका उपयोग संपूर्णता में किया जाता है।

HTTP शीर्ष लेख में, MIME प्रकार Content-Type पैरामीटर में निर्दिष्ट किया गया है:

 Content-Type: multipart/mixed; boundary="some_boundary" 

या

 Content-Type: multipart/x-mixed-replace; boundary=other_boundary 

इन प्रकारों में एक अनिवार्य पैरामीटर boundary , जो इंगित करती है कि कौन सा पाठ दस्तावेज़ के कुछ हिस्सों को अलग करता है। इसकी शुरुआत में विभाजक में दो हाइफ़न भी जोड़े जाते हैं। यह महत्वपूर्ण है कि यह विभाजक संदेश में स्वयं प्रकट नहीं होता है यदि इसका आकार Content-Size में निर्दिष्ट नहीं है।

HTTP पर MJPEG ट्रांसमिशन की संरचना को समझने के लिए, बस निम्नलिखित उदाहरण देखें:

 HTTP/1.0 200 OK Connection: close Server: MJPG-Streamer/0.2 Cache-Control: no-store, no-cache, must-revalidate, pre-check=0, post-check=0, max-age=0 Pragma: no-cache Expires: Mon, 3 Jan 2000 12:34:56 GMT Content-Type: multipart/x-mixed-replace;boundary=boundarydonotcross --boundarydonotcross Content-Type: image/jpeg Content-Length: 23950 X-Timestamp: 0.000000 %Binary JPEG% --boundarydonotcross Content-Type: image/jpeg Content-Length: 24756 X-Timestamp: 0.000000 %Binary JPEG% --boundarydonotcross Content-Type: image/jpeg Content-Length: 23950 X-Timestamp: 0.000000 %Binary JPEG% 

यह विश्लेषण करने के लिए कि आपका नेटवर्क कैमरा छवियों को कैसे प्रसारित करता है, आप या तो एक स्निफर का उपयोग कर सकते हैं (मैं वायरशर्क का उपयोग करता हूं) या टेलनेट के माध्यम से कैमरे से कनेक्ट कर सकता हूं, उदाहरण के लिए:

 $ telnet 192.168.0.50 80 Trying 192.168.0.50.. Connected to 192.168.0.50. Escape character is '^]'. GET /jpeg HTTP/1.1 

GET लाइन के बाद, आपको यह इंगित करने के लिए एक और खाली लाइन भेजने की आवश्यकता है कि आपका शीर्षक समाप्त हो गया है। और "/ jpeg" के बजाय आपको उस अनुरोध को लिखना होगा जिसके द्वारा आपका कैमरा MJPEG भेजता है।

उपरोक्त उदाहरण में, %Binary JPEG% उस जानकारी से मेल खाती है जो हम में रुचि रखते हैं - एक जेपीईजी छवि। हमें इसे धारा से चुनने की जरूरत है।

जैसा कि आप शुरुआत में देख सकते हैं कि दस्तावेज़ के विवरण के साथ एक मानक HTTP हेडर है। Connection या तो close हो सकता है या keep-alive , हमारे मामले में यह कोई फर्क नहीं पड़ता। शीर्षक से, हमें सिर्फ दो पंक्तियों की आवश्यकता है: 200 ओके की स्थिति वाला पहला, जो हमें बताता है कि सब कुछ ठीक है, अब एक पक्षी उड़ जाएगा; और boundary पैरामीटर निर्धारित करने के लिए Content-Type ।

HTTP हेडर के बाद (खाली लाइन के बाद) प्रेषित दस्तावेज़ का शरीर आता है, जिसमें कई भाग होते हैं। प्रत्येक भाग एक विभाजक के साथ शुरू होता है, एक खाली लाइन के बाद अपना स्वयं का शीर्षक और अपना स्वयं का दस्तावेज शरीर होता है। Content-Type: image/jpeg हमें बताता है कि हम वास्तव में JPEG चित्र प्राप्त करते हैं, बाइट्स में वर्तमान फ्रेम के आकार से Content-Length (पहले भाग में 23950 बाइट्स), और वर्तमान फ्रेम के समय का टिकट X-Timestamp में प्रेषित किया जा सकता है, आप इसका उपयोग कर सकते हैं। इन उद्देश्यों के लिए, फ्रेम प्राप्त करने के समय वर्तमान कंप्यूटर का समय, लेकिन X-Timestamp अधिक सटीक होगा, क्योंकि नेटवर्क फ्रेम दर पर अलग-अलग प्रभाव डाल सकता है।

HTTP क्लाइंट पर अजगर MJPEG

छवियों को प्रसारित करने के लिए सरल प्रारूप के बावजूद, उनके रिसेप्शन को विभिन्न तरीकों से लागू किया जा सकता है। टीसीपी विभाजन भी एक भूमिका निभाता है, या इसके प्रसंस्करण के लिए एक दृष्टिकोण। तथ्य यह है कि ईथरनेट पर एक प्रेषित संदेश ( MTU ) का अधिकतम आकार 1500 बाइट्स से अधिक नहीं हो सकता है और हम हर बार इस तरह का पैकेट हमारे पास आने पर डेटा प्रोसेस करते हैं। यदि आप सूचना को उसके आगमन पर तुरंत विश्लेषण करते हैं, तो ऐसा हो सकता है कि डेटा पूर्ण नहीं है और पार्सर अपने कार्य से निपटने में सक्षम नहीं होगा। और यदि आप आने वाले डेटा के प्रवाह को बफर करते हैं, तो इससे प्रदर्शन और संसाधन खपत पर सबसे अच्छा प्रभाव नहीं पड़ता है। यह बफ़रिंग का लाभ उठाने और विश्लेषण शुरू करने के लिए सुरक्षित होगा, जब पर्याप्त जानकारी पहले से ही जमा हो गई हो (पहले आपको हेडर का चयन करने के लिए '\r\n\r\n' तक पढ़ना होगा, और तब तक जब तक सीमांकक दो बार स्ट्रीम में नहीं मिलते हैं, या एक खाली लाइन को भी पढ़ें, छवि का आकार निर्धारित करें और बाइट्स की संख्या गिनें)। लेकिन मैंने इसके आने पर तुरंत प्रोसेसिंग की जानकारी का इस्तेमाल किया।

क्लाइंट कोड में दो फाइलें होती हैं: main.py और http_mjpeg_client.py । पहले में, एप्लिकेशन लॉन्च किया गया है, और दूसरे में, कैमरे के साथ काम किया जाता है। तुरंत मैं उन्हें यहां लाऊंगा।
main.py

 from twisted.internet import reactor from http_mjpeg_client import MJPEGFactory def processImage(img): 'This function is invoked by the MJPEG Client protocol' # Process image # Just save it as a file in this example f = open('frame.jpg', 'wb') f.write(img) f.close() def main(): print 'Python M-JPEG Over HTTP Client 0.1' # Define connection parameters, login and password are optional. config = {'request': '/mjpeg', 'login': 'admin', 'password': 'admin', 'ip': '127.0.0.1', 'port': 8080, 'callback': processImage} # Make a connection reactor.connectTCP(config['ip'], config['port'], MJPEGFactory(config)) reactor.run() print 'Python M-JPEG Client stopped.' # this only runs if the module was *not* imported if __name__ == '__main__': main() 

http_mjpeg_client.py

 from twisted.internet.protocol import Protocol, ClientFactory from base64 import b64encode import re debug = 1 class MJPEGClient(Protocol): def __init__(self): # A place for configuration parameters self.config = {} # I we are connected to a web server self.isConnected = False # The boundary in multipart stream self.boundary = '' # Actual image data goes here self.img = '' # Size of the image frame being downloaded self.next_img_size = 0 # Indicates that currently parsing a header self.isHeader = False def connectionMade(self): # Implement basic authorization if self.config['login']: authstring = 'Authorization: Basic ' + b64encode(self.config['login']+':'+self.config['password']) + '\r\n' else: authstring = '' # Form proper HTTP request with header to_send = 'GET ' + self.config['request'] + ' HTTP/1.1\r\n' + \ authstring + \ 'User-Agent: Python M-JPEG Client\r\n' + \ 'Keep-Alive: 300\r\n' + \ 'Connection: keep-alive\r\n\r\n' # Send it self.transport.write(to_send) if debug: print 'We say:\n', to_send def dataReceived(self, data): if debug: print 'Server said:\n', len(data), 'bytes of data.' if not self.isConnected: # Response header goes before empty line data_sp = data.strip().split('\r\n\r\n', 1) header = data_sp[0].splitlines() # Parse header for line in header: if line.endswith('200 OK'): # Connection went fine self.isConnected = True if debug: print 'Connected' if line.startswith('Content-Type: multipart'): # Got multipart r = re.search(r'boundary="?(.*)"?', line) self.boundary = r.group(1) # Extract boundary if debug: print 'Got boundary:', self.boundary # If we got more data, find a JPEG there if len(data_sp) == 2: self.findJPEG(data_sp[1]) else: # If connection is alredy made find a JPEG right away self.findJPEG(data) def findJPEG(self, data): hasMoreThanHeader = False # If we know next image size, than image header is already parsed if not self.next_img_size: # Otherwise it should be a header first for line in data.splitlines(): if line == '--'+self.boundary: self.isHeader = True if debug: print 'Got frame header' elif line == '': if self.isHeader: # If we might have more data after a header in a buffer hasMoreThanHeader = True self.isHeader = False elif self.isHeader: # Here we can parse all the header information # But we are really interested only in one if line.startswith('Content-Length:'): self.next_img_size = int(line.split(' ')[1]) if debug: print 'Next frame size:', self.next_img_size else: # How many bytes left to read remains = self.next_img_size - len(self.img) self.img += data[:remains] # We got the whole image if len(self.img) == self.next_img_size: if debug: print 'Got a frame!' # Run a callback function self.config['callback'](self.img) # Reset variables self.img = '' self.next_img_size = 0 # If something left in a buffer if data[remains:]: self.findJPEG(data[remains:]) if hasMoreThanHeader: data_sp = data.split('\r\n\r\n', 1) # If there is something after a header in a buffer if len(data_sp) == 2: self.findJPEG(data_sp[1]) def connectionLost(self, reason): print 'Connection lost, reconnecting' self.isConnected = False self.img = '' self.next_img_size = 0 self.isHeader = 0 self.boundary = '' class MJPEGFactory(ClientFactory): def __init__(self, config): self.protocol = MJPEGClient self.config = config def buildProtocol(self, addr): prot = ClientFactory.buildProtocol(self, addr) # Weird way to pass the config parameters to the protocol prot.config = self.config return prot def clientConnectionLost(self, connector, reason): # Automatic reconnection connector.connect() 

मुख्य फ़ाइल में, हम config डिक्शनरी में कैमरे से कनेक्ट करने के लिए पैरामीटर निर्धारित करते हैं, ट्विस्टेड नेटवर्क फ्रेमवर्क रिएक्टर शुरू करते हैं और परिणामस्वरूप इमेजेज को processImage() फ़ंक्शन में प्रोसेस करते हैं। इस उदाहरण में, प्रत्येक परिणामी फ्रेम को मौजूदा निर्देशिका में frame.jpg नाम के साथ लिखा गया है।

मैंने MJPEG स्ट्रीमर का उपयोग करते हुए प्रदर्शन का परीक्षण किया, मैंने इसे इस तरह चलाया:
./mjpg_streamer -i "./input_testpicture.so" -o "./output_http.so -w ./www"
इस स्थिति में, क्लाइंट कॉन्फ़िगरेशन में request /?action=stream बराबर सेट किया जाना चाहिए।
उन्होंने वेबकैम से चित्र प्रसारित करने से इनकार कर दिया।

मैंने दूसरी फ़ाइल को अच्छी तरह से प्रलेखित करने की कोशिश की, ताकि पाठक को यह समझने में आसानी हो कि स्ट्रीम से छवियों को हटाने की प्रक्रिया कैसे होती है। शब्दों में, एल्गोरिथ्म को निम्नानुसार वर्णित किया जा सकता है: कैमरे से कनेक्ट करते समय, हम जो पहली चीज़ करते हैं, वह एक अपील के साथ एक HTTP हेडर बनाता है और इसे भेजता है, यह connectionMade() फ़ंक्शन है। जब भी नया डेटा हमारे पास dataReceived() तो dataReceived() फ़ंक्शन को कहा जाता है। इसमें, हम जांचते हैं कि जेपीईजी डेटा का स्थानांतरण पहले से स्थापित है या नहीं। यदि अभी भी नहीं है, तो कैमरे के HTTP प्रतिक्रिया हेडर हमारे पास आना चाहिए, हम इसे split('\r\n\r\n', 1) फ़ंक्शन split('\r\n\r\n', 1) का उपयोग करके चुनते हैं, फिर हम इसे आवश्यक पैरामीटर (स्थिति और boundary प्रकाश डालते हुए अलमारियों में रखते हैं। )। अन्य मामलों में, हम तुरंत प्राप्त डेटा को findJPEG() फ़ंक्शन से पास करते हैं।

इस फ़ंक्शन में शाखाकरण भी होता है, इस पर निर्भर करता है कि हमें JPEG दस्तावेज़ का आंतरिक हेडर प्राप्त हुआ या नहीं। यदि आप इसे प्राप्त नहीं करते हैं, तो इसके लिए प्रतीक्षा करें और इसे पार्स करें, यदि आप इसे प्राप्त करते हैं, तो डेटा सीधे एक जेपीईजी छवि है और इसे चर self.img में डाल self.img जब तक हम सभी self.next_img_size प्राप्त नहीं कर self.img । हम छवि के बाइट्स को प्राप्त कर self.next_img_size , और जब हम इसे प्राप्त करते हैं, तो हम फ़ंक्शन को पैरामीटर के माध्यम से पारित कर देते हैं। callback कॉन्फ़िगरेशन, और उसे प्राप्त छवि प्रदान करें।

debug पैरामीटर को आउटपुट सूचना के प्रदर्शन को अक्षम करने के लिए शून्य पर सेट किया जा सकता है।

आप इस लिंक पर स्रोत कोड डाउनलोड कर सकते हैं: HTTP क्लाइंट पर अजगर एमजेपीईजी ।

जारी रखने के लिए ...

पढ़ने के लिए उपयोगी:

माइम
मोशन जेपीईजी
HTTP हेडर की सूची

पुनश्च: मैंने लेख को दो भागों में विभाजित करने का निर्णय लिया है, क्योंकि एक पूरे के रूप में यह काफी बड़ा हो गया है, लेकिन मैं इसे बेहतर समझ और अधिक सुविधा के लिए अधिभार नहीं देना चाहता।