शुक्रवार को, हमने अपने iPhone एप्लिकेशन का एक नया संस्करण लॉन्च किया। इस पोस्ट में हम आपके साथ समान सेवाओं को विकसित करने के अनुभव को साझा करना चाहते हैं।

"कॉल" सेवा - Odnoklassniki वेबसाइट पर वीडियो चैट फ्लैश का उपयोग करके कार्यान्वित की जाती है। लेकिन हमारे सभी उपयोगकर्ता कंप्यूटर / लैपटॉप से ​​Odnoklassniki का उपयोग नहीं करते हैं। वीडियो चैट दर्शकों का विस्तार करने के लिए, हमने स्मार्टफ़ोन में भी इसका समर्थन करने का निर्णय लिया।

यह लेख iOS के लिए एक आवेदन में वीडियो कॉल को लागू करने के अनुभव के बारे में बात करेगा।

आवेदन की योजना:

ऑडियो / वीडियो एनकोडर और डिकोडर

चूंकि iPhone के लिए C / C ++ कोड संकलित किया जा सकता है, इसलिए कोडेक्स चुनने में कोई समस्या नहीं थी - आप किसी भी ओपन सोर्स कोडेक ले सकते हैं, बशर्ते कि लाइसेंस वाणिज्यिक अनुप्रयोगों में उपयोग की अनुमति देता है। हमने ध्वनि के लिए Speex लिया, और Android OS कोड से H.263 वीडियो के लिए (मुझे फ्लैश के साथ संगतता के लिए इसे थोड़ा संशोधित करना पड़ा)।

वीडियो कैप्चर मॉड्यूल

संस्करण 4.0 के साथ शुरू, iOS में कच्चे वीडियो (AVCaptureSession) पर कब्जा करने के लिए एक एपीआई है। लेकिन इस एपीआई की अपनी सीमाएं हैं - विशेष रूप से, आप एक मनमाना रिज़ॉल्यूशन सेट नहीं कर सकते हैं (कई निश्चित प्रीसेट समर्थित हैं)। जब आप डिवाइस को घुमाते हैं तो वीडियो के ओरिएंटेशन को बदलना भी असंभव है। इन प्रतिबंधों को दरकिनार करने के लिए, हम अपनी आवश्यकता से अधिक बड़े आकार के वीडियो फ़्रेम कैप्चर करते हैं, और फिर हम डिवाइस के ओरिएंटेशन के अनुसार वीडियो को काटते और घुमाते हैं। यह काफी प्रोसेसर संसाधनों की खपत करता है और इसमें अवांछनीय ज़ूम प्रभाव ("ज़ूम") होता है, लेकिन यह केवल एपीआई के ऐसे कार्यान्वयन के लिए ऐप्पल को धन्यवाद कहने के लिए रहता है।

वीडियो को देशी कोडेक्स प्रारूप YUV में कैप्चर किया गया है। इस संबंध में, स्क्रीन पर "अपना" चित्र प्रदर्शित करने के लिए "रेंडरिंग" फ्रेम की समस्या उत्पन्न होती है। हमने इसे भी तय किया, लेकिन उस पर और बाद में, "स्क्रीन पर वीडियो प्रदर्शित करना" अनुभाग में।

एक और ध्यान देने योग्य बात है कैमरा चयन एल्गोरिथ्म: यदि डिवाइस में फ्रंट कैमरा है, तो एप्लिकेशन इसे चुनता है। अगर कोई फ्रंट कैमरा नहीं है, तो बैक कवर पर कैमरे से वीडियो कैप्चर किया जाता है। यदि कोई कैमरा नहीं है (उदाहरण के लिए, iPad), तो "वीडियो सक्षम करें" बटन प्रदर्शित नहीं होता है।

स्क्रीन पर वीडियो प्रदर्शित करें

वीडियो डिकोडर, साथ ही कैमरे से वीडियो कैप्चर मॉड्यूल, YUV प्रारूप में आउटपुट फ़्रेम। डिवाइस की स्क्रीन पर एक फ्रेम प्रदर्शित करने के लिए, आपको इसे आरजीबी प्रारूप में बदलने और वांछित आकार में लाने की आवश्यकता है। चूंकि मुख्य प्रोसेसर इस समय अन्य कार्यों के साथ व्यस्त है, इसलिए हमने ओपनजीएस ईएस 2.0 का उपयोग करके इन ऑपरेशनों को जीपीयू में स्थानांतरित कर दिया। YUV प्रारूप में फ़्रेम को OpenGL बनावट में लोड किया गया है, जिसके बाद टुकड़ा shader प्रत्येक बिंदु के लिए रंग घटकों की गणना करता है। पुराने उपकरणों का समर्थन करने के लिए जो ओपनजीएल ईएस 2.0 (3 जी से कम) का समर्थन नहीं करते हैं, आवेदन में एक कोड शाखा है जो शेड्स का उपयोग किए बिना सभी गणना करता है। इस तरह के उपकरणों पर, वीडियो फ्रेम दर को कम करके प्रसंस्करण शक्ति की कमी के लिए क्षतिपूर्ति करना आवश्यक है।

कब्जा और ध्वनि खेलते हैं

माइक्रोफ़ोन से ध्वनि को पकड़ने और स्पीकर के माध्यम से खेलने के लिए, AudioSession API का उपयोग किया जाता है - यह निम्नतम स्तर का API है जिसे iOS एप्लिकेशन से एक्सेस किया जा सकता है। सर्वर से आने वाली ध्वनि डिकोड हो जाती है और बफर में गिर जाती है, जो नेटवर्क के "घबराहट" को सुचारू कर देती है। बफर की गहराई कनेक्शन की गुणवत्ता के आधार पर भिन्न होती है - नेटवर्क जितना खराब होता है, बफर उतना ही गहरा होता है। उपयोगकर्ता के लिए, यह इस तथ्य में प्रकट होता है कि खराब नेटवर्क पर, ऑडियो विलंब बढ़ता है।

IPhone में ध्वनि चलाने के लिए कई मार्ग हैं - इसे टेलीफोन स्पीकर के माध्यम से, स्पीकरफोन (डिवाइस के निचले भाग पर स्पीकर) या एक कनेक्टेड हेडसेट के माध्यम से खेला जा सकता है। यदि कोई हेडसेट कनेक्ट नहीं है, तो स्पीकरफोन रूट डिफ़ॉल्ट रूप से चुना जाता है। निकटता सेंसर चालू होने पर टेलीफोन स्पीकर जुड़ा हुआ है।

मल्टीटास्किंग

संस्करण 4 से शुरू , iOS ने मल्टीटास्किंग समर्थन जोड़ा। जब हमारा एप्लिकेशन बैकग्राउंड में चल रहा होता है तब भी वीडियो चैट कॉल जारी रह सकता है। पृष्ठभूमि मोड में स्विच करते समय यथासंभव संसाधनों को मुक्त करने के लिए, एप्लिकेशन वीडियो प्राप्त करना और भेजना बंद कर देता है, और जब तक कि एप्लिकेशन फिर से सक्रिय नहीं हो जाता है, तब तक ग्राफिकल इंटरफ़ेस को अपडेट नहीं करता है। इसी समय, ध्वनि को कैप्चर और पुन: पेश किया जाता है, और लाल "बार" शिलालेख के साथ "ओडनोक्लास्निकिकी" ऊपर स्क्रीन पर प्रदर्शित होता है - एक संकेत है कि एप्लिकेशन माइक्रोफोन को "सुन रहा है"। जब आप इस पैनल पर क्लिक करते हैं, तो एप्लिकेशन सक्रिय स्थिति में वापस आ जाता है।

निकटता सेंसर का उपयोग करना

प्रॉक्सिमिटी सेंसर फोन के फ्रंट के ऊपर लगा सेंसर होता है जो डिवाइस के किसी ऑब्जेक्ट की निकटता को निर्धारित करता है। विचार यह निर्धारित करना है कि उपयोगकर्ता अपने कान में फोन कब डालता है। एक वीडियो कॉल के दौरान, एप्लिकेशन इस सेंसर की स्थिति की निगरानी करता है। एक सेंसर की स्थिति में, एप्लिकेशन स्क्रीन को बुझा देता है, रिसेप्शन को बंद कर देता है और वीडियो भेज रहा है, और ध्वनि को टेलीफोन स्पीकर पर स्विच करता है। यह उन उपयोगकर्ताओं के लिए सुविधाजनक है जो केवल फोन द्वारा "पुराने तरीके से बात करना" चाहते हैं।

गुणवत्ता को कॉल करने के लिए अनुकूल होना

एप्लिकेशन में वीडियो कॉल का उपयोग WIFI और 3G / EDGE नेटवर्क दोनों पर किया जा सकता है। एक कॉल के दौरान, नेटवर्क कनेक्शन की स्थिति की लगातार निगरानी की जाती है और संचार की गुणवत्ता में गिरावट के मामले में, फ्रेम दर और वीडियो की गुणवत्ता कम हो जाती है।

मैं क्या सुधार करना चाहूंगा

• वार्तालाप के दौरान शेष सहपाठियों के आवेदन का उपयोग करना संभव बनाएं
• ब्रेक की स्थिति में स्वचालित पुन: संयोजन (उदाहरण के लिए, जब वाई-फाई / 3 जी नेटवर्क के बीच स्विच करना)
• कॉल के दौरान प्रोसेसर लोड और बैटरी ड्रेन को कम करने के लिए एआरएम प्रोसेसर के लिए कोड अनुकूलन का अधिक व्यापक उपयोग करें।

सेवा में सुधार पर आपकी टिप्पणी और सिफारिशों को सुनकर हमें खुशी होगी।
कॉल सेवा की विकास टीम।