टीआई DM368 प्रोसेसर पर वीडियो प्रोसेसिंग एल्गोरिदम

हम टीबी DM368, DM369 वीडियो प्रोसेसर और उन पर आधारित एल्गोरिदम के विकास के लिए समर्पित Habré पर लेखों की एक श्रृंखला शुरू करते हैं।
हमें सेंसर से नेटवर्क "ब्रॉडकास्टर" तक वीडियो स्ट्रीम प्रसंस्करण के मुख्य ब्लॉकों की जांच करें, हम ऑटोएक्सपोजर, व्हाइट बैलेंस और ऑटोफोकस (3 ए), गामा सुधार, साथ ही एचडीआर या डब्ल्यूडीआर की विस्तारित गतिशील रेंज, और अंत में, गति का पता लगाने और विश्लेषिकी के एल्गोरिदम पर अधिक विस्तार से बताएंगे। इसका आधार।
सोनी IMX136 सेंसर के लिए चित्रों के उदाहरण प्रस्तुत किए जाएंगे, एल्गोरिथ्म को Aptina MT9P006 , AR0331 , MT9M034 सेंसर पर भी परीक्षण किया गया है ।

को	के बाद

आईपी ​​वीडियो निगरानी के लिए प्रोसेसर बाजार में मुख्य खिलाड़ी 3 कंपनियां हैं TI , Ambarella और Hisilicon । उन सभी के पास अलग-अलग मूल्य श्रेणियों के चिप्स हैं, जो अभी बाजार पर सबसे लोकप्रिय हैं FHD (1920x1080) वीडियो स्ट्रीम को 30 फ्रेम प्रति सेकंड DM368 (TI), A5 (Ambarella), Hi3516 (Hisilicon) को $ 10 से $ 20 की कीमत पर और 20 DM से $ 40 के मूल्य पर 60 फ्रेम प्रति सेकंड DM385 (TI), A7 (Ambarella), Hi3517 (Hisilicon) तक अधिक शक्तिशाली। इन चिप्स की विशेषताएं लगभग समान हैं।
चूंकि टीआई एक काफी खुली हुई कंपनी है, इसलिए साइट पर सभी हार्डवेयर डॉक्यूमेंटेशन काम करना आसान है। सॉफ़्टवेयर और संपूर्ण डिज़ाइन प्राप्त करने के लिए, आपको केवल 1,000 डॉलर और अधिक के लिए अनुमोदन से एक कैमरा खरीदना होगा। HiSilicon से प्रलेखन प्राप्त करने के लिए, आपको एक एनडीए पर हस्ताक्षर करना चाहिए, और समर्थन की लागत और एक संदर्भ शुल्क $ 5,000 है। सबसे महंगा था अंबारेल्ला, प्रलेखन और समर्थन प्राप्त करने के लिए आपको $ 25,400 का भुगतान करना होगा।

तो वापस DM368 में:

जैसा कि आप आरेख में देख सकते हैं, प्रोसेसर में वह सब कुछ है जो आईपी कैमरा के लिए आवश्यक है और न केवल इसके लिए। वीडियो प्रोसेसिंग सबसिस्टम (VPSS) वीडियो प्रोसेसिंग में शामिल है, बदले में, इसमें दो वीडियो फे (फ्रंट एंड) और वीडियो बीई (बैक एंड) ब्लॉक शामिल हैं। वीडियो सिग्नल वीडियो सिग्नल और इसके प्रसंस्करण के लिए जिम्मेदार है, और विभिन्न उपकरणों के लिए एन्कोडिंग और आउटपुट के लिए वीडियो बीई। 3 ए एल्गोरिदम के लिए हार्डवेयर समर्थन वीडियो फे मॉड्यूल में स्थित है।

इसे और अधिक विस्तार से विचार करें:


IPIPEIF (इमेज पाइप इंटरफेस) इनपुट सेंसर से बायर फॉर्मेट में कच्चे 12 बिट चित्र प्राप्त करता है। यह ब्लॉक अपने आप में विशेष रूप से उपयोगी कुछ भी नहीं करता है, मुख्य रूप से यह ISIF और IPIPE के संचालन को सिंक्रनाइज़ करने के लिए कार्य करता है, यह प्रत्येक नए फ्रेम से "डार्क" मेमोरी को घटा भी सकता है, लेकिन हम इसका उपयोग नहीं करते हैं।
छवि संवेदक इंटरफ़ेस (ISIF) बायर को विभिन्न स्वरूपों में रूपांतरित कर सकता है, गुणा कर सकता है, घटा सकता है, आदि, और अधिक विवरण के लिए संभावनाओं को प्रलेखन में पाया जा सकता है। इस ब्लॉक से हम अपने एल्गोरिदम का उपयोग करते हैं:
"सभी रंगों में से एक स्थिर मूल्य का" "सबट्रैक्टर", कुल अंधेरे में हमारे दो सेंसर के लिए, लेकिन सोनी 176 के लिए एक निरंतर जारी किया जाता है, लेकिन Aptina 172 के लिए। यह उचित रंग संतुलन के लिए ध्यान में रखा जाना चाहिए, विशेष रूप से अंधेरे में।
2. लाभ और परेशान - उनके लिए हम श्वेत संतुलन बनाते हैं। प्रत्येक रंग के लिए, आप सभी हार्डवेयर "गुणक" के लिए मानक प्रारूप में, 0 से (7 + 511/512) तक अपना गुणन कारक सेट कर सकते हैं: OUT = IN * G >> 9, जहां IN इनपुट रंग मान है, G 0 से "गुणक" है। 4095 तक।
अगले इमेज पाइप (IPIPE) ब्लॉक का उपयोग हमारे द्वारा बाकी सब चीजों के लिए किया जाता है।


चलिए शुरू करते हैं:
1. दोष सुधार "टूटे" पिक्सल को संसाधित कर सकता है, हालांकि प्रसंस्करण से पहले यह उनके निर्देशांक को जानना चाहिए, और उन्हें सेट करने के लिए, अंधेरे में प्रत्येक सेंसर को कैलिब्रेट करना आवश्यक है, जो उत्पादन को बहुत जटिल करता है। इतने सारे दोषपूर्ण सेंसर भर में नहीं आते हैं, और यदि आप पकड़े जाते हैं - तो इसे बदलना आसान है।
2. अगले व्हाइट बैलेंस ब्लॉक में 3 गुणक और 3 एक्स सबट्रैक्टर होते हैं, प्रत्येक रंग के लिए एक, हम इसे एक वैश्विक गुणक और एक दहलीज सबट्रैक्टर के रूप में उपयोग करते हैं, सभी रंगों के लिए समान।

प्रारूप ISIF ब्लॉक के समान है, केवल गुणन सीमा दोगुनी बड़ी है।
3. सीएफए इंटरपोलेशन बायर फॉर्मेट से परिवर्तित होता है

आरजीबी में

क्या प्रक्षेप एल्गोरिथ्म का उपयोग किया जाता है, हमने नहीं पाया है।
4. RGB2RGB ब्लेंडिंग मॉड्यूल मैट्रिक्स के माध्यम से प्रत्येक RGB पिक्सेल को पास करता है

जहां लाभ 1/256 = 0.004 के वेतन वृद्धि में -8 से +7.996 तक हो सकता है, और -4096 से 4095 तक ऑफसेट हो सकता है।
इसके अलावा, इनमें से दो ब्लॉक थे, एक के बाद एक, और हम दोनों अपने एल्गोरिदम में उनका उपयोग करते हैं। प्रत्येक निर्माता अपने सेंसर के लिए टेबल प्रदान करता है। ईमानदारी से, मैं यह नहीं समझता कि यह कैसे काम करता है, और रंग कैसे मिश्रण कर सकते हैं, लेकिन तस्वीर वास्तव में बेहतर हो जाती है। जल्द ही आप अपने लिए देखेंगे।

5. गामा करेक्शन ब्लॉक में 3 LUT (लुक-अप-टेबल) होते हैं, प्रत्येक रंग के लिए एक।

आप 512 से 64 मानों के लिए तालिका आकार का चयन कर सकते हैं, हम 512 का उपयोग करते हैं। प्रत्येक तालिका तत्व में दो 10 बिट शब्द ऑफसेट और ढलान होते हैं।

इनपुट 12 बिट डेटा प्राप्त करता है, फिर इसे दो भागों में विभाजित किया जाता है उच्च = IN >> 3, LOW = IN & 7, ऊपरी 9 बिट्स और निचले 3 बिट्स। आउटपुट मान की गणना निम्न सूत्र OUT = (ऑफसेट [हाई] << 3) + (ढलान [हाई] >> 3) * LOW के उपयोग से की जाती है। यही है, गामा वक्र एक टुकड़े-टुकड़े चिकनी फ़ंक्शन द्वारा अनुमानित है।

6. RGB2YCbCr ब्लॉक RGB रंग स्थान को YCbCr में परिवर्तित करता है।
7.4: 2: 2 रूपांतरण मॉड्यूल सीबी और सीआर के रंग घटकों को आधा कर देता है
क्षैतिज।

8. 2 डी एज एन्हांसर, यह एक 5x5 द्वि-आयामी फ़िल्टर है जो छवि कंट्रास्ट को बेहतर बनाता है - यह लेख के लिए एक अलग विषय है, यहाँ इसके काम के उदाहरण हैं:
2 डी ईई बंद:

2 डी ईई सक्षम:

वह बहुत उपयोगी चीज है।
9. Resizer छवि को दूसरी और तीसरी धाराओं के लिए लंबवत और क्षैतिज रूप से कम करता है, और एनकोडर के लिए YCbCr 422 को YCbCr 420 में भी परिवर्तित करता है।

पूरे वीडियो प्रोसेसिंग पथ के अलावा, एक H3A सांख्यिकी ब्लॉक है। सभी एल्गोरिदम को लागू करने की आवश्यकता है। इससे प्राप्त आंकड़ों के आधार पर, एक्सपोज़र, गेन और शिफ्ट सेट किए जाते हैं।
1. चित्र और रंग संतुलन के लिए आंकड़े चित्र को 56 क्षैतिज और 128 लंबवत तक कोशिकाओं में विभाजित करके प्राप्त किए जाते हैं। प्रत्येक सेल के लिए, आप प्रत्येक रंग, उनके न्यूनतम और अधिकतम मूल्यों के लिए सभी पिक्सेल का योग प्राप्त कर सकते हैं।
2. ऑटोफोकस ब्लॉक चित्र को 12 क्षैतिज और 128 लंबवत तक कोशिकाओं में विभाजित करता है। और प्रत्येक सेल के लिए अधिकतम फोकस मूल्य देता है।
लेकिन उन्होंने यह नहीं बताया कि यह क्या था। सॉफ्टवेयर का अध्ययन वास्तव में कुछ भी स्पष्ट नहीं करता है, यह केवल ज्ञात है कि यह एक निश्चित आरआईएफ फ़िल्टर था, जहां आप गुणांक और थ्रेसहोल्ड बदल सकते हैं, लेकिन यह बहुत मदद नहीं करता था, और ऑटोफोकस काम नहीं करता था।

तो, हमने यह क्यों किया और मौजूदा एल्गोरिदम में क्या नहीं किया? मौजूदा एल्गोरिथ्म की मुख्य समस्या डायनामिक रेंज का अधूरा उपयोग है।
एल्गोरिथ्म के मौसम के संचालन का एक उदाहरण:

सुबह और शाम में, एक नियम के रूप में, सफेद संतुलन तैरता है:

और यह उदाहरण हमारे एल्गोरिथ्म के साथ है:

और इसलिए कि सब कुछ अलग-अलग सेंसर के साथ अच्छी तरह से काम करता है, हमने अन्य लोगों के सॉफ़्टवेयर का एक गुच्छा संपादित नहीं करने का फैसला किया, लेकिन खरोंच से अपना खुद का लिखने के लिए। एल्गोरिथ्म का एक अन्य कार्य जितना संभव हो उतना आसानी से अन्य प्लेटफार्मों पर स्थानांतरित किया जाना चाहिए। सौभाग्य से, DM368 एक बहुत ही उपयोगी हार्डवेयर इकाई, तथाकथित बॉक्सकार निकला। एवरेज ब्लॉक से ज्यादा कुछ नहीं 8x8 या 16x16

यही है, बॉक्सकार के आउटपुट में, हमें प्रत्येक अक्ष पर 16 गुना कम कच्ची छवि मिलती है। यदि इनपुट रिज़ॉल्यूशन 1920x1080 है, तो आंकड़ों के लिए हमारे पास 120x68 है।
हमने इस ब्लॉक को आंकड़ों के स्रोत के रूप में लिया।

आइए हमारे एल्गोरिथ्म का एक ब्लॉक आरेख बनाएं और कोड पर जाएं।

आप हमारे और अन्य लोगों के कैमरों से लाइव प्रसारण यहां देख सकते हैं ।
जारी रखने के लिए ...