🐵 🐡 🤚🏻 संवर्धित वास्तविकता आसान है 🏆 ⛹🏽 🕴🏾

यह लेख किसके लिए है?

उन लोगों के लिए जो मोबाइल उपकरणों के संबंध में कंप्यूटर दृष्टि और संवर्धित वास्तविकता में रुचि रखते हैं, लेकिन यह नहीं जानते हैं कि कहां से शुरू करें।

प्रस्तावना

तो, हम सेंट पीटर्सबर्ग स्टेट यूनिवर्सिटी के गणित और यांत्रिकी संकाय के छात्र हैं, जिन्होंने अपने अवकाश पर कंप्यूटर दृष्टि के बुनियादी पहलुओं से परिचित होने का फैसला किया। सैद्धांतिक नींव को मजबूत करने के लिए, हमने कुछ व्यावहारिक करने का फैसला किया। हमारे बेहद दिलचस्प व्याख्यानों की यात्रा ने एक ऐसे अनुप्रयोग के बारे में सोचा जो आपको संवर्धित वास्तविकता में लोगों पर बम गिराने की अनुमति देता है।

एंड्रॉइड को मोबाइल प्लेटफॉर्म के रूप में चुना गया था, क्योंकि इसके लिए एप्लिकेशन लिखने का बहुत कम अनुभव था, और हम जावा को ऑब्जेक्टिव-सी से बेहतर जानते हैं। छवि प्रसंस्करण के लिए, हमने प्रसिद्ध OpenCV लाइब्रेरी का उपयोग करने का निर्णय लिया।
कटौती के तहत, हमारे सरल अनुप्रयोग के निर्माण की कहानी।

Google Play पर पहले से ही संवर्धित वास्तविकता एप्लिकेशन क्या हैं?

परंपरागत रूप से, उन्हें तीन श्रेणियों में विभाजित किया जा सकता है:

एक्सेलेरोमीटर, कम्पास और जीपीएस से डेटा प्राप्त करना, और, केवल उन पर ध्यान केंद्रित करना, छवि पर कुछ सुपरमॉप करना ( उदाहरण )
ऐसे किसी भी लेबल का उपयोग करना, जिसे मुद्रित करना आवश्यक है या जो सामान्य हैं ( उदाहरण )
प्राप्त करना और किसी भी डेटा का उपयोग नहीं करना, लेकिन केवल एक तस्वीर को ओवरले करना ( उदाहरण )

और यह मूल रूप से Google Play पर पाया जा सकता है।

कहाँ से शुरू करें?

OpenCV पुस्तकालय का उपयोग करके कंप्यूटर दृष्टि से परिचित होने का सबसे आसान तरीका। हम ओ'रेली की पुस्तक "लर्निंग ओपनसीवी" (रट्रेकर पर उपलब्ध) की सलाह देते हैं। आपको डेवलपर विकी को बार-बार देखने की भी आवश्यकता होगी।

समस्या का बयान

दरअसल, हमें क्या करना था? सबसे पहले, हमें चित्र में उन वस्तुओं का चयन करना था जो बम विस्फोट कर सकते थे। हमने निम्नलिखित दृष्टिकोण का उपयोग करने का निर्णय लिया: चलती वस्तुओं की खोज करें और उनके साथ टकराव की जांच करें। यह बहुत जल्दी किया जा सकता है, जो बहुत महत्वपूर्ण है, क्योंकि मोबाइल उपकरणों के संसाधन सीमित हैं।

कार्यान्वयन

हम क्या लेकर आए? एक फ्रेम पर कई मुख्य बिंदुओं को लें और देखें कि वे अगले पर कहां होंगे। फिर उनकी पारी पर विचार करें और उन्हें उन समूहों में वितरित करें जो ऑब्जेक्ट होंगे। पृष्ठभूमि को सबसे बड़े क्षेत्र के साथ क्लस्टर माना जा सकता है (या अंकों की सबसे बड़ी संख्या के साथ, लेकिन परिणामस्वरूप हमने इस दृष्टिकोण को छोड़ दिया)।

मुख्य बिंदुओं की पारी का निर्धारण करने के लिए, हमने लुकास-कनाडे पद्धति का उपयोग करने का निर्णय लिया। प्रवेश द्वार पर, उन्हें पहले के साथ दो चित्रों और बिंदुओं की एक सरणी की आवश्यकता है, और आउटपुट समान बिंदुओं के साथ एक सरणी है, लेकिन पहले से ही दूसरी तस्वीर में पाया गया है। बस हमें जिस चीज की जरूरत है और वह काफी तेजी से काम करती है।

इस मामले में, GoodFeaturesToTrack (...) विधि प्रमुख बिंदुओं की खोज करने के लिए अच्छी तरह से अनुकूल है। जैसा कि आप नाम से अनुमान लगा सकते हैं, वह उन विशेषताओं की तलाश कर रहा है (मुख्य बिंदु जो एक निश्चित मानदंड से बाकी हिस्सों से अलग हैं), जिसे फ्रेम से फ्रेम तक आसानी से पता लगाया जा सकता है। यह एक साधारण फीचर खोज की तुलना में अधिक धीमी गति से काम करता है, लेकिन बदलाव की गणना की सटीकता अधिक हो जाती है।

समस्याएं और सुझाव

अच्छी सटीकता के साथ कैमरा शिफ्ट निर्धारित करना संभव नहीं है।
प्रारंभ में, हमने निम्नलिखित दृष्टिकोण की योजना बनाई: दो फ्रेम के आम हिस्सों को काट दिया और एक को दूसरे से घटाया। सिद्धांत रूप में, गैर-शून्य भाग इंगित करेगा कि चलती वस्तुएं कहां हैं। लेकिन व्यवहार में, बदलाव और चमक अंतर में अशुद्धि के कारण, यहां तक कि एक मामूली कैमरा आंदोलन के साथ, लगभग कोई शून्य क्षेत्र नहीं थे। आवेदन को डिजाइन करते समय इस तथ्य को ध्यान में रखा जाना चाहिए।
मूल में सब कुछ करने की जरूरत है।
पहला संस्करण शुद्ध जावा में लिखा गया था। लेकिन, भले ही पुस्तकालय स्वयं मूल निवासी हो, लेकिन बड़ी मात्रा में डेटा के अनावश्यक हस्तांतरण और कचरा कलेक्टर को लगातार कॉल करने के कारण यह बहुत धीमी गति से काम करता था। देशी के लिए सभी गणना लेने के बाद, उत्पादकता कई गुना बढ़ गई।
डिबगिंग।
डिवाइस पर डिबग में बहुत समय लगता है, और हमारे उद्देश्यों के लिए एमुलेटर एक विकल्प नहीं है (बहुत धीमा)। इसलिए, सी ++ में एप्लिकेशन का पीसी संस्करण होना सुविधाजनक है, जिसमें से एक निश्चित अनुभाग को एंड्रॉइड के लिए मूल कोड में कॉपी किया जा सकता है।
बहु सूत्रण।
प्रसंस्करण फ्रेम में बहुत समय लगता है, और उपयोगकर्ता को छवि बदलने में देरी का पालन करने की कृपा करने की संभावना नहीं है। इसलिए, एक पूरी तरह से प्राकृतिक चीज की जरूरत है: छवियों के उत्पादन और उनके प्रसंस्करण को दो धाराओं में विभाजित करना।
प्रलेखन।
Android के लिए OpenCV संस्करण में, हम समझदार प्रलेखन की कमी से प्रभावित हुए थे। बेशक, मूल रूप से यह पीसी संस्करण के समान है, लेकिन कुछ बिंदु अभी भी भिन्न हैं।

निष्कर्ष

इमेज प्रोसेसिंग के लिए गंभीर कंप्यूटिंग शक्ति की आवश्यकता होती है। एसर लिक्विड (768 मेगाहर्ट्ज) के प्रदर्शन में तुलनीय उपकरणों पर भी हमारा एप्लिकेशन अच्छा काम करता है। अब निर्मित अधिकांश उपकरणों के लिए, कुछ अधिक जटिल करना काफी संभव है।

इसके अलावा, जैसा कि आप देख सकते हैं, कंप्यूटर दृष्टि में कुछ भी जटिल नहीं है, और फिलहाल एंड्रॉइड के लिए संवर्धित वास्तविकता के साथ व्यावहारिक रूप से कोई एप्लिकेशन नहीं हैं, इसलिए आगे बढ़ें।

संवर्धित वास्तविकता आसान है