हेडट्रैकिंग या दो-आयामी मॉनिटर पर तीन आयामी केतली कैसे देखें

अंतिम सेमेस्टर, मैंने एक कंप्यूटर विज़न कोर्स लिया और अंत में मुझे किसी भी विषय पर एक अंतिम प्रोजेक्ट करना था जो इसके साथ जुड़ा था। मुझे आश्चर्य हुआ कि क्या उपयोगकर्ता की आंखों को ट्रैक करने और उसे सही कोण से 3 डी ऑब्जेक्ट दिखाने के लिए वेबकैम का उपयोग करना संभव था, जिसे मैंने करने का फैसला किया। यानी आभासी दुनिया में मॉनिटर से एक खिड़की बनाओ। अब मैं उपयोगकर्ताओं के साथ साझा करना चाहता हूं कि मैंने यह कैसे किया और रास्ते में मुझे क्या नुकसान हुए।

आँखें कहाँ हैं?

मेरे पास तब ज्यादा समय नहीं था, इसलिए मैं खरोंच से सब कुछ नहीं करना चाहता था। बिना किसी हिचकिचाहट के, मैंने फेसपाइ को खींच लिया, प्रशिक्षण के प्रयोजनों के लिए मुफ्त, और उसे पीड़ा देना शुरू कर दिया। कुछ पीड़ा के बाद, यह पता चला कि यह सिर की स्थिति, साथ ही साथ आंख की स्थिति को काफी अच्छी तरह से निर्धारित कर सकता है, और सबसे महत्वपूर्ण बात यह है कि यह तुरंत 3 डी स्थिति और प्रत्येक आंख के उन्मुखीकरण को वेबकैम की समन्वय प्रणाली में दे सकता है।

आँखें क्या देखती हैं?

इसलिए, हमारे पास आंखें हैं, अब हमें यह पता लगाने की जरूरत है कि वे क्या देखते हैं। वैसे, यह माना जाता है कि उपयोगकर्ता एक चक्रवात होगा जिसमें दो वास्तविक लोगों के बीच एक काम कर रहा है। ओपनजीएल में एक आभासी कैमरे को पेंच करके सब कुछ आसान और सरल बनाने का पहला प्रयास जहां उपयोगकर्ता की आंख सफल नहीं होनी चाहिए, क्योंकि यह पूरी तरह से अवास्तविक था। वीडियो में आप देख सकते हैं कि यह कैसे दिखता है:


विशुद्ध रूप से व्यक्तिपरक, यह बुरा था कि केटल के पास पहुंचते ही बहुत बढ़ गया। मुझे लगता है कि यहाँ क्या गलत था और यहां तक ​​कि कामचलाऊ साधनों के साथ एक सरल प्रयोग किया:


छेद के आकार के सापेक्ष फोन के आकार पर ध्यान दें। यह पता चला है कि संपर्क करते समय, हमारे चायदानी में वृद्धि नहीं होनी चाहिए, लेकिन, इसके विपरीत, घटता है (मामले के लिए जब यह "खिड़की" के बाहर है)। यह ऐसा दिखता है:


एक और समस्या है, जब पक्ष से देखा जाता है, तो अनुपात विकृत होते हैं। समस्या यह है कि ओपनजीएल चित्र को हमारे सामने प्रस्तुत करता है जैसे कि यह देखने के लिए लंबवत है, लेकिन उपयोगकर्ता मॉनिटर के विमान को एक कोण पर देखता है।


नतीजतन, छवि विकृत है।


और तस्वीर में सही छवि दाईं ओर है, और बाईं तरफ नहीं है। यदि आप इसे मॉनिटर के दाईं ओर देखते हैं (उपयोगकर्ता का सिर लगभग वहां था), तो यह सही होगा, और बाएं एक विकृत होगा।

आपने जो देखा, उसे कैसे ठीक किया जाए?

एक झपट्टा में दोनों समस्याओं को ठीक करने के लिए, आपको यह सुनिश्चित करने की आवश्यकता है कि उपयोगकर्ता स्क्रीन पर वही देखता है जो वह वास्तविक दुनिया में देखता है अगर वह खिड़की से देखता है। आप इसे अलग-अलग तरीकों से कर सकते हैं, लेकिन उस समय मेरे साथ ऐसा हुआ: आपको पहले की तरह सबकुछ सौंपने की जरूरत है, लेकिन प्रदान की गई छवि में उस क्षेत्र को देखें जो वास्तविक दुनिया में मॉनिटर क्षेत्र के अनुरूप होगा। ऐसा करने के लिए, हमें अपने आप को एक शासक के साथ बांटना पड़ता था, कैमरे के सापेक्ष प्रत्येक कोण की स्थिति और प्रदर्शन को मापता था (हमारा SK इससे जुड़ा होता है) और इस प्रकार हमारे दृश्य के त्रि-आयामी स्थान में अपनी स्थिति प्राप्त करता है, फिर मॉनिटर पर विंडो की भौतिक स्थिति की गणना करता है। चित्र उस फ़्रेम को दिखाता है जो तीन-आयामी अंतरिक्ष में मॉनिटर पर खिड़की से मेल खाती है।


अब हमें इस क्षेत्र की सामग्री को पूरी विंडो पर बनाने की आवश्यकता है। ऐसा करने के लिए, हम डिस्प्ले प्लेन पर 3D स्पेस में मॉनिटर पर वास्तविक विंडो के कोनों के अनुरूप पॉइंट्स प्रोजेक्ट करते हैं, जहाँ OpenGL इमेज रेंडर की गई है (वास्तव में हम इन बिंदुओं के प्रोजेक्शन मैट्रिक्स से गुणा करते हैं), हम पाते हैं कि होमोग्राफी (होमोग्राफी एक ऐसा मैट्रिक्स है जो हमें पॉइंट्स के पत्राचार को एक इमेज में स्थापित करने की अनुमति देता है। दूसरे के बिंदु, आप OpenCV का उपयोग करके इसे पा सकते हैं या पेन के साथ सब कुछ लिख सकते हैं) जिसके परिणामस्वरूप वास्तविक प्रदर्शन पर विंडो का आयत और हमारी आयत में मैप की गई छवि को मैप कर सकते हैं niku वास्तविक प्रदर्शन खिड़की (फिर OpenCV हमारी मदद करने के लिए)।

परिणाम एक सही तस्वीर है जो एक व्यक्ति यह देखेगा कि क्या यह खिड़की आभासी दुनिया में एक वास्तविक खिड़की थी।

यह सच है, एक और ट्रिफ़ल है: यदि उपयोगकर्ता मॉनिटर से बहुत दूर है, तो एक निरंतर FOV के साथ यह पता चलता है कि छवि का उपयोगी हिस्सा (वास्तव में मॉनिटर के माध्यम से जो दिखाई दे रहा है) काफी छोटा है।


और अंतिम तस्वीर में कम रिज़ॉल्यूशन है:


इससे निपटने के लिए, मैं FOV को पुनर्गणना करता हूं ताकि उपयोगी तस्वीर सबसे बड़े संभावित क्षेत्र की तुलना में थोड़ी कम हो।


परिणाम सही के साथ एक बहुत अच्छी तस्वीर है (मुझे ऐसा तब लगा, लेकिन बाद में विवरण के बारे में) छवि।

क्या हुआ था?

इस सब के परिणाम वीडियो पर देखे जा सकते हैं:


और अब कुछ टिप्पणी यह ​​विषयगत दृष्टिकोण से कैसे काम करती है और क्यों:

1) सबसे बड़ी समस्या है लैपटॉप पर वेबकैम के छोटे देखने के कोण। इसलिए, दृश्यता से परे जाना काफी आसान है और छवि रुक ​​जाती है। वह इसके लिए अनुकूलित नहीं है। लेकिन अच्छी खबर यह है कि सब कुछ काफी तेज है और गति के मामले में कोई समस्या नहीं है। प्रकृति में अधिक चौड़े कोण हैं, लेकिन हमें एक प्राप्त करने की आवश्यकता है।

2) मानव मस्तिष्क को धोखा देना इतना सरल नहीं है। दो आँखों से मैं यह देख सकता हूँ कि मॉनिटर सपाट है और स्टीरियो के बिना यह 3 डी काम नहीं करता है। यहां तक ​​कि अगर आप एक आंख बंद करते हैं, तो मस्तिष्क, वैसे भी, जानता है कि यह एक फ्लैट मॉनिटर है और कोई केतली नहीं हो सकती है। लेकिन एक कैविएट है: यदि आप एक आंख बंद करते हैं और लगातार तीन आयामी केतली की कल्पना करते हैं, तो कुछ समय बाद आप मस्तिष्क को मूर्ख बना सकते हैं।

3) अनुमानों के साथ सब कुछ उतना सरल नहीं है जितना पहली नज़र में लगता है। व्यक्तिगत रूप से, यह मेरे लिए अजीब था कि स्क्रीन के पीछे आने पर वस्तु कम हो जाए। वैसे, एक बग यहां छिपा हुआ है, मेरी केतली, आखिरकार, चमकदार है और बस स्क्रीन के विमान में थी, इसलिए मैं इसे वैसे नहीं कर सकता जैसे मैंने किया था। यह चायदानी के प्रत्येक शीर्ष की स्थिति को अलग से पुनर्गणना करने के लिए आवश्यक है।

4) मैं अगले सेमेस्टर में ऐसा ही करने की कोशिश करूंगा, लेकिन स्टीरियो 3 डी के लिए समर्थन और प्रत्येक आंख के लिए एक अलग तस्वीर। चलिए देखते हैं अगर दिमाग मानता है तो।

अद्यतन :

श्रमिकों के अनुरोध पर, मैंने स्रोतों और बायनेरिज़ का प्रसार किया। मैंने सभी द्वारों को बायनेरिज़ में शामिल किया, इसलिए यह संग्रह में 24 मीटर निकला।

यह भी लगता है कि मैंने प्रयोगों के दौरान वहां कुछ तोड़ दिया था, चायदानी अब बहुत लम्बी हो गई है (यह अनुमान लगा रहा है कि प्रोजेक्ट करते समय कहीं संकेत बदल गया है, इसलिए चायदानी गलत दिशा में फैली हुई है), लेकिन कौन परवाह करता है, समझ जाएगा।

और एक अन्य विशेषता, एक चायदानी के साथ दो खिड़कियां होंगी, आपको एक को दूसरे पर ले जाने की ज़रूरत है (बस इसे खींचें) ताकि यह मेरे लिए सही हो इसलिए यह डिबगिंग के लिए अधिक सुविधाजनक था)।

चायदानी के खोए हुए मॉडल को यहां पाया जा सकता है और यहां झूठ बोलना चाहिए: C: \ _ WORK \ __ 3d_Modelsey