👨🏼‍🏭 🦓 👨🏻‍🎨 लीप मोशन आधारित डिजिटल थेरेमिन (.NET द्वारा संचालित) ♍️ 👩‍💻 🕺🏻

विंडोज सेंसर के लिए काइनेक्ट के आगमन के बाद से, मुझे इस तरह के उपकरणों की प्रोग्रामिंग के लिए एक शांत जुनून पड़ा है - यह एक जादुई भावना है जब आपने जो कार्यक्रम लिखा था वह कुछ दूरी पर मानव आंदोलनों का जवाब देता है! आज मैं आपको एक और समान डिवाइस - लीप मोशन की प्रोग्रामिंग के बारे में बताऊंगा।

वास्तव में, लीप मोशन एक छोटा सा किनेक्ट है जो हाथों की स्थिति को पहचान सकता है। रचनाकारों के अनुसार ( इस वीडियो में अच्छी तरह से परिलक्षित), इसका उपयोग कई अलग-अलग परिदृश्यों में कंप्यूटर को नियंत्रित करने के लिए किया जा सकता है। इस पोस्ट में, हम देखेंगे कि लीप मोशन (.NET प्लेटफॉर्म पर) कैसे प्रोग्राम किया जाता है, और इसके आधार पर एक साधारण संगीत वाद्ययंत्र - थेरेमिन कैसे बनाया जाता है। यहाँ एक है:

प्रोग्रामर के लिए लीप मोशन

एक प्रोग्रामर के दृष्टिकोण से, लीप मोशन सुविधाजनक APIs ( यहां प्रलेखित ) का एक सेट प्रदान करता है जो आपको अनुमति देता है:

अंतरिक्ष के एक मॉडल को प्राप्त करने के लिए उच्च आवृत्ति (60-100 फ्रेम प्रति सेकंड से अधिक) के साथ, निर्देशांक और उंगलियों की गति, हथेलियों के सामान्य, विभिन्न "उपकरण" की स्थिति और गति सहित (लीप मोशन पेंसिल और फाउंटेन पेन को अच्छी तरह से पहचानता है)
मुख्य इशारों को पहचानें: सर्कल, स्वाइप, क्लिक करें
एक स्पर्श सतह का अनुकरण करें, अर्थात स्क्रीन के सामने कुछ आभासी सतह को छूना
हाथों और उंगलियों के मूल आंदोलनों (गति) को पहचानें, उन्हें रोटेशन, आंदोलन या स्केलिंग के परिवर्तनों में अनुवाद करें।

किनेक्ट के विपरीत, लीप मोशन कैमरे से प्राप्त 3 डी डेटा तक पहुंच प्रदान नहीं करता है।

आप .NET सहित विभिन्न भाषाओं और प्लेटफार्मों में लीप मोशन को प्रोग्राम कर सकते हैं। इस लेख में, हम पहले अवसर का उपयोग करने पर विचार करेंगे - हाथ मॉडल तक पहुंच।

हम सबसे सरल आंदोलनों को ट्रैक करते हैं

विजुअल स्टूडियो में हमारे प्रयोगों के लिए , एक खाली WPF प्रोजेक्ट बनाएं और मुख्य स्क्रीन पर रंगीन सर्कल जोड़ें। हमारा पहला कदम यह सीखना है कि स्क्रीन के चारों ओर उंगली के आंदोलनों के साथ इस सर्कल को कैसे स्थानांतरित किया जाए। तो, मुख्य पृष्ठ (XAML) का लेआउट इस तरह दिखेगा:

WPF पेज लेआउट MainPage.xaml

<Window x:Class="LeapVoxSample.MainWindow" xmlns="http://schemas.microsoft.com/winfx/2006/xaml/presentation" xmlns:x="http://schemas.microsoft.com/winfx/2006/xaml" Title="MainWindow" Height="768" Width="1024" Background="Black"> <Canvas> <Ellipse x:Name="ptr" Fill="Yellow" Height="30" Width="30"/> </Canvas> </Window>

लीप मोशन का उपयोग करने के लिए, आपको लीप मोशन एसडीके डाउनलोड करना होगा और लिंक को LeapCSharp.NET4.0.dll से कनेक्ट करना होगा। हालांकि, यह सब नहीं है - लीप एसडीके को भी लीप.डेल और लीपसीएसआरपी। डीएल लाइब्रेरी की आवश्यकता होती है, जो कि परियोजना के निष्पादन योग्य के समान निर्देशिका में होना चाहिए। इसलिए, इन फ़ाइलों को LeapSDK \ lib \ x86 निर्देशिका में (उस निर्देशिका में जहां लीप एसडीके स्थापित है) ढूंढें , उन्हें विज़ुअल स्टूडियो प्रोजेक्ट में खींचें और गुणों को सेट करें "कार्रवाई = सामग्री संकलित करें, आउटपुट निर्देशिका में प्रतिलिपि करें =" नया "कॉपी करें"।

लीप नियंत्रक के साथ सभी संचार नियंत्रक वस्तु के माध्यम से होता है। हमारे मुख्य MainWindows.xaml.cs फ़ाइल में ऐसी कोई वस्तु बनाएँ:

 Controller Leap = new Controller();

अब लीप मोशन हमें हाथों की स्थिति पर डेटा के साथ फ्रेम प्रदान करने के लिए तैयार है। फ़्रेम प्राप्त करने के दो तरीके हैं:

नियंत्रक ऑब्जेक्ट के लिए श्रोता वर्ग का एक उदाहरण पास करें, जिसमें OnFrame विधि अतिभारित होगी। यह विधि स्वचालित रूप से लीप मोशन एसडीके द्वारा उच्चतम संभव फ्रेम दर पर कॉल की जाएगी।
अपनी खुद की विधि बनाएं, जो समय-समय पर नियंत्रक वर्ग को प्रदूषित करेगा और इससे वर्तमान फ्रेम प्राप्त करेगा। यदि प्रोग्राम में पहले से ही एक प्राकृतिक लूप है, या यदि हम निष्पादन के UI थ्रेड में कोड निष्पादित करना चाहते हैं तो यह किया जाना चाहिए।

हमारे मामले में, एक नियंत्रक मतदान चक्र बनाने के लिए, हम डिस्पैचरटाइमर का उपयोग करते हैं, जो प्रति सेकंड 30 बार आग लगाएगा:

नियंत्रक मतदान चक्र का संगठन

 DispatcherTimer dt = new DispatcherTimer() { Interval = TimeSpan.FromSeconds(1 / 30) }; public MainWindow() { InitializeComponent(); dt.Tick += dt_Tick; dt.Start(); }

Dt_Tick विधि गति ट्रैकिंग के मूल तर्क पर ध्यान केंद्रित करेगी। हम वर्तमान फ़्रेम (फ़्रेम) प्राप्त करते हैं, और यदि उंगलियां इस फ्रेम में दिखाई देती हैं - हम पहले एक को लेते हैं जो उनसे आता है और सर्कल की स्थिति को बदलने के लिए अपने निर्देशांक का उपयोग करता है:

 void dt_Tick(object sender, EventArgs e) { var fr = Leap.Frame(); if (fr!=null && fr.Fingers.Count>0) { var f = fr.Fingers[0]; Canvas.SetLeft(ptr, 512 + f.TipPosition.x); Canvas.SetTop(ptr, 768-f.TipPosition.y); } }

हमने प्राप्त किया है कि हम लीप मोशन कंट्रोलर पर अपनी उंगली घुमाकर स्क्रीन के चारों ओर सर्कल को स्थानांतरित कर सकते हैं। इस स्तर पर नमूना कोड GitHub पर देखा जा सकता है ।

विभिन्न ऊंचाइयों के सॉफ्टवेयर से उत्पन्न ध्वनि

विभिन्न ऊंचाइयों की ध्वनि के सॉफ्टवेयर निर्माण के लिए, हम NAudio लाइब्रेरी का उपयोग करते हैं। अपनी परियोजना में NAudio समर्थन जोड़ने का सबसे आसान तरीका पैकेज प्रबंधक कंसोल में टाइप करके Nuget का उपयोग करना है :

 install-package NAudio

परिवर्तनशील पिच ध्वनि उत्पन्न करने की प्रक्रिया को MSDN पर चार्ल्स पेटज़ोल्ड के एक लेख में विस्तार से वर्णित किया गया है। संक्षेप में, हम एक वर्ग बनाते हैं जो ध्वनि की एक साइन तरंग उत्पन्न करता है, और इसे NAudio विधि के इनपुट में पास करता है, जो इस तरंग को पुन: उत्पन्न करता है। कई सूक्ष्मताएं हैं: ध्वनि को अधिक सुचारू रूप से बदलने के लिए, ध्वनि की आवृत्ति को सुचारू रूप से बदलना आवश्यक है, और साथ ही साथ ऑडियो बफरिंग की देरी को भी ध्यान में रखना चाहिए। इन सभी सूक्ष्मताओं को वर्ग पोर्ट एंटोनशाइनवॉवसिललेटर में ध्यान में रखा जाता है। परियोजना में रखा जाना चाहिए।

ध्वनि उत्पन्न करने के लिए, हम एक प्रकार की वेवओट बनाते हैं और इसे इनिशियलाइज़ करते हैं, हमारे द्वारा बनाए गए ऑसिलेटर की एक आवृत्ति को पार करते हुए

 WaveOut WaveGen = new WaveOut(); PortamentoSineWaveOscillator Osc = new PortamentoSineWaveOscillator(44100,120);

हम पृष्ठ निर्माणकर्ता में इनिशियलाइज़ेशन करते हैं:

 WaveGen.Init(Osc); WaveGen.Play();

अब हमें बस Osc.Pitch संपत्ति को बदलने की जरूरत है ताकि पिच तदनुसार बदल जाए , और वॉल्यूम बदलने के लिए Osc.Amplitude । उंगलियों के क्षैतिज आंदोलनों को वॉल्यूम के लिए जिम्मेदार है, और ऊर्ध्वाधर - पिच के लिए। आरामदायक ध्वनि प्राप्त करने के लिए अजीब तरह से चयन किया जाता है:

 void dt_Tick(object sender, EventArgs e) { var fr = Leap.Frame(); if (fr!=null && fr.Fingers.Count>0) { var f = fr.Fingers[0]; ... //    var p = Math.Abs(f.TipPosition.y / 2); var a = 255 - Math.Abs(f.TipPosition.x); if (p >= 0 && p <= 150) Osc.Pitch = p; if (a >= 0 && a <= 255) Osc.Amplitude = (short)a; } }

इस स्तर पर परियोजना का संस्करण यहां प्राप्त किया जा सकता है ।

छू मंतर

प्रोजेक्ट को थोड़ा और सुंदर बनाने के लिए, स्क्रीन के चारों ओर घूम रहे सामान्य सर्कल के बजाय, आप एक कण प्रणाली (पार्टिकल सिस्टम) के आधार पर विशेष प्रभाव जोड़ सकते हैं। मैंने इस लेख को CodeProject पर एक आधार के रूप में लिया, जो WPF नियंत्रण के लिए स्रोत कोड प्रदान करता है, जो कणों का एक स्रोत है। पहले चरण में जोड़े गए सर्कल को बदलते हुए, हमें अंतिम प्रोजेक्ट मिलता है, जिसका स्रोत कोड GitHub पर उपलब्ध है ।

घर का पाठ

यदि आप प्रयोगों को जारी रखना चाहते हैं, तो रचनात्मकता के लिए गुंजाइश लगभग असीमित है! विशेष रूप से, आप कर सकते हैं:

पॉलीफोनी और बहु-उंगली नियंत्रण के लिए समर्थन जोड़ें
उदाहरण के लिए, पिच को नियंत्रित करने के अन्य तरीकों के साथ प्रयोग करने के लिए, एक आधार के रूप में उंगली की स्थिति नहीं है, लेकिन इसकी गति है
विशेष ध्वनियाँ निकालने के लिए जेस्चर सपोर्ट जोड़ें (नमूने)

यदि आप इस विषय में रुचि रखते हैं (टिप्पणियों में लिखें), तो मैं लीप मोशन, किनेक्ट और मोबाइल उपकरणों के अप्रत्याशित उपयोग से संबंधित विभिन्न अतिरिक्त दिलचस्प चीजों को जोड़ते हुए लेखों की एक श्रृंखला जारी रखूंगा। आप किस बारे में सुनना चाहेंगे? उदाहरण के लिए, यह वीडियो दिखाता है कि कुछ ही घंटों में लीप मोशन के साथ और क्या किया जा सकता है:

लीप मोशन आधारित डिजिटल थेरेमिन (.NET द्वारा संचालित)

प्रोग्रामर के लिए लीप मोशन

हम सबसे सरल आंदोलनों को ट्रैक करते हैं

विभिन्न ऊंचाइयों के सॉफ्टवेयर से उत्पन्न ध्वनि

छू मंतर

घर का पाठ

More articles: