हम कैसे उड़ गए और बमुश्किल वापस आए: CROC फ्लाइंग रोबोट प्रतियोगिता में हमारी भागीदारी पर एक विस्तृत रिपोर्ट

3 सितंबर, 2012 को, हब्रहाब्र वेबसाइट पर रोबोट प्रतियोगिताओं को उड़ाने के बारे में खबर पढ़ने के बाद, हमें एहसास हुआ - यहाँ यह है, रुको! उस समय तक, हम कई महीनों से सोच रहे थे कि रोबोटिक्स में हमारी लंबे समय से चली आ रही रुचि को एक पेशेवर दिशा में तब्दील करने का समय है, और इसके लिए एक बहाना तलाश रहे हैं।

इसलिए, भागीदारी के बारे में सवाल नहीं उठे - चर्चा शुरू हुई। सॉफ्टवेयर पर ध्यान केंद्रित करने के लिए तुरंत तैयार ड्रोन का उपयोग करने का फैसला किया। पहली नज़र में, स्थितियां सरल लग रही थीं, इसलिए कोई भ्रम नहीं था कि हम जीत सकते हैं - कई टीमें थीं, केवल एक पुरस्कार था। हमने फैसला किया कि हम केवल एक कैमरे का उपयोग करेंगे, इस प्रकार कंप्यूटर दृष्टि के क्षेत्र में हमारी क्षमता का प्रदर्शन करेंगे।

आगे देखते हुए, मैं प्रतियोगिता के उच्च स्तर के संगठन को अलग से नोट करना चाहूंगा। रूस में अभी तक ऐसा नहीं हुआ है। हमें खुशी है कि हमने इस आयोजन में हिस्सा लिया और खुशी है कि हम जीत हासिल करने में सफल रहे।

कैमरा क्यों?

लगभग सभी सेंसर झूठ बोलते हैं: सड़कों के लिडार मात्रा को नहीं देखते हैं और एक ही समय में साफ मौसम में अंधे हो जाते हैं, सोनार एक दूसरे के साथ हस्तक्षेप करते हैं और असंगत प्रतिबिंबों को पकड़ते हैं, अवरक्त रेंजफाइंडर और किनेक्ट केवल निकट दूरी पर काम करते हैं।

सेंसर के माध्यम से उड़ान केवल संकीर्ण के लिए संभव है, एक कह सकता है, प्रयोगशाला कार्य। इसके अलावा, लगभग सभी मौजूदा सेंसर की सीमाएं हैं।
इस संबंध में कैमरा सार्वभौमिक है। यह सोनारों के लिए वजन और बिजली की खपत, और लिडार की गति में तुलनीय है। रेंज और रिज़ॉल्यूशन के मामले में, कैमरों का कोई प्रतिस्पर्धी नहीं है। लगभग सभी वन्यजीव प्रकाशिकी का उपयोग करते हैं, और हमें इस निर्णय पर क्यों नहीं रोकना चाहिए। बेशक, कैमरे के साथ काम करने के लिए प्रभावी एल्गोरिदम की आवश्यकता होती है, लेकिन यह हम अपने पेशेवर हितों के क्षेत्र में कर रहे हैं।

क्रॉल करने के लिए पैदा हुआ

प्रारंभ में, प्रतियोगिता की तैयारी के लिए व्यावहारिक रूप से कोई खाली समय नहीं था - सभी टीम के सदस्यों ने विभिन्न स्थानों पर काम किया। हम एक कैफे में या किसी के घर पर चर्चा के लिए मिले। चूंकि हमारे पास पहले से ही जमीन-आधारित रोबोट के साथ अनुभव था, इसलिए हमने उन पर प्रशिक्षण देने का फैसला किया। उन्होंने एक कैमरा लगाया, पोलोलू 3 पीआई पर एक संचार मॉड्यूल , एक ब्लैक इलेक्ट्रिकल टेप को वल्मन पेपर पर रखा (बाद में काले कागज की धारियों को एक बहुभुज लेआउट के रूप में चिपका दिया गया), मार्करों की छोटी प्रतियों को मुद्रित किया और एल्गोरिदम शुरू किया।

कास्केट के तीन

इसलिए पहले नियंत्रण बिंदु से गुजरने के समय को अपूर्ण रूप से क्रेप करें। प्रतियोगिता की शर्तों के अनुसार, हमें टीम की एक वीडियो प्रस्तुति भेजनी थी। उन्होंने होली ट्रिनिटी सेंट सर्जियस लावरा की पृष्ठभूमि के खिलाफ वीडियो शूट करने का फैसला किया - सर्गिएव पोसाद का मुख्य आकर्षण। हम सुबह इकट्ठा हुए, काम से पहले (हमने अभी भी विभिन्न स्थानों में काम किया है)। तापमान: -20। फूल। स्नोड्रिफ़्ट्स। तीसरे टेक से कुछ निकाला गया था । हमने देखा - हँसे, लेकिन फिर से शूट नहीं किया - उन्होंने बाकी को खुश करने का फैसला किया।

प्रतियोगिता के आयोजकों से एक पत्र मिलने के बाद हमें क्या खुशी थी, भले ही केवल एक पंक्ति थी: "आपकी सामग्री स्वीकार कर ली गई है!"

इस नियंत्रण बिंदु पर, आयोजकों ने वीडियो प्राप्त किए, और हम शीर्ष दस में थे। जाहिर है, प्रतियोगिता में अन्य प्रतिभागियों द्वारा हमारे सरल कथानक को पसंद किया गया था - कुछ टीमों ने स्पष्ट रूप से हमें अपने विज्ञापनों में पैरोडी की।

सब कुछ देखने के बाद - और यह 8 घंटे से अधिक है! - अन्य प्रतिभागियों के वीडियो, हम इस नतीजे पर पहुंचे कि बहुतों को कार्य की जटिलता का एहसास नहीं है और उन्हें इस बात की समझ नहीं है कि वे क्या और कैसे करेंगे। निम्नलिखित नियंत्रण बिंदुओं ने इस बात की पुष्टि की - CT-2, 204 पास करने वाले 237 प्रतिभागियों में से CT-2 के बाद (इसे पास करने के लिए, आपको बस एक पुष्टिकरण भेजना था कि प्रतिभागी प्रतियोगिता में भाग लेना जारी रखे), और तीसरे के बाद - केवल 72 (यहाँ यह पहले से ही आवश्यक था) वर्तमान और स्वचालित रूप से नियंत्रित ड्रोन दिखाओ)।

ग्राउंड-आधारित रोबोट के साथ प्रयोग ने केवल कैमरे पर कार्य पूरा करने की मौलिक संभावना को साबित किया, लेकिन उड़ान के लिए आगे बढ़ना आवश्यक था।

दुनिया कितनी अद्भुत है

इस स्तर पर, हमारे पास पहले से ही एक तोता Ar.Drone 2.0 क्वाड्रोकॉप्टर था और इसे थोड़ी उड़ान भरने में कामयाब रहा। अगला कदम, हमें सीधे उड़ान मिशन से निपटना था। यह स्पष्ट था कि यदि हम क्रॉस (टेक-ऑफ और लैंडिंग मार्कर) को नहीं पहचानते हैं, तो प्रतियोगिताओं में हमारा कोई लेना-देना नहीं है।

C # को मुख्य विकास भाषा के रूप में चुना और Ar.Drone (हमारे हमवतन रुसलान बालनुकिन द्वारा लिखित) के साथ बातचीत के लिए तैयार पुस्तकालय के साथ सशस्त्र , हमने एक स्वचालित नियंत्रण प्रणाली विकसित करना शुरू कर दिया।

पहले चरण में, हमने अपने आप को बस क्रॉस पर लटकाने का कार्य निर्धारित किया। यही है, ड्रोन को उतारना चाहिए था, निचले कक्ष में क्रॉस का निर्धारण करने और इसके केंद्र पर मंडराने के लिए, हवा की धाराओं को किनारे करने के लिए इसका मुकाबला करना।
हमने विज्ञापनदाताओं को मार्करों की छोटी प्रतियों (व्यास में 1 मीटर) से ऑर्डर किया है। उन्होंने कमरे के केंद्र में 4x4 मीटर में एक क्रॉस लगाया और फिर पहली अंतर्दृष्टि शुरू हुई:

• यह पता चला है कि हमारे चारों ओर कई क्रॉस हैं!
• यह पता चला है कि सफेद और काले सापेक्ष अवधारणाएं हैं!
• यह पता चलता है कि मानक OpenCV लाइन आवंटन एल्गोरिदम उन पंक्तियों को खोजते हैं जहाँ हम सोच भी नहीं सकते थे!
• यह पता चला है कि कैमरे से टूटे हुए फ्रेम आते हैं!

यह सब हमारे लिए ठंडे पानी के एक टब की तरह था ...

इस स्तर पर लाइनों को उजागर करने से इनकार करते हुए, हमने समोच्च के साथ क्रॉस को पहचानना शुरू किया। कुछ हफ़्ते के बाद, "टैम्बूरिन के साथ नृत्य", हमने दिन के किसी भी समय और किसी भी प्रकाश में 70-80% के स्तर पर मान्यता सटीकता प्राप्त की, जिससे कार्य पूरा हुआ - ड्रोन ने उड़ान भरी और क्रॉस पर मँडरा दिया। पहले से ही इस स्तर पर, हमने महसूस किया कि कोई एक मान्यता पर भरोसा नहीं कर सकता है - कई मान्यताओं के परिणाम को औसत करना आवश्यक है।


इस चित्र में, लाल वृत्त क्रॉस का केंद्र है, और पीला ड्रोन के केंद्र का प्रक्षेपण है।

ड्रोन के लिए गाजर

इस समय (तीसरे नियंत्रण बिंदु से एक महीने पहले) हमें स्प्रिंग रोबोट प्रतियोगिता में भाग लेने के लिए आमंत्रित किया गया था, जो सेंट पीटर्सबर्ग भौतिकी और गणित लिसेयुम नंबर 239 द्वारा आयोजित किया गया था। उनके लिए विषयों में से एक रोबोटचैलेज "एयर रेसिंग" नियमों के अनुसार उड़ान रोबोट की प्रतियोगिता थी।
हम अतिरिक्त उड़ान अनुभव प्राप्त करने और अन्य पायलटों के साथ चैट करने के लिए इस तरह के एक अच्छे अवसर को याद नहीं कर सके। लेकिन तैयारी के लिए समय नहीं था, मुझे सुधार करना पड़ा।

प्रतियोगिता का लक्ष्य संभव के रूप में 10 मिनट में कई सही आठ उड़ान भरना है। नियमों के अनुसार, नेविगेशन के लिए एक सहायता के रूप में फर्श पर एक धराशायी रेखा खींची गई थी। कुछ विचार के बाद, हमने क्रॉस पर लटकने के अपने अनुभव का उपयोग करने का फैसला किया। केवल क्रॉस के केंद्र के समन्वय के बजाय ड्रोन नियंत्रण मॉड्यूल के लिए ऊपरी दृश्य बिंदीदार रेखा को स्थानांतरित करें। नतीजतन, ड्रोन, गाजर के पीछे खच्चर की तरह, इस बिंदु पर मंडराने की कोशिश की, और हम अगले एक इसे करने के लिए फिसल गया।

प्रतियोगिता की पूर्व संध्या पर एक वास्तविक प्रशिक्षण मैदान में हमारे पास केवल चार घंटे डिबगिंग का समय था, लेकिन निर्णय न केवल सुरुचिपूर्ण था, बल्कि फलदायी भी था - हमने पांच मंडलियों में उड़ान भरी, दूसरे स्थान के लिए पुरस्कार प्राप्त किया।
इन प्रतियोगिताओं में, हम एक और आश्चर्य - संचार समस्याओं की प्रतीक्षा कर रहे थे। प्रयास के लिए आवंटित 10 मिनट में से, हमने आधे से अधिक समय ड्रोन के साथ संचार स्थापित करने में बिताया - उसने उड़ान के दौरान इसे खो दिया, अपना रास्ता खो दिया। मुझे उसे रोकना पड़ा और फिर से काम शुरू करना पड़ा। अन्य प्रतिभागियों के साथ संवाद करने की प्रक्रिया में, यह पता चला कि यह तोता ड्रोन की एक मानक समस्या है।

हमने सीटी -3 पास करने के लिए इन प्रतियोगिताओं में शूट किए गए वीडियो का उपयोग किया।

फ़िल्टर और सब कुछ बाहर हो जाएगा

घर लौटने के बाद, हम मार्करों के बीच अगले चरण - उड़ानों के लिए आगे बढ़े। सेंट पीटर्सबर्ग प्रतियोगिताओं के बाद, यह स्पष्ट हो गया कि वास्तविक परिस्थितियों में वास्तविक दूरी पर जितना संभव हो उतना उड़ान भरना आवश्यक था।
हम गर्मियों की छुट्टियों के दौरान स्कूल जिम का उपयोग करने के लिए सहमत हुए। उन्होंने जीवन-आकार के क्रॉस को मुद्रित किया और फिर से आश्चर्यचकित हुए - निचले कक्ष से बड़े क्रॉस को निर्धारित करना असंभव है, यह बस पूरी तरह से निचले कक्ष में दिखाई नहीं देता है।

एक बार फिर, मुझे अवधारणा को बदलना पड़ा - हम लाइनों के साथ क्रॉस की परिभाषा पर लौट आए। एल्गोरिथ्म इस प्रकार था - पहले हम सभी लाइनों को प्राप्त करते हैं, फिर हम फटे हुए लोगों को जोड़ना शुरू करते हैं और उन्हें इसके विपरीत, स्थान (हमें छत और दीवारों पर क्रॉस की आवश्यकता नहीं होती है) को फ़िल्टर करना शुरू करते हैं, सभी अनावश्यक को काटते हैं। उसके बाद, हम क्रॉसहेयर ढूंढते हैं और पहले से ही उन्हें समझने की कोशिश कर रहे हैं कि क्या यह वास्तविक मार्करों जैसा दिखता है। यही है, हम फ़िल्टर करते हैं, फ़िल्टर करते हैं और फिर से फ़िल्टर करते हैं। यह संसाधनों के मामले में बहुत ही भयानक है, लेकिन काफी विश्वसनीय है।

मूल छवि:


पाई गई लाइनें:


इसके विपरीत फ़िल्टर:


फटी हुई रेखाओं को मिलाएं:


सभी चौराहों:


फ़िल्टर एक क्रॉस की तरह नहीं है:


परिणाम:

मेल, फोन, टेलीग्राफ लें

अंतिम चौकी का समय आ गया है। प्रतियोगिता की शर्तों के अनुसार, हमें आयोजक के प्रशिक्षण मैदान में इसके माध्यम से जाना था।
हमने पहली बार एक परीक्षण उड़ान के लिए साइन अप किया। CROC में आने पर, हमें एक और आश्चर्य का सामना करना पड़ा - संचार समस्याओं में पवन को जोड़ा गया। हमारे ड्रोन को प्रतिबंध से उड़ा दिया गया था, और उस समय हमारे पास हवा के झोंकों का मुकाबला करने के लिए एक एल्गोरिथ्म नहीं था। परिणामस्वरूप, बीस प्रयासों में से, हम केवल तीन बार KT-4 के कार्य को पूरा करने में कामयाब रहे। हमारे लिए इस प्रयास की कल्पना करने के लिए आयोजकों को धन्यवाद। हमने सीटी -4 पास किया।

हवा का मुकाबला करने के लिए एक एल्गोरिथ्म स्थापित करने के प्रयासों में, हमें एक बार फिर एक संचार समस्या का सामना करना पड़ा। हवा के मौसम में सड़क पर परीक्षणों को अंजाम देते हुए, हमने अपने ड्रोन को लगभग तोड़ दिया, जिससे उसका संपर्क टूट गया।
कुछ करना जरूरी था। जैसा कि हम पहले से ही जानते थे, खराब संचार तोता ड्रोन के साथ एक आम समस्या है। इसलिए, हमने इसे हल करने के लिए पहले से ही पाए गए तरीके का फायदा उठाया - बाहरी एंटीना की स्थापना। एक बाहरी एंटीना और एक राउटर ने हमें संचार मुद्दे को बंद करने पर विचार करने की अनुमति दी। जैसा कि बाद में पता चला, कई टीमों को केवल प्रतियोगिताओं में इस समस्या का सामना करना पड़ा।

फाइनल से तीन हफ्ते पहले आयोजकों ने आखिरकार ट्रेनिंग ग्राउंड को मंजूरी दे दी। सभी प्रतिभागियों को एल्गोरिदम को कॉन्फ़िगर करने के लिए उन्हें दो बार जाने का अवसर दिया गया था।

शशिकला फैन

तैयार प्रशिक्षण के पहले दौरे के बाद, हमें यह महसूस हुआ कि हम इस कार्य को पूरा नहीं करेंगे। हमें तीन समस्याएं थीं:

1. गलियारे की परिभाषा। विभाजन की दीवार का निर्माण इमारत के ब्लॉकों का उपयोग करके किया गया था जो हमारी दीवार पहचान एल्गोरिथ्म में हस्तक्षेप करता था।
2. हवा में उतरना। हमने लैंडिंग ऑपरेशन को अंजाम दिया, हम कह सकते हैं, हमारी आँखें बंद हैं: हम क्रॉस को ढूंढते हैं, इसे लक्ष्य करते हैं और लैंडिंग करते हैं (हम दो या तीन मीटर ऊपर उड़ते हैं और बैठते हैं)। हालांकि, हवा का कोई झोंका हमें साइट से दूर उड़ा देता है।
3. टेक ऑफ करें और हवा में घुमाएं। हमने यह ऑपरेशन "मशीन पर" भी किया - नतीजतन, हमें दीवार से हवा में फेंक दिया जा सकता है (किसी कारण से हमें लगा कि दीवारों को छूना प्रतिस्पर्धा की स्थिति में निषिद्ध था)।

कैमरे पर एक मैनुअल नियंत्रण पर भूलभुलैया के माध्यम से उड़ान भरने का प्रयास दीवार और एक दुर्घटना के साथ टकरा गया। दूसरा प्रयास उसी परिणाम का कारण बना।
हमने अपनी पहली यात्रा के दौरान लैंडफिल को अलग-अलग समय पर शूट किया था - जब सूरज बादलों के पीछे था और अतिरिक्त छाया नहीं दे रहा था, और, इसके विपरीत, उज्ज्वल सूरज और विषम छाया।

सप्ताह के शेष भाग में, हमने लुप्त बिंदु दृष्टिकोण का उपयोग करके गलियारे की परिभाषा को अंतिम रूप दिया।
प्रतियोगिता से तीन दिन पहले, दूसरी बार पहुंचने पर, हम स्वचालित रूप से एक दिशा में गलियारे को उड़ाने में सक्षम थे, हालांकि, लैंडिंग और टेक-ऑफ की समस्या अनसुलझी रही।

हमारे पास दो दिन बचे थे। उसी समय, यह स्पष्ट नहीं था कि यह पता लगाने के लिए कि क्या हमने उसे हरा दिया था, यह पता लगाने के लिए कि एक गज़ब की हवा को कैसे दोहराया जाए?
हवा से निपटने के तरीके के रूप में, हमने लैंडिंग के दौरान बाहरी प्रभावों के लिए सक्रिय विरोध का इस्तेमाल किया - एड़ी, पिच और यव के कोणों को रखने की कोशिश की। और उन्होंने एक पेंच के साथ उतारने का फैसला किया - एक ही समय में ऊंचाई हासिल करना और चारों ओर मुड़ना।
जिम में डेब्यू किया, फाइबरबोर्ड शीट का उपयोग करके हवा का झोंका बनाया। यह सब बहुत हास्यपूर्ण लग रहा था।

मैं नीचे तक पीता हूं ...

23 अगस्त को 21:30 बजे, जिम से लौटते हुए, हमने प्रतियोगिता के सभी चरणों को गरिमा के साथ पास करने के लिए अपना चश्मा उठाया - अब हम जानते थे कि हम कार्य पूरा करेंगे। अधिक सटीक रूप से, हमारे पास इसे पूरा करने का एक अच्छा मौका है - महामहिम, मामला रद्द नहीं किया गया है।
हमने दीवारों से टकराए बिना गलियारे में उड़ना सीखा। हमने किसी भी मौसम में क्रॉस को अच्छी तरह से पहचाना। दोनों पार (मुझे लगता है कि प्रतिभागी मुझे समझेंगे)। संचार और पवन समस्याओं का भी समाधान किया गया।



केवल एक चीज जो हमारे पास नहीं थी वह मार्ग की दिशा का स्वचालित चयन है। घुमावों को निर्धारित करने के लिए, हमने दाएं / बाएं हाथ के नियम का उपयोग किया, जिसे प्रत्येक लैंडिंग के बाद स्विच किया गया था। और इसने हमारे साथ एक क्रूर मजाक किया।

कोहरे में हाथी

उड़ान के दौरान रास्ते में बाधा की दीवार के खिलाफ झुकना, हम दाहिने हाथ के नियम के अनुसार बदल गए और पहले से ही देखे गए मार्कर के लिए उड़ान भरी। उतरने के बाद, हम बाएं हाथ पर आ गए। अंतिम मोड़ पर पहुँचते-पहुँचते वे फिर से मुड़ गए और फिर से उड़ गए। और केवल तीसरे लैंडिंग के बाद दाहिने हाथ का नियम फिर से चालू हो गया, और हम सुरक्षित रूप से लौट आए।
हम समझते हैं कि 6 मिनट 45 एस हमें अपने पहले प्रयास में प्राप्त हुए - एक खोने का समय - यह किसी के लिए केवल कार्य पूरा करने के लिए पर्याप्त है। उसी समय, हम दाएं / बाएं हाथ के नियम को रद्द नहीं कर सकते थे, और एक मौका था कि ड्रोन फिर से नीचे चला जाएगा और चक्कर लगाना शुरू कर देगा। फिर, दूसरे प्रयास में, हमने "सभी पैसे के साथ उड़ान भरने" का फैसला किया और ड्रोन की गति डेढ़ गुना बढ़ा दी। लेकिन, दुर्भाग्य से, वे गति में कमी के पैरामीटर को बदलना भूल गए, जो बाधा की दूरी पर निर्भर करता है, और समय पर ब्रेक लगाने का समय नहीं था, अंत में दीवार के खिलाफ रोकना।

यह हमारे लिए वास्तव में अप्रत्याशित था कि कोई और दूरी नहीं बना सकता था। डेढ़ दिन के लिए, हम किसी के इंतजार में थे कि वह हमसे ज्यादा तेजी से उड़ान भरे (आयोजक के ड्रोन के पास सबसे अच्छा समय था, लेकिन उन्होंने सेट-ऑफ के बाहर प्रतियोगिताओं में भाग लिया), और हम पहले से ही आराम कर सकते हैं और आराम कर सकते हैं, ईमानदारी से अन्य प्रतिभागियों के लिए सफलता की कामना कर रहे हैं। लेकिन किस्मत काबिल थी, और इस बार यह हमारी तरफ था।

नीचे एक ड्रोन उड़ान रिकॉर्ड है। मान्यता की गति असमान थी, इसलिए वीडियो पर समय वास्तविकता से मेल नहीं खाता है।