लेन प्रस्थान चेतावनी प्रोटोटाइप या ड्राइवर को कैसे याद दिलाना है कि उसके पास जीने के लिए ज्यादा समय नहीं है

मैंने डेट्रायट में ऑटो शो के बारे में थोड़ा पढ़ा, इस तथ्य के बारे में कि लेन प्रस्थान चेतावनी अधिक लोकप्रिय हो रही है और मैंने फैसला किया कि मुझे इस प्रणाली का एक प्रोटोटाइप बनाने में अपना अनुभव साझा करना चाहिए, जैसे कि वेब कैमरा, पायथन, ओपनसीवी और कड़ी मेहनत के एक-दो दिन। ध्यान :)

प्रोटोटाइप के निर्माण के इतिहास को कटौती के तहत पढ़ा और देखा जा सकता है ... (चित्र हैं, बहुत कुछ ...)

प्रस्तावना

यह सब इस तथ्य से शुरू हुआ कि मुझे दो पाठ्यक्रमों के लिए अंतिम परियोजनाओं को चुनना था: "ऑटो इलेक्ट्रॉनिक्स" और "इमेज प्रोसेसिंग"। एक आलसी व्यक्ति के रूप में, मैं मदद नहीं कर सकता था, लेकिन दोनों परियोजनाओं को पार कर सकता हूं और इस तरह समय की बचत कर सकता हूं, और यह दिया कि व्याख्यान के लिए हमें सिर्फ लेन प्रस्थान चेतावनी के बारे में बताया गया था (ईमानदार होने के लिए, मैं अभी भी एक पर्याप्त रूसी नहीं जानता, और सबसे महत्वपूर्ण बात इस प्रणाली का संक्षिप्त नाम है, इसलिए मैं संक्षिप्त नाम LDW का उपयोग करूंगा), फिर मैं खुद ऐसा काम करने की कोशिश करना चाहता था।

कुछ सामान्य जानकारी

तो, "लेन प्रस्थान चेतावनी" के नाम से यह किस प्रकार का जानवर है। शुरू करने के लिए, ड्राइविंग करते समय, कार सबसे अधिक बार अपने लेन में होती है और इसे छोड़ना नहीं चाहिए, लेकिन वास्तव में, ड्राइवर को ड्राइविंग से विचलित किया जा सकता है और कार अगले लेन में चलना शुरू कर सकती है, जिससे विशेष रूप से दुखद परिणाम हो सकते हैं आने वाले यातायात के लिए आगे बढ़ रहा है। राष्ट्रीय राजमार्ग यातायात सुरक्षा प्रशासन (NHTSA) के आंकड़ों के अनुसार, संयुक्त राज्य अमेरिका में राजमार्गों पर होने वाली सभी दुर्घटनाओं में से 40-60% प्रत्यक्ष या अप्रत्यक्ष रूप से इस तथ्य से संबंधित हैं कि कार अपनी लेन छोड़ देती है। इसे रोकने के लिए, लोग लेन में कार की स्थिति पर नज़र रखने के साथ आए और अगर यह इसे छोड़ना शुरू कर देता है, तो चालक को संकेत दें या अधिक सक्रिय क्रियाएं करें: स्टीयरिंग व्हील को चालू करें या कार को उसके लेन को छोड़ने से रोकने के लिए विपरीत दिशा के पहियों पर ब्रेक लगाए। वास्तव में, ऐसी प्रणालियां कुछ पूरी तरह से नई नहीं हैं, जापानी ने लगभग 10 साल पहले कुछ मॉडलों पर उनके साथ प्रयोग करना शुरू किया था। इसके अलावा, विभिन्न कंपनियों ने कार्यान्वयन के लिए काफी अलग-अलग तरीकों का इस्तेमाल किया: सामान्य कैमरे आगे या पीछे दिख रहे हैं, साथ ही साथ अवरक्त कैमरे नीचे देख रहे हैं।

कार्यान्वयन

तो, कार्य राजमार्ग पर कार की स्थिति निर्धारित करने और पट्टी छोड़ने के मामले में चालक को संकेत देना है, और कार में कम से कम संशोधनों के साथ। मेरे मामले में, सिस्टम का आधार जीपीएस रिसीवर से माउंट करने के लिए बिजली के टेप के साथ एक वेब कैमरा था और रियरव्यू मिरर के पास विंडशील्ड पर स्थित प्लस एक लैपटॉप मेरी गोद में स्थित था।

वीडियो स्ट्रीम को संसाधित करने के लिए, OpenCV लाइब्रेरी को पारंपरिक रूप से चुना गया था, और पायथन एल्गोरिथम को लागू करने के लिए।

पायथन के बारे में थोड़ा सा

यहाँ मैं पायथन के बारे में एक छोटा सा गीतात्मक विज्ञापन विषयांतर करूँगा। ऐसा हुआ कि मैंने पेशेवरों पर बहुत कुछ लिखा, और बहुत कुछ किस पर, लेकिन पायथन मेरे सामने कभी नहीं आया और मुझे पूरी ईमानदारी से विश्वास था कि यह काफी धीमा था। वास्तविक समय में वीडियो को संसाधित करने और सभी प्रकार की गणनाओं की एक निश्चित मात्रा में करने के लिए तुरंत आवश्यक था। लेकिन, थोड़ा आगे देखते हुए, मैं केवल यह कह सकता हूं कि इंप्रेशन सकारात्मक थे: इस पर लिखना बहुत आसान है, (मैंने वास्तव में पायथन का अध्ययन करने के दूसरे दिन इस परियोजना को लिखना शुरू कर दिया है), वह वीडियो को संसाधित करने में कामयाब रहा (बिना किसी पुस्तकालय की तरह उपयोग किए बिना NumPy , जो आपको डेटा सरणियों और ओपनसीवी को त्वरित रूप से संसाधित करने की अनुमति देता है), और यदि आप थोड़ा और आगे देखते हैं, तो अब मैं इस पर अपनी शोध परियोजना का हिस्सा लिख ​​रहा हूं और ओपनजीएल का उपयोग करते समय मुझे 300+ एफपीएस मिलता है। इस पर, पायथन के विज्ञापन को पूरा माना जा सकता है, इसे प्रोटोटाइप के लिए उपयोग करें - आपको इसका पछतावा नहीं होगा।

पहला प्रयास - रंग मॉडल

इसलिए, मैंने पट्टी को पृष्ठभूमि से अलग करने के प्रयास के साथ शुरू किया। पहले मैंने सबसे सरल दृष्टिकोण की कोशिश की: विभाजन पट्टी के कुछ प्रकार के रंग मॉडल के लिए, प्रत्येक पिक्सेल से मॉडल के लिए यूक्लिडियन दूरी लें और कुछ दिए गए दहलीज को लागू करें। सामान्य तौर पर, यह विचार अर्थ के बिना नहीं है और एक बहुत अच्छा परिणाम देता है:

लेकिन केवल जब तक एक छाया सड़क पर दिखाई देती है, और यह बहुत, बहुत बार प्रकट होती है। फिर यह इस तरह से निकलता है:

जो पूरी तरह से खराब नहीं है, लेकिन एक बहुत अधिक गंभीर बमर ने मुझे आगे इंतजार किया: कैमरा समय-समय पर जोखिम को समायोजित करता है (किसी कारण से मैं इसे मैन्युअल रूप से प्रबंधित नहीं कर सकता) और बहुत गंभीरता से फ्रेम की चमक को बदल देता है। यह इस तरह दिखता है (चित्र में चमक में बड़े अंतर के साथ दो लगातार फ्रेम हैं):

इस समस्या से छुटकारा पाने के लिए, मुझे एचएसवी रंग स्थान के साथ काम करने का विचार आया, उनका कहना है कि रंग विशेष रूप से चमक पर निर्भर नहीं करता है, फिर छाया और ऑटो एक्सपोज़र को प्रभावित नहीं करना चाहिए। एक ओर, विचार काफी उचित है, लेकिन अत्यधिक चमक मूल्यों पर, टोन चैनल में काफी शोर दिखाई देता है। नतीजतन, यह इस तरह दिखता है:

सामान्य तौर पर, मुझे किसी भी स्थिति के लिए पृष्ठभूमि से धारियों को अलग करने के प्रयासों के साथ सताया गया था और एहसास हुआ कि यह विचार बहुत अच्छा नहीं था। और मैंने कई अलग-अलग फ़िल्टर और वीडियो प्रसंस्करण विधियों का उपयोग करने की कोशिश की, और मेरे मॉनिटर को सभी प्रकार की खिड़कियों के साथ इन जैसे परिणामों के साथ अटे पड़े थे:

और इसलिए पास में दो और मॉनिटर :)

दूसरा प्रयास - वर्चुअल सेंसर

पहले असफल प्रयास के बाद, मुझे एहसास हुआ कि यह काम नहीं करेगा, लेकिन मैं तैयार एल्गोरिथम को मौलिक रूप से देखना नहीं चाहता था, मैं अपना खुद का चाहता था। सच है, एक बार जब मैंने Google के मुद्दे के पहले पृष्ठ पर एक तस्वीर पर थोड़ा धोखा और जासूसी की:

इस तस्वीर से, कई "वर्चुअल सेंसर" का उपयोग करने का विचार पैदा हुआ था जो कि स्तंभों की पूरी पट्टी को ट्रैक करने की कोशिश नहीं कर रहे हैं, लेकिन कुछ चयनित क्षैतिज क्षेत्र में इसका खंड।

यहाँ छवि में क्षैतिज लाल पट्टियाँ सिर्फ इन सेंसरों के कार्य क्षेत्रों को दर्शाती हैं। वे सभी स्वतंत्र रूप से काम करते हैं, जो आपको एक दूसरे के सापेक्ष उनके परिणामों को फ़िल्टर करने की अनुमति देता है। यानी यदि हर कोई दिखाता है कि पट्टी बाईं ओर है, और दाईं ओर, इसके परिणाम को खारिज किया जा सकता है, भले ही यह सेंसर 100% सुनिश्चित हो कि पट्टी है।

प्रत्येक सेंसर पर्याप्त स्मार्ट है, इसमें विभाजन पट्टी का एक मॉडल है और इसे अपने कार्य क्षेत्र में खोजने की कोशिश करता है। दरअसल, मॉडल में दो गुणों का उपयोग किया जाता है: रंग जो पहले से ही हमारे लिए परिचित है, जो अच्छी तरह से काम करता है, लेकिन हमेशा पट्टी की चौड़ाई (सब कुछ यहां काफी सरल नहीं है, इस तथ्य के कारण कि कैमरा कार में अलग तरह से स्थित हो सकता है और परिप्रेक्ष्य विकृतियों के कारण हो सकता है) , हम बैंडविड्थ सेट नहीं कर सकते हैं, इसलिए कार्यक्रम की शुरुआत में, सेंसर इसे सीखते हैं)। इस प्रकार, प्रत्येक फ्रेम के लिए, निम्नलिखित एल्गोरिथ्म का उपयोग किया जाता है:

0) सबसे पहले, हम छवि को केवल उस क्षेत्र में काटते हैं जहां सड़क दिखाई देती है। यह आपको प्रदर्शन में सुधार करने और हुड और आकाश पर प्रतिबिंबों के साथ एल्गोरिथ्म को भ्रमित नहीं करने देता है।
1) फिर हम पूरी छवि पर कैनी लागू करते हैं। यह हमें ऑटो एक्सपोज़र और कभी-कभी छाया के बारे में भूल जाने की अनुमति देता है।
2) फिर प्रत्येक सेंसर के लिए:
२.१) हम सभी बंद क्षेत्रों (सीमाओं के आधार पर दोनों तरफ से घिरा क्षेत्र) की तलाश कर रहे हैं
२.२) हम उन क्षेत्रों की तलाश कर रहे हैं जिनमें चौड़ाई पट्टी की चौड़ाई के बराबर है
2.3) यदि ऐसे कई क्षेत्र हैं (छाया और इसी तरह की समस्याओं के कारण), तो हम क्षेत्र के औसत रंग और विभाजन पट्टी के हमारे रंग मॉडल से इसकी दूरी पर विचार करते हैं और सबसे समान का चयन करते हैं।

यहां प्रत्येक सेंसर के लिए परिणाम (काले - विभाजन पट्टी, सफेद सड़क) हैं:

स्ट्रिपिंग मॉडल

इसलिए, हमारे पास प्रत्येक सेंसर से डेटा है और अगला कदम डिवाइडिंग स्ट्रिप की स्थिति को निर्धारित करना है, और ऐसा करने के लिए आपको किसी प्रकार के मॉडल की आवश्यकता है। मैंने बहुत हद तक दार्शनिक नहीं होने का फैसला किया और एक सीधी रेखा के खंड के रूप में कार के पास विभाजन पट्टी की कल्पना की। आप निश्चित रूप से कह सकते हैं कि यह बिल्कुल सीधा नहीं है, लेकिन मैंने दूसरे क्रम के वक्र के साथ थोड़ा प्रयोग किया, मैंने महसूस किया कि इसमें बहुत अंतर नहीं था, और इस बुरे काम को फेंक दिया। नतीजतन, मेरी विभाजित धारियाँ कभी-कभी क्षितिज पर बैठ जाती हैं, लेकिन यह डरावना नहीं है। सेंसर से सभी डेटा को ध्यान में रखने के लिए, मैं न्यूनतम वर्गों की विधि का उपयोग करता हूं, जो सभी खंडों के मध्य का इनपुट प्राप्त करता है, जिसे वर्चुअल सेंसर विभाजन पट्टी मानते हैं। अंत में, यह कुछ इस तरह दिखता है:

कार की स्थिति

जब हमें पता चलता है कि डिवाइडिंग लेन कहां हैं, तो यह निर्धारित करने का समय है कि कार लेन में कहां है। फिर मैं एक बहुत ही सरल तरीके से आया: हुड के करीब एक क्षैतिज रेखा ले लो, उस पर कई ज़ोन चिह्नित करें, इस सीधी रेखा और विभाजन रेखाओं के प्रतिच्छेदन बिंदुओं को ढूंढें और पट्टी के भीतर कार की स्थिति निर्धारित करने के लिए इन बिंदुओं का उपयोग करें। चौराहे बिंदु किस क्षेत्र में है, इसके आधार पर, हम बता सकते हैं कि मशीन विभाजित पट्टी के कितने करीब है, और यहां तक ​​कि इस तरह की एक सरल विधि के साथ यह काफी सटीक रूप से निकलता है। मैं 3 ज़ोन का उपयोग करता हूं: हरा - सब कुछ ठीक है, कार केंद्र में है; नारंगी - हम पहले से ही किनारे के करीब हैं; लाल - हम पहले ही एक पट्टी में भाग चुके हैं। यह पूरी चीज़ इस तरह दिखती है:


इसके अलावा, इन क्षेत्रों की स्थिति का चुनाव पहले से ही आंदोलन की प्रक्रिया में किया जाता है, क्योंकि सब कुछ मशीन के आकार और कैमरे की स्थिति पर बहुत निर्भर करता है। इसके अलावा, मेरे मामले में, यह इस तरह दिखता था: कार किनारे के पास चलती है, एक पहिया के साथ लेन में टकराती है और, ध्वनि के आधार पर (रिफ्लेक्टर के माध्यम से चलती है), लाल क्षेत्र की सीमा स्थापित होती है, अर्थात। यह वह क्षण है जब पहिया पहले से ही निकटवर्ती लेन पर जाने के लिए शुरू हो गया है। थोड़ी देर बाद वीडियो पर आप इसे सुन सकते हैं।

दरअसल, यह लगभग अंत है, यह केवल ड्राइवर को सूचित करने के लिए रहता है कि वहां क्या हो रहा है। ऐसा करने के लिए, मैं उन तीरों को दिखाता हूं जो मशीन की गति के लिए निर्देशित होते हैं:

परीक्षण

तो, सबसे दिलचस्प बात परीक्षण है। सबसे पहले, आइए एक नज़र डालें कि विकसित प्रोटोटाइप पूर्व रिकॉर्ड किए गए वीडियो को कैसे संभालता है:


सब कुछ इतना बुरा नहीं है, सिवाय एक दो तख्ते के जहां वह सही ढंग से विभाजन पट्टी की स्थिति का निर्धारण नहीं कर सका। इसके अलावा, ऐसी स्थिति को संभालना संभव था, इस मामले में, NumPy से कम से कम चौकोर विधि के कार्यान्वयन ने एक अपवाद को फेंक दिया और आप केवल पट्टी की पुरानी स्थिति का उपयोग कर सकते थे, लेकिन उस समय बहुत देर हो चुकी थी और चारों ओर गड़बड़ हो गई :)

खैर, अब मुख्य बात एक वास्तविक ट्रैक पर परीक्षण है:


और यहाँ वादा किया गया वीडियो है जहाँ आप परावर्तक पट्टी पर स्थित रिफ्लेक्टरों की मार की आवाज़ सुन सकते हैं (वैसे, बहुत उपयोगी चीज़, और न केवल परीक्षणों के लिए):

अंत

यह सब, मैं केवल यह कह सकता हूं कि ऐसी प्रणाली का एक सरल प्रोटोटाइप ऐसा करने के लिए मुश्किल नहीं है, लेकिन किसी भी मौसम और सड़क की स्थिति में इसे कैसे काम करना है यह एक और सवाल है, क्योंकि अक्सर लेन लगभग अदृश्य है और यहां तक ​​कि मेरा मस्तिष्क भी शायद ही मैं समझता हूं कि मैं कहां जा रहा हूं।

एक और दिलचस्प बिंदु: अब एक लेन से दूसरे में जाने पर मेरा प्रोटोटाइप बहुत बुरा लगता है। सबसे पहले मैंने सही लेन चेंज ऑपरेशन करने की सोची और वह सब कुछ, लेकिन सब कुछ स्पष्ट है: इस प्रणाली का काम इसे दूसरी लेन में जाने से रोकना है और यह समझने के लिए कि ड्राइवर वास्तव में वहां जाना चाहता है या नहीं, आपको अधिक जानकारी की आवश्यकता है, उदाहरण के लिए, डेटा टर्न सिग्नल्स को शामिल करने पर, नेविगेशन सिस्टम, राडार आदि का डेटा, लेकिन यह पूरी तरह से एक और कहानी है।

और एक बार फिर मैं कहूंगा कि पायथन प्रोटोटाइप बनाने के लिए एक अच्छी बात है, मैं इसे एक ऐसे व्यक्ति के रूप में कहता हूं जो काफी सालों से C ++ लिख रहा है (और 2 दिन खरोंच से इस तरह की चीज को विकसित करने के लिए बिना भाषा जाने इसकी पुष्टि करता है, सी I में नहीं होगा। में कामयाब रहे)।

पुनश्च: मैं 3-आयामी केतली के साथ पिछले विषय को जारी न रखने के लिए माफी चाहता हूं, क्योंकि यह निकला, 3 डी मॉनिटर 3 डी के लिए अच्छा है, लेकिन यह 2 डी के साथ काम नहीं करता है, इसलिए मुझे इसे बदलना पड़ा, लेकिन मुझे उम्मीद है कि यह विषय कोई भी बदतर नहीं है :)

PS2: मैं स्रोत के बारे में भूल गया, वे एक गीथूब पर रहते हैं