छवियों और वीडियो में लिंग की पहचान

यह लेख 93.1% [1] की सटीकता के साथ एक लिंग पहचान एल्गोरिथ्म प्रस्तुत करता है। लेख को इमेज प्रोसेसिंग या मशीन लर्निंग के क्षेत्र में किसी पूर्व ज्ञान की आवश्यकता नहीं है। लेख पढ़ने के बाद, पाठक अपने आप पर विचार किए गए एल्गोरिथ्म को निष्पादित करने में सक्षम होगा।

परिचय

किसी व्यक्ति को देखते हुए, आमतौर पर हम लिंग का सही निर्धारण करते हैं। कभी-कभी हम गलती करते हैं, लेकिन अक्सर ऐसे मामलों में ऐसा करना वास्तव में मुश्किल होता है।

अक्सर हम कुछ संदर्भ का उपयोग करते हैं। इसलिए, उदाहरण के लिए, लेख के लेखक के लिए, कपड़े का रंग कभी-कभी सबसे महत्वपूर्ण संकेत होता है जब 1-2 साल तक के बच्चे के लिंग की पहचान करने की कोशिश की जाती है।

आइए एक चेहरे की छवि से लिंग का निर्धारण करने के कार्य पर जाएं। हम प्रत्येक चेहरे की छवि को पुरुषों के वर्ग या महिलाओं के वर्ग को सौंपना चाहते हैं। क्या जरूरत है एक तंत्र है जो यह तय करेगा कि तस्वीर किस वर्ग की है। इस सेटिंग में, समस्या एक सामान्य मशीन लर्निंग कार्य की तरह दिखती है: दो वर्गों के चिह्नित उदाहरणों का एक समूह है: एम और जी। "चिह्नित" का अर्थ है कि प्रत्येक तस्वीर उस पर चित्रित व्यक्ति के लिंग से जुड़ी है। इसलिए हमें कुछ क्लासिफायर की जरूरत है।

हालाँकि, किस आधार पर, लिंग वर्गीकरणकर्ता यह तय करेगा कि छवि किस वर्ग की है? कुछ विशेषताओं की आवश्यकता है। प्रत्येक छवि कुछ आकार का एक मैट्रिक्स है। जिनके तत्व प्रत्येक पिक्सेल की चमक को कूटबद्ध करते हैं। जाहिर है, आप सीधे छवि पिक्सेल का उपयोग कर सकते हैं। यह दृष्टिकोण अक्सर अच्छे परिणाम देता है, लेकिन यह प्रकाश में परिवर्तन और छवि में शोर की उपस्थिति के लिए अस्थिर है।

एक और दृष्टिकोण कुछ पिक्सेल अनुपातों का उपयोग करना है। इस तरह के संबंधों या सुविधाओं की एक बड़ी संख्या विकसित की गई है। एक विशेष प्रकार की विशेषता की प्रयोज्यता का अध्ययन कई कंप्यूटर दृष्टि कार्यों में एक महत्वपूर्ण कदम है।

की विशेषताओं

लिंग पहचान की समस्या को हल करने के लिए, लेख बूस्टिंग सेक्स आइडेंटिफिकेशन परफॉर्मेंस [1] के लेखक, नीचे चर्चा की गई सरल विशेषताओं के सेट का उपयोग करने का प्रस्ताव है।

सादगी के लिए, हम छवि के सभी पिक्सेल को नंबर देते हैं: - मतलब सीरियल नंबर वाले पिक्सेल की चमक । विशेषताओं के निम्नलिखित सेट पर विचार करें ( ):

1. 
2. 
3. 
4. 
5. 

दूसरे शब्दों में, हम छवि में पिक्सेल के सभी संभावित जोड़े की रचना करते हैं, उनके अंतर की गणना करते हैं और उपरोक्त नियमों को लागू करते हैं। प्रत्येक तुलना एक द्विआधारी विशेषता देती है। उदाहरण के लिए, के लिए हमारे पास है:

1. - झूठा (0)
2. - झूठा (0)
3. - झूठा (0)
4. - सच (1)
5. - सच (1)

इस प्रकार, हमारे पास विशेषताओं का एक वेक्टर है । इन पांच विशेषताओं को उनके व्युत्क्रम विशेषताओं द्वारा पूरक किया जाता है - । इन वैक्टरों को मिलाकर, हम निम्नलिखित द्विआधारी विशेषताओं के लिए सेट प्राप्त करते हैं और : । पाठक के पास एक तार्किक प्रश्न हो सकता है: प्रशिक्षण सेट में डेटा क्यों दर्ज किया जाता है जो इसमें पहले से ही डेटा को नकार कर प्राप्त किया जाता है? इस अतिरेक की आवश्यकता क्यों है? अच्छा सवाल! क्लासिफायर बनाते समय इसका उत्तर बाद में स्पष्ट हो जाएगा।

इस प्रकार, पिक्सेल की प्रत्येक जोड़ी के लिए हमारे पास 10 विशेषताएं हैं, छवि के लिए पिक्सल हमें मिलता है विशेषताओं। एक बार फिर, हम ध्यान दें कि हमारे संदर्भ में विशेषताएँ ऊपर लागू नियमों के साथ पिक्सेल के अंतर मात्र हैं।

जाहिर है, लिंग पहचान के लिए सभी विशेषताओं का उपयोग नहीं किया जाना चाहिए। इसके अलावा, इतनी बड़ी संख्या में प्रसंस्करण अक्षम हो सकता है। निश्चित रूप से विशेषताओं के इस सेट के बीच उन लोगों का एक छोटा सा हिस्सा है जो लिंग अंतर को बाकी की तुलना में बेहतर तरीके से एन्कोड करते हैं। तो ऐसी विशेषताओं का चयन कैसे करें?

AdaBoost [2] [3] एल्गोरिथ्म का उपयोग करके इस समस्या को प्रभावी ढंग से हल किया गया है, जिसका उद्देश्य बहुत बड़े प्रारंभिक सरणी से मूल्यवान विशेषताओं के एक छोटे सेट का चयन करना है।

डेटा तैयारी और क्लासिफायर ट्रेनिंग

चलो डेटा की तैयारी के साथ शुरू करते हैं। प्रशिक्षण और परीक्षण के लिए, हम FERET व्यक्ति डेटाबेस का उपयोग करेंगे [4] [५] । इसमें 994 लोगों (591 पुरुष, 403 महिलाएं) की विभिन्न तस्वीरें हैं, इसके अलावा, प्रत्येक व्यक्ति के लिए अलग-अलग पोज़ में ली गई कई तस्वीरें हैं।



प्रत्येक फोटो में आपको आंखें ढूंढनी होती हैं, हमारे लिए रुचि के क्षेत्र को काटें और इसे आकार में कम करें ताकि परिणाम निम्न पैटर्न के समान हो:



सौभाग्य से, FERET के रचनाकारों ने हाथ से चेहरे पर मुख्य बिंदुओं को नोट किया, और आँखें उनमें से थीं। हालांकि, एक वास्तविक मान्यता प्रणाली में, आंखों को एक विशेष एल्गोरिथ्म के साथ रखा जाता है, जो आमतौर पर मैनुअल प्लेसमेंट की तुलना में कम सटीक होता है। इसलिए, सेक्स मान्यता प्रशिक्षण के स्तर पर रुचि के क्षेत्रों को काटने के लिए, एक ही आंख संरेखण एल्गोरिथ्म का उपयोग करने की सिफारिश की जाती है जो मान्यता प्रणाली में होगी। इस मामले में, आंख संरेखण एल्गोरिथ्म की त्रुटि को ध्यान में रखने के लिए क्लासिफायर "सीखता है"।

पूर्व-प्रसंस्करण के परिणामस्वरूप, हमारे पास चित्रों के दो सेट हैं:



ध्यान दें कि स्पष्टता के लिए, ऊपर की आकृति में प्रत्येक चेहरे में आयाम हैं पिक्सल, वास्तव में, माना दृष्टिकोण में, आकार की छवियां पिक्सेल। प्रशिक्षण सेट का उपयोग वर्गीकरणकर्ता को प्रशिक्षित करने के लिए किया जाएगा, जैसा कि नाम से पता चलता है। परीक्षण का नमूना क्लासिफायरियर के लिए "अज्ञात" है, इसलिए इसकी मदद से आप सटीकता को माप सकते हैं।

इसलिए जरूरी है

• प्रत्येक तस्वीर के लिए, द्विआधारी विशेषताओं (कमजोर क्लासिफायर) युक्त एक वेक्टर लिखें तत्त्व
• "पैक" दो मेट्रिक्स में सभी तस्वीरों के ऐसे वैक्टर: और
• जिसमें संबंधित आउटपुट डेटा वैक्टर बनाएं तत्व मान 1 लेता है फोटो एक आदमी का है, अन्यथा 0

नीचे दिया गया आंकड़ा इनपुट और आउटपुट डेटा के मैट्रिक्स को दर्शाता है। ऐसी जोड़ी को प्रशिक्षण सेट और परीक्षण सेट दोनों के लिए बनाया जाना चाहिए।

अब सीखने के एल्गोरिथ्म को "शब्दों में" जानने की कोशिश करते हैं। थोड़ा नीचे AdaBoost एल्गोरिथ्म का एक औपचारिक आरेख है।

याद रखें कि हमारा कार्य ऐसी विशेषताओं का चयन करना है जो एम और जी कक्षाओं को अलग कर सकते हैं मान लीजिए कि हमने पहले ही विश्लेषण किया है आदेश में इस तरह की विशेषताओं, और विश्लेषण के लिए आगे बढ़ें :



अर्थ पहले तीन प्रशिक्षण उदाहरणों के लिए विशेषताएँ इन उदाहरणों के लिए लेबल वेक्टर मान । यदि आप मान लेते हैं लिंग भविष्यवाणी के रूप में विशेषताएं, तो इस मामले में त्रुटि वेक्टर होगा । यदि हम विशेषता पर विचार करें तो । इस प्रकार, विशेषताओं के बीच चयन करना और पसंद किया जाना चाहिए जैसा । सभी विशेषताओं के माध्यम से जाने के बाद, हम टी को सर्वश्रेष्ठ पाएंगे, जिसका उपयोग हम वर्गीकरण के लिए करेंगे।

और अब एक औपचारिक प्रशिक्षण प्रक्रिया।

प्रशिक्षण के उदाहरण: जहाँ - छवि महिला के मामले में पुरुष के मामले में।

हम वेट के वेक्टर को इनिशियलाइज़ करते हैं :

• अगर i-th तस्वीर महिला है
• अगर i-th तस्वीर पुरुष है

जहाँ और क्रमशः महिला और पुरुष उदाहरणों की संख्या।

के लिए (जहाँ T उन विशेषताओं की संख्या है जिन्हें हम चुनना चाहते हैं)

1. वजन को सामान्य करें ताकि ।
2. हर कमजोर वर्ग के लिए, , हम खाते में भार में वर्गीकरण त्रुटि पर विचार करते हैं: । प्रत्येक उदाहरण के लिए, त्रुटि सही वर्गीकरण के मामले में या तो मान लेती है, या गलत होने पर। क्योंकि तो ।
3. क्लासीफायर चुनें कम से कम त्रुटि के साथ और देखें कि यह डेटा को कैसे वर्गीकृत करता है।
4. हम वेट अपडेट करते हैं।
   
   यदि उदाहरण गलत तरीके से वर्गीकृत किया गया है (अर्थात )
   
   ।
   
   अन्यथा
   
   ।
   
   जहाँ
   
   ।
   

परिणामी क्लासिफायर फॉर्मूला द्वारा दर्शाया गया है:



आइए उन मानों की श्रेणी का मूल्यांकन करने का प्रयास करें जो ले सकते हैं । हमने पहले ही नोट कर लिया है एक खंड पर मान लेता है । अब मान लीजिए कि कुछ वर्गीकरण के लिए । जाहिर है, इस मामले में । हालांकि, क्या इस तरह के एक वर्गीकृत को ऊपर वर्णित एल्गोरिदम द्वारा चुना जाएगा? जाहिर है, ऐसा नहीं होगा, क्योंकि प्रशिक्षण के नमूने में हमेशा इस तरह का एक क्लासिफायरियर होगा नकार संचालन का उपयोग कर प्राप्त किया जिसके लिए और । यह देखना आसान है कि यदि उदाहरण को सही तरीके से वर्गीकृत किया गया था, तो इसका वजन गुणा करके कम किया जाता है , और इस प्रकार, गलत तरीके से वर्गीकृत किए गए उदाहरण (जटिल उदाहरण) अधिक वजन प्राप्त करते हैं।

अब वापस अतिरेक के सवाल पर, जो हमने पहले पूछा था। निषेध द्वारा प्राप्त क्लासिफायर के नमूने में उपस्थिति सीमा खंड पर और जटिल उदाहरणों के वजन को बढ़ने की अनुमति देता है।

इनपुट मैट्रिस के आकार को देखते हुए, मानक AdaBoost एल्गोरिथ्म द्वारा पहले 1000 विशेषताओं के चयन में लगभग 10 घंटे लगते हैं (Intel Core i7)। मानक का मतलब सभी विशेषताओं के माध्यम से चल रहा है। एल्गोरिथ्म के संस्करण हैं जो पूरे सेट से यादृच्छिक विशेषताओं के साथ काम करते हैं, लेकिन उनका विवरण इस लेख के दायरे से परे है। 10 घंटे का प्रशिक्षण समय इस कार्य के लिए स्वीकार्य परिणाम है, क्योंकि यह एक बार का ऑपरेशन है।

ध्यान दें कि एल्गोरिथ्म का परिणाम पिक्सेल सूचकांकों के जोड़े हैं जिनकी तुलना करने की आवश्यकता है, पांच तुलना नियमों और मूल्य में से एक प्रत्येक जोड़ी के लिए। वास्तव में, एक तस्वीर का विश्लेषण करने के लिए, आपको केवल मतभेदों की गणना करने की आवश्यकता है, चयनित नियम को लागू करें और इसके लिए सूत्र का उपयोग करके समाधान ढूंढें । इसलिए, यह एल्गोरिथम संसाधनों पर पूरी तरह से मांग कर रहा है और मान्यता प्रणाली को धीमा नहीं करता है जिसमें इसका उपयोग किया जाता है।

परिणाम

अब मज़ा हिस्सा! AdaBoost ने क्या विशेषताएँ चुनीं?! नीचे पहले 50 विशेषताएं हैं जो AdaBoost ने चुनी हैं। लाल और सफेद पिक्सल और । किसी छवि के किनारों के पास पिक्सेल का विश्लेषण करते समय, याद रखें कि कई लोगों के चेहरे फ्रेम में फिट नहीं होते हैं। इसलिए, किनारे पिक्सेल, किसी तरह से, चेहरे के आकार को एनकोड कर सकते हैं।



उपयोग की जाने वाली विशेषताओं की संख्या पर वर्गीकरण सटीकता की निर्भरता पर विचार करें।

ध्यान दें कि शेड्यूल प्राप्त किया गया था कि व्यक्तियों के FERET डेटाबेस से डेटा का उपयोग करें जो AdaBoost "नहीं देखा" प्रशिक्षण चरण में। 911 सुविधाओं का उपयोग करके 93.1% की अधिकतम सटीकता प्राप्त की जाती है। इस दृष्टिकोण के लेखक 94.3% की सटीकता की रिपोर्ट करते हैं, जो प्राप्त संकेतक के बहुत करीब है। प्रशिक्षण और परीक्षण के नमूनों में अलग-अलग टूटने के कारण 1.2% का अंतर उत्पन्न हो सकता है। इस लेख में भी, हमने आँखों की खोज के लिए अपने स्वयं के एल्गोरिथ्म का उपयोग किया, जिसकी सटीकता FERET डेटाबेस में मानव आँख संरेखण की सटीकता से भिन्न है।

हालांकि, अगर क्लासिफायर केवल उस आधार को पहचानना सीखता है जिस पर उसे प्रशिक्षित किया गया था?! एक समान प्रभाव तब होता है जब एक छात्र, परीक्षा की तैयारी कर रहा है, बस सार को समझे बिना, सूत्रों, कार्यों, उदाहरणों को याद करता है। ऐसा छात्र केवल उन समस्याओं को हल करने में सक्षम होता है जो उसने पहले ही देखी है, और नई समस्याओं के लिए अपने ज्ञान का विस्तार करने में सक्षम नहीं है। मशीन लर्निंग में इस प्रभाव को ओवरफिटिंग कहा जाता है और यह एक गंभीर मान्यता समस्या है। विपरीत प्रभाव को सामान्यीकरण कहा जाता है।

सामान्यीकरण करने की क्षमता का परीक्षण करने के लिए, हम व्यक्तियों के एक अन्य आधार का उपयोग करते हैं - बोस्फोरस डेटाबेस [6] [ । ] । इसमें 105 लोगों की तस्वीरें हैं। आधार में प्रति व्यक्ति 35 विभिन्न चेहरे के भाव शामिल हैं।

नीचे दिया गया ग्राफ़ थोड़ा अधिक प्रस्तुत किए गए ग्राफ़ के समान है, एकमात्र अंतर है जो बोस्फोरस डेटाबेस का उपयोग करके प्राप्त किया जाता है (यानी परीक्षण नमूने के साथ परिचित की संभावना को बाहर रखा गया है)।

परीक्षण के नमूने में 1300 तस्वीरें (727 एम और 573 डब्ल्यू) शामिल हैं। 91% की अधिकतम सटीकता 954 विनिर्देशों के साथ हासिल की है। ध्यान दें कि 90% का निशान 100 विशेषताओं के साथ पहले से ही पहुंच गया है।

ये दो ग्राफ, साथ ही वीडियो जो लेख में मौजूद हैं, डेटा पर इस दृष्टिकोण की उच्च सटीकता को प्रदर्शित करता है कि वह प्रशिक्षण चरण में "नहीं देखा"। इसीलिए इसे लिंग पहचान के लिए अत्याधुनिक एल्गोरिदम माना जाता है।

निम्नलिखित वीडियो टेलीविजन शो के टुकड़े पर एल्गोरिथ्म के संचालन को दर्शाता है। इस सटीकता को प्राप्त करने के लिए, समय के साथ परिणामों को "चौरसाई" किया जाता है: प्रत्येक चेहरे को 19 फ़्रेमों के लिए मनाया जाता है, जिनमें से प्रत्येक लिंग का निर्धारण करता है। नतीजतन, अंतिम 19 फ्रेम में सबसे अधिक बार होने वाला लिंग चुना जाता है।

संदर्भ

1. एस। बलुजा, और एच। रौली, बूस्टिंग सेक्स आइडेंटिफिकेशन परफॉर्मेंस , इंटरनेशनल जर्नल ऑफ कंप्यूटर विजन, वी। 71 मैं। 1 जनवरी, 2007
2. वाई। फ्रायंड और आर। शापायर, कंप्यूटर और सिस्टम साइंस जर्नल, 1996 पीपी। 119-139
3. वाई। फ्रायंड और आर। शापायर, बूस्टिंग के लिए एक संक्षिप्त परिचय , आर्टिफिशियल इंटेलिजेंस के लिए जापानी सोसायटी के जर्नल, 14 (5): 771-780, सितंबर, 1999
4. पीजे फिलिप्स, एच। मून, एसए रिजवी और पीजे राउज, "चेहरा पहचान एल्गोरिदम के लिए FERET मूल्यांकन पद्धति" , IEEE ट्रांस। पैटर्न विश्लेषण और मशीन इंटेलिजेंस, वॉल्यूम। 22, पीपी। 1090-1104, 2000
5. http://www.itl.nist.gov/iad/humanid/feret/feret_master.html
6. Bosphorus डेटाबेस
7. ए। सावरन, बी। संकेत, एमटी बिलगे, "फेशियल एक्शन यूनिट्स के ऑटोमैटिक डिटेक्शन के लिए 3D बनाम 2D मॉडैलिटी का तुलनात्मक मूल्यांकन", पैटर्न रिकॉग्निशन, वॉल्यूम। 45, अंक 2, पृष्ठ 767-782, 2012।