OpenCV का उपयोग करके Android पर फ़ोटो में लोगों को ढूंढें

हाल ही में, मुझे एंड्रॉइड पर मोबाइल "घोड़ा" के लिए एक दिलचस्प समस्या आई - तस्वीरों में लोगों के कंट्रोल्स (यदि कोई हो, तो निश्चित रूप से) यह निर्धारित करना आवश्यक है। इंटरनेट पर खोज करने के बाद, ओपन सोर्स प्रोजेक्ट ओपनसीवी का उपयोग करने का निर्णय लिया गया, जो एंड्रॉइड प्लेटफॉर्म पर चल सकता है।

उनके बारे में पहले ही बहुत कुछ लिखा जा चुका है, लेकिन यह विषय मुझे नहीं मिला और कई स्रोतों और व्यक्तिगत टिप्पणियों से एकत्र किया गया था।

समायोजन

एंड्रॉइड स्टूडियो पर एक प्रोजेक्ट में एक लाइब्रेरी को शामिल करने का एक संक्षिप्त विवरण (ग्रेडेल का उपयोग करके):
आरंभ करने के लिए, आपको साइट से लाइब्रेरी के नवीनतम संस्करण को डाउनलोड करना होगा और आर्काइव से OpenCV-2.4.8-android-sdk/sdk/java फ़ोल्डर की सामग्री को कॉपी करना होगा जो आपके प्रोजेक्ट के libs/OpenCV फ़ोल्डर (यदि आवश्यक हो, इसे बनाएं)।
इसके बाद, इस मॉड्यूल को gradle फ़ाइलों से कनेक्ट करें:
प्रोजेक्ट रूट फ़ोल्डर में, settings.gradle संपादित करें और हमारा मॉड्यूल जोड़ें:

 include ':app',':app:libs:OpenCV' 

हमारे एप्लिकेशन की बिल्ड ग्रेडल फ़ाइल में (रूट फ़ाइल नहीं, बल्कि app/build.gradle ) dependencies अनुभाग में लाइन compile project(':app:libs:OpenCV') , ताकि यह पता चले:

 dependencies { compile 'com.android.support:appcompat-v7:+' compile project(':app:libs:OpenCV') } 

और कोड के साथ OpenCV फ़ोल्डर में build.gradle फ़ाइल बनाएँ:

 buildscript { repositories { mavenCentral() } dependencies { classpath 'com.android.tools.build:gradle:0.6.+' } } apply plugin: 'android-library' repositories { mavenCentral(); } android { compileSdkVersion 19 buildToolsVersion "19" defaultConfig { minSdkVersion 8 targetSdkVersion 19 } sourceSets { main { manifest.srcFile 'AndroidManifest.xml' java.srcDirs = ['src'] resources.srcDirs = ['src'] aidl.srcDirs = ['src'] renderscript.srcDirs = ['src'] res.srcDirs = ['res'] assets.srcDirs = ['assets'] } } } 

खैर, वास्तव में, यह है, OpenCV Android SDK जुड़ा हुआ है और हम कार्यान्वयन के लिए आगे बढ़ सकते हैं।

किसी डिवाइस पर लाइब्रेरी स्थापित करें

OpenCV के साथ परिचित होने के पहले चरण में, मुझे एंड्रॉइड के तहत काम करने की कुछ सुविधा से भ्रमित किया गया था - ओपनसीवी प्रबंधक एप्लिकेशन को अलग से इंस्टॉल करने की आवश्यकता है, जिसे आपकी रचना सीधे बातचीत करेगी। एक अजीब निर्णय, क्योंकि यह अंतिम उपयोगकर्ता को यह समझाने के लिए आवश्यक होगा कि आपके आवेदन का उपयोग करने के लिए उसे बाजार में एक और कार्यक्रम स्थापित करने की आवश्यकता होगी (उपयोगकर्ता का लाभ आपके आवेदन को सीधे रीडायरेक्ट करेगा, जो किसी व्यक्ति को खो जाने की अनुमति नहीं देगा, लेकिन यह उसे वैसे भी डरा सकता है) ।

एक अन्य कनेक्शन पथ है - स्थैतिक आरंभीकरण , लेकिन डेवलपर्स का दावा है कि यह केवल विकास के उद्देश्यों के लिए मौजूद है और यह मुझे लगता है, इसे नए संस्करणों में हटाया जा सकता है (यह मुख्य रूप से विकास के उद्देश्यों के लिए डिज़ाइन किया गया है। यह दृष्टिकोण उत्पादन कोड के लिए पदावनत है। रिलीज पैकेज को ऊपर वर्णित एस्किंक आरंभीकरण के माध्यम से ओपनसीवी प्रबंधक के साथ संवाद करने की सिफारिश की गई है।)

लेकिन इस लेख के संदर्भ में, यह केवल हमारे लिए है। परियोजना में एनडीके कनेक्शन और विधानसभा / पुस्तकालय पुस्तकालयों के कनेक्शन से परेशान होने की आवश्यकता नहीं है। तो चलिए जारी रखते हैं।

एमुलेटर पर ओपनसीवी प्रबंधक स्थापित करने के लिए, हम अपने एंड्रॉइड एसडीके से एडीबी उपयोगिता का उपयोग करेंगे। ऐसा करने के लिए, वर्चुअल डिवाइस शुरू करें, कमांड को लोड करने और चलाने के लिए इसका इंतजार करें:
/PATH_TO_ANDROID_SDK/platform-tools/adb install /PATH_TO_OPENCV/OpenCV-2.4.8-android-sdk/apk/OpenCV_2.4.8_Manager_2.16_armv7a-neon.apk (ABI APK के लिए उपयुक्त है) चुनें।

छवियों के साथ काम करें

आवेदन में OpenCV की पूरी शुरूआत बेसलॉडरकॉलबैक इंटरफ़ेस के कॉलबैक को लागू करने के लिए है, जहां एक ऑनमैनेजरकनेक्टेड विधि है जिसमें हम पहले से ही ओपनसीवी के साथ काम करना शुरू कर सकते हैं, और हम आवश्यक मापदंडों (कॉलबैक सहित) के साथ स्टेटिक विधि OpenCVLoader.initync को कॉल करते हैं। यदि आपका एप्लिकेशन OpenCV प्रबंधक नहीं खोजता है, तो यह उपयोगकर्ता को इसे इंस्टॉल करने के लिए कहेगा। कनेक्शन:

  @Override public void onResume() { super.onResume(); //    OpenCVLoader.initAsync(OpenCVLoader.OPENCV_VERSION_2_4_8, this, mLoaderCallback); } private BaseLoaderCallback mLoaderCallback = new BaseLoaderCallback(this) { @Override public void onManagerConnected(int status) { switch (status) { case LoaderCallbackInterface.SUCCESS: { //   OpenCV } break; default: { super.onManagerConnected(status); } break; } } }; 

अब हम अपने पुस्तकालय के साथ सुरक्षित रूप से काम कर सकते हैं।

इस उदाहरण में, हम फोटो url से एक बिटमैप बनाते हैं, फिर इसे OpenCV Mat ऑब्जेक्ट (छवि मैट्रिक्स) में अनुवाद करते हैं, इसे रंग से ग्रेस्केल में परिवर्तित करते हैं (यह विश्लेषक के लिए आवश्यक है) और HOGDescriptor.detectMultiScale ऑब्जेक्ट की स्थिर विधि को कॉल करते हैं (जिसमें हम एक मानक मानव डिटेक्टर जोड़ते हैं। HOGDescriptor.getDefaultPeopleDetector विधि से आकृति)। कॉल के बाद, स्थान चर में आयताकार क्षेत्रों की वस्तुएं होंगी जहां लोग स्थित हैं (x, y, चौड़ाई, ऊंचाई), और भार में - खोज की प्रासंगिकता (लेकिन, जैसा कि अभ्यास ने दिखाया है, यह ऐसी छवियों के लिए वास्तविकता के अनुरूप नहीं है)।

सादगी के लिए, मैंने फ़ोटोज़ को फ़ेसबुक पर अपलोड किया और फ़ोटो को अपलोड करने और संसाधित करने के तरीकों को एक में मिला दिया। विधि कोड ही:

 public Bitmap peopleDetect ( String path ) { Bitmap bitmap = null; float execTime; try { //   URL url = new URL( path ); HttpURLConnection connection = (HttpURLConnection) url.openConnection(); connection.setDoInput(true); connection.connect(); InputStream input = connection.getInputStream(); BitmapFactory.Options opts = new BitmapFactory.Options(); opts.inPreferredConfig = Bitmap.Config.ARGB_8888; bitmap = BitmapFactory.decodeStream(input, null, opts); long time = System.currentTimeMillis(); //     OpenCV       Mat mat = new Mat(); Utils.bitmapToMat(bitmap, mat); //    RGB    Imgproc.cvtColor(mat, mat, Imgproc.COLOR_RGB2GRAY, 4); HOGDescriptor hog = new HOGDescriptor(); //         MatOfFloat descriptors = HOGDescriptor.getDefaultPeopleDetector(); hog.setSVMDetector(descriptors); //  ,       ( locations -  , weights -  (  )  ) MatOfRect locations = new MatOfRect(); MatOfDouble weights = new MatOfDouble(); //  ,   .    locations  weights hog.detectMultiScale(mat, locations, weights); execTime = ( (float)( System.currentTimeMillis() - time ) ) / 1000f; //      Point rectPoint1 = new Point(); Point rectPoint2 = new Point(); Scalar fontColor = new Scalar(0, 0, 0); Point fontPoint = new Point(); //    -          if (locations.rows() > 0) { List<Rect> rectangles = locations.toList(); int i = 0; List<Double> weightList = weights.toList(); for (Rect rect : rectangles) { float weigh = weightList.get(i++).floatValue(); rectPoint1.x = rect.x; rectPoint1.y = rect.y; fontPoint.x = rect.x; fontPoint.y = rect.y - 4; rectPoint2.x = rect.x + rect.width; rectPoint2.y = rect.y + rect.height; final Scalar rectColor = new Scalar( 0 , 0 , 0 ); //      Core.rectangle(mat, rectPoint1, rectPoint2, rectColor, 2); Core.putText(mat, String.format("%1.2f", weigh), fontPoint, Core.FONT_HERSHEY_PLAIN, 1.5, fontColor, 2, Core.LINE_AA, false); } } fontPoint.x = 15; fontPoint.y = bitmap.getHeight() - 20; //     Core.putText(mat, "Processing time:" + execTime + " width:" + bitmap.getWidth() + " height:" + bitmap.getHeight() , fontPoint, Core.FONT_HERSHEY_PLAIN, 1.5, fontColor, 2, Core.LINE_AA, false); Utils.matToBitmap( mat , bitmap ); } catch (IOException e) { e.printStackTrace(); } return bitmap; } 

आउटपुट पर, हम उस पर आरोपित लोगों के कथित स्थान के क्षेत्रों के साथ एक बिटमैप प्राप्त करते हैं, दिए गए खोज परिणाम का वजन और कुछ अतिरिक्त जानकारी। सैमसंग गैलेक्सी एस 3 पर एक फोटो (चौड़ाई और ऊंचाई में एक हजार पिक्सल तक) की प्रसंस्करण गति लगभग 1-6 सेकंड है। नीचे रनटाइम के साथ खोज परिणाम दिए गए हैं।

पहली तस्वीर में, विश्लेषक को एक भी व्यक्ति नहीं मिला, चाहे हम कितना भी पसंद करें (
छवि- 1.jpg चौड़ाई: 488 ऊँचाई: 420 निष्पादन समय: 1.085


इसके अलावा, परिणाम बेहतर है, लेकिन यह भी नहीं है।
छवि- 2.jpg चौड़ाई: 575 ऊँचाई: 400 निष्पादन समय: 1.226


हां, और तीसरा हमें निराश कर दे
छवि 3.jpg चौड़ाई: 618 ऊँचाई: 920 निष्पादन समय: 6.459


कुछ पहले से ही
चित्र 4.jpg चौड़ाई: 590 ऊँचाई: 505 निष्पादन समय: 3.084


अधिक "जीवंत" तस्वीरों की ओर मुड़ते हुए, परिणाम मेरे लिए थोड़ा अप्रत्याशित था
चित्र- 5.jpg चौड़ाई: 604 ऊँचाई: 453 निष्पादन समय: 1.913


स्मारक को आंशिक रूप से मान्यता दी गई थी
चित्र- 6.jpg चौड़ाई: 960 ऊँचाई: 643 निष्पादन समय: 4.106


और यहां पहली तस्वीर है जो वास्तव में दिखाती है कि पुस्तकालय "तेज" क्यों है
छवि-7.jpg चौड़ाई: 960 ऊँचाई: 643 निष्पादन समय: 2.638


स्पष्ट विपरीत में, मुझे वांछित प्रभाव नहीं मिला
छवि-8.jpg चौड़ाई: 960 ऊँचाई: 857 निष्पादन समय: 3.293


मैंने यहां कुछ भी परिभाषित नहीं किया है।
छवि- 9.jpg चौड़ाई: 960 ऊँचाई: 642 निष्पादन समय: 2.264


बैकग्राउंड में लोगों के साथ फोटो
छवि- 10.jpg चौड़ाई: 960 ऊँचाई: 643 निष्पादन समय: 2.188


क्लोज-अप, लेकिन कोई फायदा नहीं हुआ
चित्र- 11.jpg चौड़ाई: 960 ऊँचाई: 639 निष्पादन समय: 2.273


चार के बजाय थोड़ा और
छवि-12.jpg चौड़ाई: 960 ऊँचाई: 640 निष्पादन समय: 2.669


जैसा कि परिणामों से देखा जा सकता है, पुस्तकालय निगरानी कैमरों से फ़ोटो / वीडियो का निर्धारण करने के लिए अधिक उपयुक्त है, जहां आप किसी ऑब्जेक्ट का चयन कर सकते हैं और निम्नलिखित फ़्रेमों के साथ इसकी पुष्टि कर सकते हैं, और पहले की अज्ञात योजनाओं वाले फ़ोटो के लिए, यह पर्याप्त रूप से बड़ी मान्यता त्रुटि देता है (आप वजन को फ़िल्टर कर सकते हैं, लेकिन फिर बहुत सारी छवियों को खोने का जोखिम)। छवि विश्लेषण की गति अभी भी बड़ी संख्या में फ़ोटो के लिए ओपनसीवी का उपयोग करने की अनुमति नहीं देती है, और वास्तविक समय में काम करते समय, इन क्षमताओं और एल्गोरिदम का उपयोग करते हुए, यह फ्रेम की धारा के साथ नहीं रख सकता है।

मेरे उद्देश्यों के लिए, पुस्तकालय फिट नहीं था, लेकिन शायद मेरा थोड़ा शोध आपके लिए उपयोगी होगा।

पढ़ने के लिए धन्यवाद!

GitHub पर परियोजना।