हम लोगों को फ़िल्टर करते हैं या वीडियो में एक व्यक्ति को कैसे धुंधला करते हैं

शुभ दोपहर मैं आपको किन्नट के साथ अपने काम के बारे में एक छोटा लेख देना चाहता हूं।

अब मैं एक विज्ञापन परियोजना का एक छोटा सा हिस्सा कर रहा हूं जिसमें किनेटक का उपयोग किया गया है। कार्यों में से एक भीड़ में एक व्यक्ति को "फ़िल्टर" करना है। हम इस बारे में बात करेंगे

मैं अपने काम में OpenNI, OpenCV और Visual Studio 2010 का उपयोग करता हूं।

शुरुआत

पहले, मैंने कभी भी छवियों के साथ मिलकर काम नहीं किया था, इसलिए मुझे नहीं पता था कि किस पक्ष को लेना है। कुछ विचार-विमर्श के बाद, निम्नलिखित योजना उभरी:
1 - मुझे नियमित कैमरे से एक तस्वीर मिलती है;
2 - मैं userPixels (पिक्सेल जो उपयोगकर्ता के हैं) मिलता है;
3 - मैं चित्र की एक प्रति बनाता हूं और फ़िल्टर लागू करता हूं;
4 - वे पिक्सेल जिन्हें "कस्टम" के रूप में चिह्नित किया गया है, उन्हें फ़िल्टर से मूल छवि में बदल दिया गया है।

अनुमानित योजना स्पष्ट है, चलो चलते हैं!

आवश्यक चर घोषित करें।

xn::Context context; xn::ImageGenerator imageGenerator; //         xn::ImageMetaData imageMD; xn::DepthGenerator depthGenerator; //  xn::DepthMetaData depthMD; xn::UserGenerator userGenerator; //    ,     xn::SceneMetaData userPixels; XnUserID users[15]; XnUInt16 nUsers = 15; const XnLabel *pLabels; // ,  !=0    const XnRGB24Pixel *pImageRow; //   XnStatus rc; unsigned int pTexMapX;// = 0; unsigned int pTexMapY;// = 0; XnMapOutputMode outputMode; //     XnPixelFormat pixelFormat; bool mirrored; //    ,     bool blurOn; int currentUserId; struct MyPixel { int posX; int posY; unsigned char *vBlue; unsigned char *vGreen; unsigned char *vRed; int uLabel; bool border; }; MyPixel pixels[640][480]; //   ,   IplImages IplImage *frame; IplImage *frameBlured; 

दरअसल अब सब कुछ शुरू करने के लिए तैयार है। हम जनरेटर बनाते हैं:

 int main(){ outputMode.nFPS = 10; outputMode.nXRes = 640; outputMode.nYRes = 480; XnStatus rc; pTexMap = NULL; pTexMapX = 0; pTexMapY = 0; rc = context.Init(); checkStatus(rc, " create context"); //   rc == XN_STATUS_OK   ,     rc = depthGenerator.Create(context); checkStatus(rc, " depth create"); rc = imageGenerator.Create(context); checkStatus(rc, " image create"); rc = userGenerator.Create(context); checkStatus(rc," user create"); return 0; } 

इसके बाद, आपको एक महत्वपूर्ण कार्य करने की आवश्यकता है। कैमरे एक दूसरे के बगल में स्थित हैं, लेकिन एक जगह पर नहीं, जिसका मतलब है कि तस्वीर अलग होगी। एक दृश्य में लाने के लिए एक विशेष सेट व्यूप्वाइंट विधि है। हम StartGeneratingAll () कमांड देने के बाद इसका उपयोग करना संभव होगा। और यह महत्वपूर्ण है कि दोनों कैमरों के लिए आउटपुटमोड एक समान है, अन्यथा एक त्रुटि होगी।

 int main (){ ..... imageGenerator.SetMapOutputMode(outputMode); depthGenerator.SetMapOutputMode(outputMode); imageGenerator.SetPixelFormat(XN_PIXEL_FORMAT_RGB24); //    RGB  context.StartGeneratingAll(); rc = depthGenerator.GetAlternativeViewPointCap().SetViewPoint(imageGenerator); checkStatus(rc, " user and image view"); //      XnCallbackHandle h1; userGenerator.RegisterUserCallbacks(gotUser,lostUser,NULL, h1); //     . currentUserId = -1; //  id          mirrored = false; blurOn = false; frame = cvCreateImage(cvSize(640,480),8,3); frameBlured = cvCreateImage(cvSize(640,480),8,3); //  cvNamedWindow ("Filter demo", CV_WINDOW_AUTOSIZE); //     . showVideo(); return 0; } 

फ्रेम प्रसंस्करण

इससे पहले कि हम मुख्य लूप के साथ showVideo () लिखना शुरू करें, हमें कैमरे से छवि को बदलने की आवश्यकता है, इसके लिए हम एक फ़ंक्शन लिखते हैं जो XnRGB24Pixel से IplImage खींचता है और इसमें हम यह निर्धारित करते हैं कि कौन सा पिक्सेल उपयोगकर्ता के हैं।

 void fromXnRGBToIplImage(const XnRGB24Pixel* pImageMap, IplImage** iplRGBImage) { userGenerator.GetUsers(aUsers,nUsers); userGenerator.GetUserPixels(aUsers[0],userPixels); pLabels = userPixels.Data(); for(int l_y=0;l_y<XN_VGA_Y_RES;++l_y) //XN_VGA_Y_RES = 480 { for(int l_x=0;l_x<XN_VGA_X_RES;++l_x, ++pLabels) //XN_VGA_X_RES= 640 { pixels[l_x][l_y].uLabel = 0; if(pixels[l_x][l_y].border != true) pixels[l_x][l_y].border = false; if(*pLabels !=0) //     { currentUserId = (currentUserId == -1)?(*pLabels):currentUserId; //    ,    pixels[l_x][l_y].uLabel = *pLabels; //      (      ) if((l_x >0) && pixels[l_x-1][l_y].uLabel == 0 || (l_x < XN_VGA_X_RES-1) && pixels[l_x+1][l_y].uLabel == 0 || (l_y >0 ) && pixels[l_x][l_y-1].uLabel == 0 || (l_y < XN_VGA_Y_RES-1) && pixels[l_x][l_y+1].uLabel == 0 ) { pixels[l_x][l_y].border = true; } } //     IplImage    -  OpenNI Group ((unsigned char*)(*iplRGBImage)->imageData)[(l_y*XN_VGA_X_RES +l_x)*3+0] = pImageMap[l_y*XN_VGA_X_RES+l_x].nBlue; ((unsigned char*)(*iplRGBImage)->imageData)[(l_y*XN_VGA_X_RES +l_x)*3+1] = pImageMap[l_y*XN_VGA_X_RES+l_x].nGreen; ((unsigned char*)(*iplRGBImage)->imageData)[(l_y*XN_VGA_X_RES +l_x)*3+2] = pImageMap[l_y*XN_VGA_X_RES+l_x].nRed; } } //    ,     if(blurOn){ cvSmooth(*iplRGBImage,frameBlured,CV_BLUR,14,14,0,0); for(int j = 0 ; j < 480; ++j) { for(int i = 0 ; i < 640; ++i) { if( pixels[i][j].border == true && pixels[i][j].uLabel == currentUserId || pixels[i][j].uLabel == currentUserId ){ ((unsigned char*)(*iplRGBImage)->imageData)[(j*XN_VGA_X_RES +i)*3+0] = frameBlured->imageData[(j*XN_VGA_X_RES +i)*3+0]; ((unsigned char*)(*iplRGBImage)->imageData)[(j*XN_VGA_X_RES +i)*3+1] = frameBlured->imageData[(j*XN_VGA_X_RES +i)*3+1]; ((unsigned char*)(*iplRGBImage)->imageData)[(j*XN_VGA_X_RES +i)*3+2] = frameBlured->imageData[(j*XN_VGA_X_RES +i)*3+2]; } pixels[i][j].border = false; pixels[i][j].uLabel = 0; } } } } 

यह कॉलबैक और शोवीडियो विधि लिखने के लिए बना हुआ है:

 void XN_CALLBACK_TYPE gotUser(xn::UserGenerator& generator, XnUserID nId, void* pCookie) { //  -  } void XN_CALLBACK_TYPE lostUser(xn::UserGenerator& generator, XnUserID nId, void* pCookie) { if((int)nId == currentUserId) { currentUserId = -1; // } } void showVideo() { while(1) { rc = context.WaitOneUpdateAll(imageGenerator); imageGenerator.GetMetaData(imageMD); pImageRow = imageGenerator.GetRGB24ImageMap(); char c = cvWaitKey(33); if(c == 27) // esc   break; if(c == 109) { mirrored = (mirrored == true)?false:true; } if(c == 98) // b { blurOn = (blurOn == true)?false:true; } fromXnRGBToIplImage(pImageRow,&frame); // ,  Context   SetGlobalMirror(bool),             cvFlip if(mirrored) cvFlip(frame, NULL, 1); cvShowImage("Filter demo", frame); } cvReleaseImage( &frame ); cvDestroyWindow("Filter demo" ); } 

परिणाम

नतीजतन, आपको कुछ इस तरह मिलना चाहिए:



नीचे दिए गए स्क्रीनशॉट परिणाम को बढ़ाए गए सीमाओं के साथ, मेरे लक्ष्यों के लिए थोड़ा समायोजित करता है:



धन्यवाद, सफलता!