私たちは人々をフィルタリングするか、ビデオで一人をぼかす方法

こんにちは 私はキネクトと私の仕事についての短い記事を提供したいと思います。

現在、キネクトを使用する広告プロジェクトの一部を行っています。 タスクの1つは、群衆の中の1人を「フィルタリング」することです。 これについてお話します。

私は仕事でOpenNI、OpenCV、Visual Studio 2010を使用しています。

開始する

以前は、画像と密接に連携したことはなかったため、どちらの側に取り組むべきか分かりませんでした。 いくつかの審議の後、次のスキームが登場しました。
1-通常のカメラから写真を取得します。
2-userPixels（ユーザーに属するピクセル）を取得します。
3-写真のコピーを作成し、フィルターを適用します。
4-「カスタム」としてマークされたピクセルは、フィルターを使用して画像から元の画像に再描画されます。

おおよその計画は明確です、行きましょう！

必要な変数を宣言します。

xn::Context context; xn::ImageGenerator imageGenerator; //         xn::ImageMetaData imageMD; xn::DepthGenerator depthGenerator; //  xn::DepthMetaData depthMD; xn::UserGenerator userGenerator; //    ,     xn::SceneMetaData userPixels; XnUserID users[15]; XnUInt16 nUsers = 15; const XnLabel *pLabels; // ,  !=0    const XnRGB24Pixel *pImageRow; //   XnStatus rc; unsigned int pTexMapX;// = 0; unsigned int pTexMapY;// = 0; XnMapOutputMode outputMode; //     XnPixelFormat pixelFormat; bool mirrored; //    ,     bool blurOn; int currentUserId; struct MyPixel { int posX; int posY; unsigned char *vBlue; unsigned char *vGreen; unsigned char *vRed; int uLabel; bool border; }; MyPixel pixels[640][480]; //   ,   IplImages IplImage *frame; IplImage *frameBlured; 

実際、すべてを開始する準備ができました。 ジェネレーターを作成します。

 int main(){ outputMode.nFPS = 10; outputMode.nXRes = 640; outputMode.nYRes = 480; XnStatus rc; pTexMap = NULL; pTexMapX = 0; pTexMapY = 0; rc = context.Init(); checkStatus(rc, " create context"); //   rc == XN_STATUS_OK   ,     rc = depthGenerator.Create(context); checkStatus(rc, " depth create"); rc = imageGenerator.Create(context); checkStatus(rc, " image create"); rc = userGenerator.Create(context); checkStatus(rc," user create"); return 0; } 

次に、重要なことをする必要があります。 カメラは互いに隣接して配置されていますが、1か所に配置されていないため、画像が異なります。 1つのビューを表示するために、特別なSetViewPointメソッドがあります。 コマンドStartGeneratingAll（）を指定した後に使用できます。 そして、両方のカメラのOutputModeが同じであることが重要です。同じでないとエラーが発生します。

 int main (){ ..... imageGenerator.SetMapOutputMode(outputMode); depthGenerator.SetMapOutputMode(outputMode); imageGenerator.SetPixelFormat(XN_PIXEL_FORMAT_RGB24); //    RGB  context.StartGeneratingAll(); rc = depthGenerator.GetAlternativeViewPointCap().SetViewPoint(imageGenerator); checkStatus(rc, " user and image view"); //      XnCallbackHandle h1; userGenerator.RegisterUserCallbacks(gotUser,lostUser,NULL, h1); //     . currentUserId = -1; //  id          mirrored = false; blurOn = false; frame = cvCreateImage(cvSize(640,480),8,3); frameBlured = cvCreateImage(cvSize(640,480),8,3); //  cvNamedWindow ("Filter demo", CV_WINDOW_AUTOSIZE); //     . showVideo(); return 0; } 

フレーム処理

メインループでshowVideo（）の記述を開始する前に、カメラからの画像を変換する必要があります。このため、XnRGB24PixelからIplImageを描画する関数を記述し、ユーザーに属するピクセルを決定します。

 void fromXnRGBToIplImage(const XnRGB24Pixel* pImageMap, IplImage** iplRGBImage) { userGenerator.GetUsers(aUsers,nUsers); userGenerator.GetUserPixels(aUsers[0],userPixels); pLabels = userPixels.Data(); for(int l_y=0;l_y<XN_VGA_Y_RES;++l_y) //XN_VGA_Y_RES = 480 { for(int l_x=0;l_x<XN_VGA_X_RES;++l_x, ++pLabels) //XN_VGA_X_RES= 640 { pixels[l_x][l_y].uLabel = 0; if(pixels[l_x][l_y].border != true) pixels[l_x][l_y].border = false; if(*pLabels !=0) //     { currentUserId = (currentUserId == -1)?(*pLabels):currentUserId; //    ,    pixels[l_x][l_y].uLabel = *pLabels; //      (      ) if((l_x >0) && pixels[l_x-1][l_y].uLabel == 0 || (l_x < XN_VGA_X_RES-1) && pixels[l_x+1][l_y].uLabel == 0 || (l_y >0 ) && pixels[l_x][l_y-1].uLabel == 0 || (l_y < XN_VGA_Y_RES-1) && pixels[l_x][l_y+1].uLabel == 0 ) { pixels[l_x][l_y].border = true; } } //     IplImage    -  OpenNI Group ((unsigned char*)(*iplRGBImage)->imageData)[(l_y*XN_VGA_X_RES +l_x)*3+0] = pImageMap[l_y*XN_VGA_X_RES+l_x].nBlue; ((unsigned char*)(*iplRGBImage)->imageData)[(l_y*XN_VGA_X_RES +l_x)*3+1] = pImageMap[l_y*XN_VGA_X_RES+l_x].nGreen; ((unsigned char*)(*iplRGBImage)->imageData)[(l_y*XN_VGA_X_RES +l_x)*3+2] = pImageMap[l_y*XN_VGA_X_RES+l_x].nRed; } } //    ,     if(blurOn){ cvSmooth(*iplRGBImage,frameBlured,CV_BLUR,14,14,0,0); for(int j = 0 ; j < 480; ++j) { for(int i = 0 ; i < 640; ++i) { if( pixels[i][j].border == true && pixels[i][j].uLabel == currentUserId || pixels[i][j].uLabel == currentUserId ){ ((unsigned char*)(*iplRGBImage)->imageData)[(j*XN_VGA_X_RES +i)*3+0] = frameBlured->imageData[(j*XN_VGA_X_RES +i)*3+0]; ((unsigned char*)(*iplRGBImage)->imageData)[(j*XN_VGA_X_RES +i)*3+1] = frameBlured->imageData[(j*XN_VGA_X_RES +i)*3+1]; ((unsigned char*)(*iplRGBImage)->imageData)[(j*XN_VGA_X_RES +i)*3+2] = frameBlured->imageData[(j*XN_VGA_X_RES +i)*3+2]; } pixels[i][j].border = false; pixels[i][j].uLabel = 0; } } } } 

コールバックとshowVideoメソッドを書くことは残っています：

 void XN_CALLBACK_TYPE gotUser(xn::UserGenerator& generator, XnUserID nId, void* pCookie) { //  -  } void XN_CALLBACK_TYPE lostUser(xn::UserGenerator& generator, XnUserID nId, void* pCookie) { if((int)nId == currentUserId) { currentUserId = -1; // } } void showVideo() { while(1) { rc = context.WaitOneUpdateAll(imageGenerator); imageGenerator.GetMetaData(imageMD); pImageRow = imageGenerator.GetRGB24ImageMap(); char c = cvWaitKey(33); if(c == 27) // esc   break; if(c == 109) { mirrored = (mirrored == true)?false:true; } if(c == 98) // b { blurOn = (blurOn == true)?false:true; } fromXnRGBToIplImage(pImageRow,&frame); // ,  Context   SetGlobalMirror(bool),             cvFlip if(mirrored) cvFlip(frame, NULL, 1); cvShowImage("Filter demo", frame); } cvReleaseImage( &frame ); cvDestroyWindow("Filter demo" ); } 

まとめ

その結果、次のようになります。



以下のスクリーンショットは、境界線を増やして、目標にわずかに調整した結果を示しています。



ありがとう、成功！