👍 🐸 📓 हम जॉयस्टिक का उपयोग करके वेबकैम को नियंत्रित करते हैं 🙅🏽 🧔🏽 🤰🏽

परिचय

गीत

शुभ दोपहर घर-निर्मित रोबोट के बारे में हबेरा की कई पोस्टों से प्रेरित होकर, उन्होंने अपने खुद के, कम या ज्यादा सार्थक और दिलचस्प कुछ करने का फैसला किया।

सामान्य तौर पर, मैं लंबे समय से रोबोट का शौकीन रहा हूं, लेकिन मेरे हाथ सामान्य परियोजना तक नहीं पहुंचे, मूल रूप से यह केवल खेला गया था। थोड़ा विचार करने के बाद, वह अपने स्वयं के प्रोजेक्ट के साथ आया, विवरण की तलाश की, स्केच को आकर्षित किया, रोबोट की भविष्य की क्षमताओं के बारे में कल्पना की। मैंने एक प्रसिद्ध वेबसाइट पर विवरण का आदेश दिया, और जब विवरण स्वर्गीय स्थानों से मार्ग पर काबू पा रहे हैं, तो मैंने भविष्य के रोबोट के मॉड्यूल में से एक को लागू करने का फैसला किया है जो हाथ में है। या बल्कि, स्वयं मॉड्यूल को भी लागू नहीं करते हैं, बल्कि एक प्रोटोटाइप को इकट्ठा करने और सॉफ्टवेयर लिखने के लिए, ताकि प्रोग्राम को लिखने से विचलित न हों, और इससे भी अधिक जब तक सभी विवरण बहुत खाली समय है, और कुछ करने की इच्छा आराम नहीं देती है।

मेरी उंगलियों पर एक Arduino Diecimila शॉल, कई सर्वोस, एक वेब कैमरा, एक जॉयस्टिक और एक अल्ट्रासोनिक रेंजफाइंडर था। तदनुसार, स्वायत्त संचालन और मैनुअल नियंत्रण (जॉयस्टिक) की संभावना के साथ, वेबकैम पर आधारित "कंप्यूटर दृष्टि" बनाने के लिए एक इच्छा तुरंत पैदा हुई।

इस लेख ने मुझे क्या लिखा?

इंटरनेट के माध्यम से अफवाह फैलाने के बाद, मैंने मूल रूप से सभी प्रकार के बकवास पाया, मंचों पर सवालों का सटीक वर्णन किया, लेखों के अंश आवश्यकताओं से थोड़ा दूर थे। सामान्य तौर पर, मुझे एक अच्छा, पूर्ण लेख नहीं मिला, जो शुरू से अंत तक एक चलती वेब कैमरा के निर्माण का वर्णन करता था, कोड उदाहरणों के साथ, और इससे भी अधिक एक रेंजफाइंडर और जॉयस्टिक के साथ संयुक्त।
तब कुछ और नहीं देखने का निर्णय लिया गया था, क्योंकि लेखों को संसाधित करने और सभी सूचनाओं को एक साथ इकट्ठा करने के समय से अधिक दूर जाना शुरू हो गया था यदि आपने खुद को खरोंच से सब कुछ किया था, खासकर जब से अधिकांश लेख लंबे समय से पुराने थे।

कार्य तुच्छ है, जॉयस्टिक से अर्डुइनो तक जानकारी भेजने के लिए, जो एक संलग्न वेब कैमरा के साथ 2 सर्वोस को एक निश्चित कोण पर घुमाएगा, और, यदि आवश्यक हो, तो रेंजफाइंडर से जानकारी पढ़ें, इसे SerialPort पर भेज दें।
इसे फिर से सोचने के बाद, मैंने इस प्रोटोटाइप को खुद बनाना शुरू किया। चलो चलते हैं!

मुख्य शरीर

प्रोटोटाइप विधानसभा

5 मिनट के भीतर एक प्रोटोटाइप बनाया गया था। प्रोटोटाइप की उपस्थिति बिल्कुल भी रुचि नहीं है, इसका मुख्य उद्देश्य रोबोट के लिए भागों के आगमन से पहले सॉफ्टवेयर का हिस्सा विकसित करना है।
और मैंने इसे कुछ विटामिन, दो सर्वोस, एक वेब कैमरा, एक पेपर क्लिप, इलेक्ट्रिकल टेप और एक गोंद बंदूक के पहले जार से बनाया। यह निम्नलिखित निकला:

फ़ोटो

असेंबली पूरी हो गई है, सर्वोस और अल्ट्रासोनिक रेंज फाइंडर Arduino, Arduino से पीसी से जुड़े हैं, हम Arduino की प्रोग्रामिंग के लिए आगे बढ़ते हैं।

प्रोग्रामिंग Arduino

यह सब बहुत सरल लग रहा था, चूंकि जॉयस्टिक पीसी से जुड़ा हुआ है, इसलिए मुख्य वीडियो प्रसंस्करण भी पीसी पर होगा, फिर Arduino केवल पीसी से जानकारी प्राप्त और संसाधित करेगा और सर्वो को नियंत्रित करेगा। इसलिए, हमें केवल सीरियल पोर्ट को पढ़ने की जरूरत है, आने वाली जानकारी को किसी तरह से संसाधित करें, और किसी तरह इसका जवाब दें।

थोड़ा आगे बढ़ते हुए, मैं तुरंत कहता हूं कि एक त्रुटि थी जिसे मुझे C # में प्रोग्राम लिखने के बाद वापस लौटना पड़ा। गलती यह थी: मैं, भोला और उत्साह से भरा हुआ, एक कार्यक्रम लिखा था जो सीरियल लाइन में आने वाले "90:90" की तरह एक लाइन को दो भागों में विभाजित करता है, क्रमशः, पहला भाग एक्स समन्वय के साथ डिग्री है, दूसरा भाग वाई। मॉनिटर का उपयोग करता है। सब कुछ बंदरगाह पर परीक्षण किया गया था और ठीक काम किया था, लेकिन जब जॉयस्टिक कंट्रोल प्रोग्राम लिखा गया था, जब बंदरगाह ने बदलते मूल्यों के साथ तार पर हमला किया, तो Arduino को क्रमिक रूप से सब कुछ पढ़ने का समय नहीं मिला, इसलिए अक्सर लाइनें "0: 909", ": 9090" में बदल गईं। और वह की तरह इन कर रहे हैं।
तदनुसार, सर्वोस पागल हो गए और उन सभी पदों को छोड़ दिया जिन्हें हमें ज़रूरत थी।

इसलिए, बिना किसी हिचकिचाहट के, मैं इस नतीजे पर पहुंचा कि हमें एक लाइन फीड कैरेक्टर और एक लाइन फीड कैरेक्टर चाहिए। फिर से, बिना किसी हिचकिचाहट के, लैटिन वर्णमाला "ए" के पहले चरित्र को पंक्ति के शुरुआती चरित्र के रूप में चुना गया, पिछले "जेड" को स्ट्रिंग के अंत के रूप में, और क्रमशः "एक्स" और "वाई" एक्सिस के मूल्यों की शुरुआत के पात्रों को। कुल इनपुट लाइन ने निम्नलिखित रूप लिया: "ax90y90z"।

रेंजफाइंडर के लिए नहीं तो सब कुछ ठीक रहेगा। रेंज फाइंडर अल्ट्रासोनिक है, यह एक बैंग के साथ दूरी निर्धारित करता है, लेकिन कई बारीकियां हैं। सबसे पहले, यदि रेंज फाइंडर और दीवार के बीच का कोण 45 डिग्री (प्लस या माइनस) से तेज है, तो ध्वनि दीवार से स्पर्शरेखा परिलक्षित होती है, और मूल्य वास्तविकता के अनुरूप नहीं होता है। दूसरे, सिग्नल उत्सर्जन का एक बड़ा कोण, लगभग 30 डिग्री (मैनुअल के अनुसार), और निकटतम ऑब्जेक्ट के लिए दूरी को मापा जाता है, क्योंकि ऑब्जेक्ट से सेंसर जिस कोण पर सेंसर होता है वह विपरीत दिशा में परिलक्षित होता है, और हमें एक सीधी रेखा में अधिक या कम वास्तविक दूरी मिलती है। , लेकिन हस्तक्षेप अभी भी होता है, और काफी बार। इसलिए, मैंने एक और फ़ंक्शन जोड़ा जो n दूरी माप लेता है, उन्हें जोड़ता है और उन्हें संख्या से विभाजित करता है, n = 10 सेट करता है, इसलिए हस्तक्षेप अधिक चिकनी और कम ध्यान देने योग्य हो गया।

Arduino पर कोड को फिर से लिखा गया और निम्नलिखित रूप लिया गया:

Arduino कोड

#include <Servo.h> #include <String.h> /*          ax180y180z  a -    x -    x y -    y z -    */ String str_X=""; String str_Y=""; int XY_Flag=0; // 1 = X, 2 = Y Servo X_Servo; Servo Y_Servo; const int distancePin = 12; const int distancePin2 = 11; void setup() { Serial.begin(115200); X_Servo.attach(7); Y_Servo.attach(8); } void loop() { delay(50); if(Serial.available()>0) //    { int inChar=Serial.read(); //  if(inChar == 97) { //     while(Serial.available()>0) { inChar=Serial.read(); //  if(inChar==120){ // x XY_Flag=1; continue; } if(inChar==121){ // y XY_Flag=2; continue; } if(inChar==122){ // z ( ) XY_Flag=0; } if(XY_Flag==0) break; //   ,      if(XY_Flag==1) str_X +=(char)inChar; // X,    X if(XY_Flag==2) str_Y +=(char)inChar; // Y,    Y } if(XY_Flag==0) //    ,  ... { servo(str_X.toInt(), str_Y.toInt()); str_X=""; str_Y=""; //  Serial.println("d" + String(trueDistance()) + "z"); } } } } void servo(int x, int y){ //       :) X_Servo.write(x); Y_Servo.write(y); } long trueDistance() //  n      { int n=10; long _value=0; for(int i =0; i<n; i++) _value += distance(); return _value/n; } long distance() //    { long duration, cm; pinMode(distancePin, OUTPUT); digitalWrite(distancePin, LOW); delayMicroseconds(2); digitalWrite(distancePin, HIGH); delayMicroseconds(10); digitalWrite(distancePin, LOW); pinMode(distancePin, INPUT); duration = pulseIn(distancePin, HIGH); cm = microsecondsToCentimeters(duration); return cm; } long microsecondsToCentimeters(long microseconds) //    { return microseconds / 29 / 2; }

गलत पार्सिंग की समस्या पूरी तरह से गायब हो गई, 100 में से 100 टेस्ट सफलतापूर्वक पास हुए।

मुख्य नियंत्रण कार्यक्रम (C #)

पहले मैं क्यूटी के तहत सी ++ में सब कुछ लिखना चाहता था, लेकिन बाद में मुझे अभी भी सी # में लिखना था, लेकिन ओह अच्छा।

मैं क्या प्राप्त करना चाहता था:
1. लोगों की पहचान।
2. किसी व्यक्ति का चेहरा ट्रैक करना।
3. जॉयस्टिक के साथ मैनुअल नियंत्रण।
4. वस्तु से दूरी का निर्धारण।

वेब कैमरा से चेहरे और प्रदर्शन छवियों को पहचानने के लिए, बिना किसी सवाल के, OpenCV लाइब्रेरी को चुना गया था, या बल्कि C # - Cgu सीवी के लिए उसका खोल।

जॉयस्टिक की स्थिति को पढ़ने के लिए, हमने सबसे पहले Microsoft.DirectX.DirectInput लाइब्रेरी का उपयोग किया, जो मुझे वास्तव में पसंद नहीं था, और मैंने SharpDX लाइब्रेरी, इसके अलावा, काफी सफलतापूर्वक उपयोग किया।

कार्यक्रम से क्या आवश्यक था:
1. वेब कैमरा से छवि को कैप्चर करें और इसे स्क्रीन पर प्रदर्शित करें।
2. छवि में चेहरे को पहचानें, उन्हें सर्कल करें और छवि में चेहरे के निर्देशांक प्राप्त करें।
3. प्रपत्र "ax90y90z" की एक स्ट्रिंग को फॉर्म करें और इसे सर्वर को नियंत्रित करने के लिए सीरियल पोर्ट पर भेजें।
4. जॉयस्टिक स्थिति मूल्यों को पढ़ें।
5. रेंजफाइंडर से रीडिंग पढ़ें।

कार्य तैयार करने के बाद, हम प्रोग्रामिंग के लिए आगे बढ़ते हैं।

SharpDX पुस्तकालय हमें कनेक्ट किए गए जॉयस्टिक को खोजने और इसे (0 से 65535 तक) से अक्ष मूल्यों को प्राप्त करने की अनुमति देता है, जॉयस्टिक कुंजियों को दबाने और जारी करता है। सर्वो क्रमशः 0 से 180 डिग्री तक घूम सकता है, आपको जॉयस्टिक कुल्हाड़ियों के मूल्यों को 0 से 180 में बदलने की आवश्यकता है। मैंने अभी वापसी मूल्य को 363 से विभाजित किया है, और आउटपुट पर 0 से 180 तक मान प्राप्त किया है। इसके बाद, मैंने एक फ़ंक्शन लिखा है जो सर्वो की स्थिति रेखा बनाता है और इसे भेजता है। बंदरगाह।

इमेज आउटपुट और फेस रिकग्निशन OpenCV का उपयोग करके लिखे गए हैं और कुछ भी जटिल (हमारे लिए) का प्रतिनिधित्व नहीं करते हैं।

अधिक दिलचस्प, हाथ में एक रेंजफाइंडर होना, निश्चित रूप से मैं एक रडार बनाना चाहता था, और क्षेत्र के कम से कम कुछ अनुमानित चित्र का निर्माण करना चाहता था।

त्रिकोणमिति और वैक्टर को दोहराते हुए, मैंने एक ऐसी प्रक्रिया लिखी जो हमारे रेंजफाइंडर के सापेक्ष एक बिंदु के निर्देशांक की गणना करती है, जिसमें सर्वो ड्राइव के रोटेशन के कोण और ऑब्जेक्ट से दूरी के अनुसार एक कैमरा होता है, और पिक्चरबॉक्स में परिणाम निकालता है, मैं बटन के साथ स्ट्रीम में प्रक्रिया शुरू करता हूं, सब कुछ काम करता है, लेकिन फिर भी कमरे की राहत के कारण बल्कि बड़ा हस्तक्षेप प्राप्त किया जाता है, लेकिन अनुमानित रूपरेखा वास्तविकता के साथ मेल खाती है। मैंने सेंसर से डेटा को सुचारू बनाने की कोशिश की, उनके बीच केवल शिखर मूल्यों और ड्राइंग खंडों का चयन किया, सिद्धांत रूप में, यह बुरा नहीं निकला, लेकिन मैंने इसे छोड़ने का फैसला किया, क्योंकि अक्सर चोटी के मूल्यों का हस्तक्षेप ठीक है।

कोड (यदि संभव हो तो विस्तृत टिप्पणियों के मामले में):

फॉर्म क्लास

 Capture myCapture; private bool captureInProgress = false; string _distance = "0"; string coords; int X_joy = 90; int Y_joy = 90; SerialPort _serialPort = new SerialPort(); Image<Bgr, Byte> image; DirectInput directInput; Guid joystickGuid; Joystick joystick; Thread th; private int GRAD_TURN_X = 2; private int GRAD_TURN_Y = 2; private void GetVideo(object sender, EventArgs e) { myCapture.FlipHorizontal = true; image = myCapture.QueryFrame(); try { // Image<Gray, Byte> gray = image.Convert<Gray, Byte>().Canny(100, 60); // CamImageBoxGray.Image = gray; } catch { } /*  */ if (FaceCheck.Checked) { List<System.Drawing.Rectangle> faces = new List<System.Drawing.Rectangle>(); DetectFace.Detect(image, "haarcascade_frontalface_default.xml", "haarcascade_eye.xml", faces); foreach (System.Drawing.Rectangle face in faces) { image.Draw(face, new Bgr(System.Drawing.Color.Red), 2); int faceX = face.X + face.Width / 2; int faceY = face.Y + face.Height / 2; if ((faceX - 320 > 120) || (faceX - 320 < -120)) //     ,     GRAD_TURN_X = 4; else if ((faceX - 320 > 80) || (faceX - 320 < -80)) GRAD_TURN_X = 3; else GRAD_TURN_X = 2; if ((faceY - 240 > 120) || (faceY - 240 < -120)) GRAD_TURN_Y = 4; else if ((faceY - 240 > 80) || (faceY - 240 < -80)) GRAD_TURN_Y = 3; else GRAD_TURN_Y = 2; label7.Text = faceX.ToString(); label8.Text = faceY.ToString(); if (!JoyCheck.Checked) { if (faceX > 370) X_joy += GRAD_TURN_X; else if (faceX < 290) X_joy -= GRAD_TURN_X; if (faceY > 270) Y_joy -= GRAD_TURN_Y; else if (faceY < 210) Y_joy += GRAD_TURN_Y; serialPortWrite(X_joy, Y_joy); } } } /*=============*/ System.Drawing.Rectangle rect1 = new System.Drawing.Rectangle(305, 240, 30, 1); System.Drawing.Rectangle rect2 = new System.Drawing.Rectangle(320, 225, 1, 30); System.Drawing.Rectangle rect3 = new System.Drawing.Rectangle(0, 0, 640, 22); image.Draw(rect1, new Bgr(System.Drawing.Color.Yellow), 1); image.Draw(rect2, new Bgr(System.Drawing.Color.Yellow), 1); image.Draw(rect3, new Bgr(System.Drawing.Color.Black), 22); MCvFont f = new MCvFont(FONT.CV_FONT_HERSHEY_TRIPLEX, 0.9, 0.9); image.Draw("Distance: " + _distance + " cm", ref f, new System.Drawing.Point(0, 30), new Bgr(0, 255, 255)); CamImageBox.Image = image; if (JoyCheck.Checked) { th = new Thread(joy); //  ,    th.Start(); } label1.Text = X_joy.ToString(); label2.Text = Y_joy.ToString(); label3.Text = coords; } private void ReleaseData() { if (myCapture != null) myCapture.Dispose(); } public Form1() { InitializeComponent(); } private void serialPortWrite(int X, int Y) //        { try { coords = "ax" + X + "y" + Y + "z"; _serialPort.Write(coords); _distance = _serialPort.ReadLine(); if (_distance[0] == 'd') if (_distance[_distance.Length - 2] == 'z') { _distance = _distance.Remove(_distance.LastIndexOf('z')).Replace('d', ' '); } else _distance = "0"; else _distance = "0"; } catch { } } private void joy() //   { joystick.Poll(); var datas = joystick.GetBufferedData(); foreach (var state in datas) { if (state.Offset.ToString() == "X") X_joy = 180 - (state.Value / 363); else if (state.Offset.ToString() == "Y") Y_joy = state.Value / 363; } serialPortWrite(X_joy, Y_joy); } private void Form1_Load(object sender, EventArgs e) { if (myCapture == null) { try { myCapture = new Capture(); } catch (NullReferenceException excpt) { MessageBox.Show(excpt.Message); } } if (myCapture != null) { if (captureInProgress) { Application.Idle -= GetVideo; } else { Application.Idle += GetVideo; } captureInProgress = !captureInProgress; } _serialPort.PortName = "COM3"; _serialPort.BaudRate = 115200; if (_serialPort.IsOpen) _serialPort.Close(); if (!_serialPort.IsOpen) _serialPort.Open(); directInput = new DirectInput(); joystickGuid = Guid.Empty; foreach (var deviceInstance in directInput.GetDevices(DeviceType.Gamepad, DeviceEnumerationFlags.AllDevices)) joystickGuid = deviceInstance.InstanceGuid; if (joystickGuid == Guid.Empty) foreach (var deviceInstance in directInput.GetDevices(DeviceType.Joystick, DeviceEnumerationFlags.AllDevices)) joystickGuid = deviceInstance.InstanceGuid; joystick = new Joystick(directInput, joystickGuid); joystick.Properties.BufferSize = 128; joystick.Acquire(); } private void JoyCheck_CheckedChanged(object sender, EventArgs e) { if (FaceCheck.Checked) FaceCheck.Checked = !JoyCheck.Checked; } private void FaceCheck_CheckedChanged(object sender, EventArgs e) { if (JoyCheck.Checked) JoyCheck.Checked = !FaceCheck.Checked; } private void RadarPaint() { Bitmap map = new Bitmap(pictureBox1.Size.Width, pictureBox1.Size.Height); Graphics g = Graphics.FromImage(map); var p = new Pen(System.Drawing.Color.Black, 2); System.Drawing.Point p1 = new System.Drawing.Point(); System.Drawing.Point p2 = new System.Drawing.Point(); System.Drawing.Point p3 = new System.Drawing.Point(); System.Drawing.Point p4 = new System.Drawing.Point(); p1.X = pictureBox1.Size.Width/2 ; //       p1.Y = pictureBox1.Size.Height; // pictureBox'a  for (int i = 0; i < 181; i++) { serialPortWrite(i, 90); p2.X = Convert.ToInt32(Math.Ceiling(320 + int.Parse(_distance) * Math.Cos(i * Math.PI / 180))); //   p2.Y = Convert.ToInt32(Math.Ceiling(480 - int.Parse(_distance) * Math.Sin(i * Math.PI / 180))); if (i > 0) g.DrawLine(p, p2, p3); if (i % 18 == 0) { p4 = p2; p4.Y -= 50; g.DrawString(_distance, new Font("Arial", 18), new SolidBrush(System.Drawing.Color.Red), p4); } p3.X = p2.X; p3.Y = p2.Y; g.DrawLine(p, p1, p2); try { pictureBox1.Image = map; } catch (Exception e) { MessageBox.Show(e.Message); } } } private void button1_Click(object sender, EventArgs e) { if (FaceCheck.Checked || JoyCheck.Checked) { FaceCheck.Checked = false; JoyCheck.Checked = false; } Thread t = new Thread(RadarPaint); t.Start(); }

कक्षा का पता लगाने वाला

  class DetectFace { public static void Detect(Image<Bgr, Byte> image, String faceFileName, String eyeFileName, List<Rectangle> faces) { CascadeClassifier face = new CascadeClassifier(faceFileName); // CascadeClassifier eye = new CascadeClassifier(eyeFileName); Image<Gray, Byte> gray = image.Convert<Gray, Byte>(); gray._EqualizeHist(); Rectangle[] facesDetected = face.DetectMultiScale( gray, 1.1, 5, new Size(70, 70), Size.Empty); faces.AddRange(facesDetected); } }

नतीजतन, हमें वह सब कुछ मिलता है जो हम चाहते थे। कंप्यूटर चेहरे को पहचानता है और स्वचालित रूप से उनका अनुसरण करता है। जॉयस्टिक का मैनुअल कंट्रोल एक धमाके के साथ काम करता है। रडार, हालांकि पूरी तरह से सही नहीं है, काम कर रहा है। रोबोट विज़न मॉड्यूल के मुख्य कार्य विकसित किए गए हैं और जो कुछ भी बाकी है, उन्हें परिष्कृत और सुधारना है।

वीडियो

यहाँ अंत में क्या हुआ है।

निष्कर्ष

परिणाम

यह बहुत आसान निकला। लक्ष्य प्राप्त किया जाता है, प्रोटोटाइप तैयार है। रोबोट के लिए घटकों के साथ पार्सल के इंतजार में, अपने खाली समय में काम करने और करने के लिए कुछ है।

भविष्य की योजना

अगला कदम रोबोट के लिए एक पहिएदार प्लेटफॉर्म का निर्माण, रिमोट कंट्रोल (वाईफाई, 3 जी), माउंट सेंसर (तापमान, दबाव, आदि), भाषण संश्लेषण को कॉन्फ़िगर करना होगा। विशलिस्ट में एक यांत्रिक भुजा की योजना भी है।

मुझे लगता है कि अगर इस लेख में रुचि है और इसकी निरंतरता है, तो यह निश्चित रूप से अनुसरण करेगा! सुधार और आलोचना का स्वागत है!

आपका ध्यान के लिए धन्यवाद!

हम जॉयस्टिक का उपयोग करके वेबकैम को नियंत्रित करते हैं