🍜 🏡 ♥️ डायरेक्टएक्स-आर्केड के लिए बॉट। भाग संख्या 1: संपर्क करें 🔅 🏾 📓

परिचय

हर कोई, खेल रहा है, कम से कम एक बार सोचा: "काश मैं एक कार्यक्रम लिख सकता जो मेरे लिए खेलता!" लेकिन आमतौर पर यह विचार, इसलिए विचार बना रहता है ... कुछ लगातार हस्तक्षेप करता है: जहां शुरू करने के लिए अज्ञानता, कार्य की अनुपयुक्तता का डर, बाएं कंधे के पीछे से फुसफुसाते हुए "और यह क्यों है? कार्यक्रम के साथ खेलने के लिए इसे किसकी आवश्यकता है? ”आदि।

लेखों की इस श्रृंखला में, मैं यह दिखाने जा रहा हूं कि, सबसे पहले: "शैतान इतना भयानक नहीं है जितना कि वह चित्रित है," और दूसरी बात: बाद में मैं इस सवाल का जवाब देने जा रहा हूं: "यह आवश्यक क्यों है?"

चलो एक साधारण से शुरू करते हैं। खेल और खिलाड़ी कार्यक्रम (बॉट) के बीच संबंध की स्थापना के साथ। एक प्रसिद्ध ज़ूमा खेल को प्रयोगात्मक खरगोश के रूप में लिया जाता है।

किसी भी इंटरैक्शन में दो प्रक्रियाएं होती हैं: "उन्हें" डेटा भेजना और "उन्हें" से डेटा प्राप्त करना। ज़ूमा में, सभी नियंत्रण माउस के साथ किया जाता है, और खेल छवि के माध्यम से प्रतिक्रिया देता है। तदनुसार, पहली चीज जिसे आपको सीखना है कि कैसे प्रोग्राम को माउस के व्यवहार का अनुकरण करना है और खेल से एक छवि प्राप्त करना है।

इस लेख का मुख्य लक्ष्य: एक प्रोग्राम प्राप्त करना जो स्वतंत्र रूप से गेमप्ले में बार-बार जाता है, वहां कुछ करता है, और गेम ओवर के साथ, यह फिर से शुरू होता है। इसके अलावा, यह ढांचा एक दिशा में विकसित होगा, ताकि खेल खत्म होने तक बॉट खेल में आगे और लंबे समय तक चले।

सॉल्व्ड असिस्टेंट सब-मास्क: माउस एमुलेशन, माउस रिडायरेक्शन टू वर्चुअल मशीन, इमेज कैप्चर।

पीछे हटना

लेखों की इस श्रृंखला के लिए कोड विकसित करते समय, दृष्टिकोण का उपयोग किया जाता है: न्यूनतम प्रयास के साथ जितना संभव हो सके परिणाम प्राप्त करने के लिए। यह दृष्टिकोण आपको उच्च स्तर पर प्रेरणा बनाए रखने की अनुमति देता है, और जब आप देखते हैं कि कार्य बहुत भारी है, तो हार नहीं मानी है। इस वजह से:
- सबसे पहले, कई महत्वहीन (वर्तमान परिणाम के दृष्टिकोण से) क्षणों को जल्दी से चलाया जाएगा, जिससे कोड में "बैसाखी और समर्थन" निकल जाएगा। और केवल अगले पुनरावृत्तियों पर इन क्षणों को अलग से समझा जाएगा, और "बैसाखी" को एक पूर्ण कोड के साथ बदल दिया जाएगा।
- दूसरी बात, कोड शैली क्लासिक सी # की तुलना में अधिक "हैकर" है। कोड में लैम्बडा, अनाम डेटा, ट्रिक्स, कॉपीराइट मनमानी और टिप्पणियों की पूरी कमी होगी।

माउस अनुकरण

विंडोज 4 मानक WinApi फ़ंक्शन का उपयोग करके माउस का अनुकरण करने के 2 मानक तरीकों का समर्थन करता है।

पहला तरीका : SendMessage या PostMessage फ़ंक्शन का उपयोग करके प्रोग्राम को अपने विंडो संदेश ( WM_MOUSEMOVE , WM_LBUTTONDOWN , आदि) भेजना ।

डायरेक्टएक्स गेम्स (जैसा कि हमारे मामले में) के लिए, यह विधि उपयुक्त नहीं है, क्योंकि माउस को चुनने के लिए ऐसे प्रोग्राम DirectInput का उपयोग करते हैं, जो विंडोज़ संदेशों को अनदेखा करते हुए सीधे माउस का चुनाव करता है।

दूसरा तरीका : mouse_event या SendInput फ़ंक्शन का उपयोग करके माउस व्यवहार का प्रत्यक्ष अनुकरण। यह विधि किसी भी कार्यक्रम के लिए उपयुक्त है, जिसमें फुल-स्क्रीन डायरेक्टएक्स-गेम्स शामिल हैं। Mouse_event फ़ंक्शन सरल है, लेकिन इसे अप्रचलित माना जाता है, SendInput अधिक आधुनिक है, लेकिन अधिक बोझिल है। आइए हम mouse_event पर ध्यान दें।

C # से WinApi फ़ंक्शन को PInvoke तकनीक का उपयोग करके कहा जाता है। सबसे आम WinApi कार्यों के लिए PInvoke विवरण PInvoke.net वेबसाइट पर पाया जा सकता है। Mouse_event फ़ंक्शन कोई अपवाद नहीं है ।

[DllImport("user32.dll")] public static extern void mouse_event(uint dwFlags, int dx, int dy, uint dwData, UIntPtr dwExtraInfo);

माउस निर्देशांक

Mouse_event फ़ंक्शन की एक विशिष्ट विशेषता है: माउस निर्देशांक मिकी में निर्दिष्ट होते हैं, पिक्सेल नहीं। पिक्सी (और इसके विपरीत) में मिकी की पुनर्गणना उपयोग किए गए मुख्य मॉनिटर के संकल्प पर निर्भर करती है। (0,0) मॉनिटर के ऊपरी बाएं कोने से, और (65535, 65535) निचले दाएं से मेल खाती है, जो mickey_point = pixel_point * (65536, 65536) / screen_size में मिक्सी को बदलने के लिए सूत्र देता है और इसके विपरीत: mickey_point = pixel_point * (65536, 65536) / screen_size pixel_point = mickey_point * screen_size / (65536, 65536) और pixel_point = mickey_point * screen_size / (65536, 65536) ।

मूल संचालन

उपरोक्त सभी को सारांशित करते हुए, हम माउस को नियंत्रित करने के लिए निम्नलिखित ऑपरेशन प्राप्त करते हैं।
माउस कर्सर को बिंदु पर ले जाएँ (x, y):

  mouse_event(MouseEventFlags.MOVE | MouseEventFlags.ABSOLUTE, x * 65536 / screen_width, y * 65536 / screen_height);

बायाँ-क्लिक करें:

  mouse_event((MouseEventFlags.LEFTDOWN), 0, 0); System.Threading.Thread.Sleep(100); mouse_event((MouseEventFlags.LEFTUP), 0, 0);

राइट क्लिक:

  mouse_event((MouseEventFlags.RIGHTDOWN), 0, 0); System.Threading.Thread.Sleep(100); mouse_event((MouseEventFlags.RIGHTUP), 0, 0);

समस्या: इनपुट विशिष्टता

Mouse_event फ़ंक्शन के माध्यम से माउस का अनुकरण करते समय एक गंभीर असुविधा होती है: mouse_event एक बार में पूरे OS के लिए माउस का अनुकरण करता है, और एक अलग एप्लिकेशन के लिए नहीं। यह इस प्रकार है कि जब बॉट चल रहा है और खेल रहा है, तो कंप्यूटर पर अन्य कार्य असंभव है: बॉट को डीबग करना, बॉट की स्थिति को सक्रिय रूप से देखना, इंटरनेट पढ़ना, आदि। लेकिन एक तरीका है: एक आभासी मशीन!

एक गेम को एक वर्चुअल मशीन पर स्थानांतरित करना

वर्चुअल मशीन पर गेम को स्थानांतरित करना निम्नलिखित समस्याओं को हल करता है:
- सबसे पहले, यह उन खेलों के साथ बातचीत को सरल बनाता है जो विंडो मोड का समर्थन नहीं करते हैं और केवल पूर्ण-स्क्रीन मोड में काम करते हैं,
- दूसरी बात, माउस इनपुट को केवल वर्चुअल मशीन पर प्रतिस्थापित किया जाता है, और मुख्य मशीन पर यह सामान्य मोड में काम करना जारी रखता है, जिससे कंप्यूटर उपयोगकर्ता को अपने व्यवसाय के बारे में पता चलता है।

खेल के विपरीत बॉट, मुख्य मशीन पर चलने के लिए अधिक सुविधाजनक है। यह आपको बॉट को विज़ुअल स्टूडियो से सीधे पुनरारंभ करने की अनुमति देता है, इसे वहां डिबग करें, बॉट की आंतरिक स्थिति आदि को प्रदर्शित करने के लिए एक जगह है।

वर्चुअल मशीन को तैनात करना (इस मामले में, ओरेकल वर्चुअलबॉक्स का उपयोग किया गया था ), अतिथि ओएस को स्थापित करना और खेल को स्थानांतरित करना सामान्य रूप से एक बिंदु को छोड़कर किया जाता है: बॉट को मेजबान ओएस और अतिथि ओएस के बीच नेटवर्क संचार स्थापित करने की क्षमता की आवश्यकता होती है। यह विभिन्न तरीकों से किया जाता है। एक तरीका है वर्चुअलबॉक्स का उपयोग गेस्ट ओएस से होस्ट तक एक विशिष्ट पोर्ट को फॉरवर्ड करने के लिए। एक अन्य तरीका ब्रिजेड एडेप्टर मोड को कॉन्फ़िगर करना है, फिर पूरे नेटवर्क के लिए वर्चुअल मशीन एक सामान्य कंप्यूटर की तरह दिखाई देगी, और अतिथि ओएस राउटर से dhcp के माध्यम से अपना आईपी पता प्राप्त करेगा। यह पता होस्ट OS से अतिथि तक पहुंच जाएगा। (लेखक, इस मामले में, उपयोग किए गए एडेप्टर के साथ विकल्प का उपयोग करता है)

प्रॉक्सी

अतिथि ओएस पर माउस को नियंत्रित करने के लिए, हम एक प्रॉक्सी लिखेंगे, जो एक साधारण टीसीपी कंसोल सर्वर है। इसका पूरा कोड छोटा है और कट के नीचे प्रस्तुत किया गया है। कोड को सरल बनाने और निर्भरता कम करने के लिए, रीमोटिंग, wcf, आदि का उपयोग किए बिना प्रॉक्सी को नंगे सॉकेट पर लिखा जाता है।

प्रॉक्सी कोड

 using System; using System.Collections.Generic; using System.Linq; using System.Net.Sockets; using System.Runtime.InteropServices; using System.Text; namespace InputProxy { class Program { static void Main(string[] args) { var socket = new Socket(AddressFamily.InterNetwork, SocketType.Stream, ProtocolType.Tcp); socket.Bind(new System.Net.IPEndPoint(System.Net.IPAddress.Any, 7001)); socket.Listen(10); for (; ; ) { var client = socket.Accept(); Console.WriteLine("connected.."); var thread = new System.Threading.Thread(() => { try { var clientReader = new System.IO.BinaryReader(new NetworkStream(client)); for (; ; ) { if (client.Poll(1, SelectMode.SelectRead) && client.Available == 0) { Console.WriteLine("disconnected.."); break; } if (client.Available > 0) { var msgSize = clientReader.ReadInt32(); var message = clientReader.ReadBytes(msgSize); var messageReader = new System.IO.BinaryReader(new System.IO.MemoryStream(message)); var msgKind = messageReader.ReadInt32(); Console.WriteLine("message: kind:{0}, len:{1}", msgKind, message.Length); switch (msgKind) { case 0: { var flags = messageReader.ReadUInt32(); var x = messageReader.ReadInt32(); var y = messageReader.ReadInt32(); var data = messageReader.ReadUInt32(); mouse_event(flags, x, y, data, UIntPtr.Zero); } break; } } else System.Threading.Thread.Sleep(10); } } catch (Exception exc) { Console.WriteLine(exc); } }) { IsBackground = true }; thread.Start(); } } [DllImport("user32.dll")] public static extern void mouse_event(uint dwFlags, int dx, int dy, uint dwData, UIntPtr dwExtraInfo); } }

प्रॉक्सी को काम करने के लिए, बस इसे वर्चुअल मशीन पर कॉपी करें और चलाएं। प्रॉक्सी पोर्ट 7001 पर एक संदेश की प्रतीक्षा करता है और कंसोल पर इसके काम के लॉग को प्रदर्शित करता है। प्रॉक्सी को पूरा करने के लिए, बस कंसोल विंडो को बंद करें।

ग्राहक

प्रॉक्सी से कनेक्ट करना खुद प्रॉक्सी कोड से भी आसान है।

  var client = new System.Net.Sockets.TcpClient(vm_host, 7001); var clientStream = client.GetStream(); var clientWriter = new System.IO.BinaryWriter(clientStream); Action<MouseEventFlags, int, int> mouse_event = (flags, x, y) => { var messageStream = new System.IO.MemoryStream(); var messageWriter = new System.IO.BinaryWriter(messageStream); messageWriter.Write(0); messageWriter.Write((uint)flags); messageWriter.Write(x); messageWriter.Write(y); messageWriter.Write(0); var message = messageStream.ToArray(); clientWriter.Write(message.Length); clientWriter.Write(message); clientStream.Flush(); };

छवि पर कब्जा

छवि को स्क्रीन से सीधे कैप्चर करना सबसे आसान है। इननेट में इसके लिए एक तैयार फंक्शन ग्राफिक्स है। कॉफ़ी फ़ॉरस्क्रीन इसके लिए। हम इस पद्धति पर अधिक विस्तार से ध्यान देंगे।
सबसे पहले, आउटपुट पर मैं बिटमैप प्राप्त करना चाहता हूं, ग्राफिक्स नहीं - यह एक सहायक फ़ंक्शन का उपयोग करके हल किया गया है:

  public static Bitmap GetScreenImage(Rectangle rect) { var bmp = new Bitmap(rect.Width, rect.Height, PixelFormat.Format32bppArgb); using (Graphics graphics = Graphics.FromImage(bmp)) { graphics.CopyFromScreen(rect.Left, rect.Top, 0, 0, rect.Size, CopyPixelOperation.SourceCopy); } return bmp; }

दूसरे, आपको यह जानना होगा कि स्क्रीन के किस हिस्से को आपको कैप्चर करना है। आप निश्चित रूप से, हमेशा स्क्रीन के एक ही हिस्से पर कब्जा कर सकते हैं, और खेल को स्क्रीन के इस हिस्से में अपने हाथों से रख सकते हैं, लेकिन यह ~~स्पोर्टी~~ या सुविधाजनक नहीं है। इसके अलावा, इस प्रक्रिया का स्वचालन न्यूनतम प्रयास के साथ किया जाता है। WinApi और PInvoke हमें फिर से इसके साथ मदद करेंगे, और अधिक विशेष रूप से दो कार्य: FindWindow और GetWindowRect । FindWindow आपको विंडो शीर्षक से विंडो के हैंडल को प्राप्त करने की अनुमति देता है, और हैंडल द्वारा GetWindowRect स्क्रीन पर विंडो की स्थिति और आकार देता है।
दोनों कार्यों का एक पिनवोक विवरण pinvoke.net पर उपलब्ध है: FindWindow और GetWindowRect ।

  [DllImport("user32.dll", SetLastError = true)] public static extern IntPtr FindWindow(string lpClassName, string lpWindowName); [DllImport("user32.dll")] [return: MarshalAs(UnmanagedType.Bool)] public static extern bool GetWindowRect(IntPtr hwnd, out RECT lpRect); [StructLayout(LayoutKind.Sequential)] public struct RECT { public int Left; public int Top; public int Right; public int Bottom; }

और वर्चुअल मशीन विंडो का इमेज कैप्चर कोड निम्नानुसार है:

  var vm_left = 8; var vm_right = 8; var vm_top = 50; var vm_bottom = 30; var vm_title = "Windows81 [Running] - Oracle VM VirtualBox"; var handle = FindWindow(null, vm_title); if (handle == IntPtr.Zero) throw new Exception("  "); RECT rect; GetWindowRect(handle, out rect); var gameScreenRect = new System.Drawing.Rectangle(rect.Left + vm_left, rect.Top + vm_top, rect.Right - rect.Left - vm_right - vm_left, rect.Bottom - rect.Top - vm_bottom - vm_top); var gameBmp = GetScreenImage(gameScreenRect);

कमजोर स्थान

इस दृष्टिकोण का एक महत्वपूर्ण दोष यह है कि कब्जा की गई खिड़की, सबसे पहले: पूरी तरह से स्क्रीन पर स्थित होना चाहिए, और दूसरी बात: अन्य सभी खिड़कियों के शीर्ष पर स्थित होना चाहिए। इस असुविधा को दो (या अधिक) मॉनिटर :) की मदद से समतल किया जाता है, फिर वर्चुअल मशीन विंडो सहायक मॉनिटर पर स्थित है, बिना किसी को परेशान किए, अन्य विंडो के ऊपर शेष है। साथ ही, पहले से चर्चा की गई पद्धति का उपयोग करके इस समस्या को पूरी तरह से हल किया गया है: वर्चुअल मशीन के अंदर एक फ़ंक्शन (स्क्रीन कैप्चर) को स्थानांतरित करना। ऐसा करने के लिए, इनपुटपॉक्सी में उचित फ़ंक्शन जोड़ें।

लूप गेमप्ले

अंत में, हम आज के लिए पेश किए गए कार्य के समाधान के लिए सीधे आगे बढ़ते हैं: खेल प्रक्रिया को लूप करने के लिए - सभी आवश्यक उपशीर्षक हल किए जाते हैं। ज़ूमा में गेमप्ले तीन खिड़कियों के आसपास घूमता है: मुख्य, मिशन और एक्शन। मुख्य विंडो में मुख्य मेनू होता है, जिससे आप गेम का प्रकार चुन सकते हैं, मिशन विंडो एक मिशन का चयन करने की पेशकश करती है, और गेम की प्रक्रिया एक्शन विंडो में होती है।
बॉट वर्तमान विंडो को सबसे सरल तरीके से निर्धारित करता है: कई प्रमुख बिंदुओं पर रंग मूल्य द्वारा। अंक मैन्युअल रूप से चुने गए हैं: "करीब peering" की विधि द्वारा।

  var screenChecks = new[] { new { Name = "main", Points = new[] { new CheckPoint(200, 190, 0xff554a22), new CheckPoint(65, 400, 0xfff44c41) } }, new { Name = "mission", Points = new[] { new CheckPoint(200, 190, 0xffb5d0c7), new CheckPoint(65, 400, 0xffad7630) } }, new { Name = "action", Points = new[] { new CheckPoint(950, 10, 0xff72554b), new CheckPoint(10, 10, 0xff462b1d), } }, }; Func<Bitmap, string> check = image => screenChecks.Where(_check => image.Check(_check.Points)).Select(_check => _check.Name).FirstOrDefault();

मुख्य बॉट चक्र:

  var startButtonPoint = new Point(950, 430); var startMissionPoint = new Point(600, 750); for (; ; ) { try { var bmp = GetScreenImage(gameScreenRect); var screenName = check(bmp); Console.Write(screenName + new string(' ', 20) + new string('\x8', 40)); switch (screenName) { case "main": mouse_event(MouseEventFlags.MOVE | MouseEventFlags.ABSOLUTE, startButtonPoint.X * 65536 / game_width, startButtonPoint.Y * 65536 / game_height); System.Threading.Thread.Sleep(400); mouse_event(MouseEventFlags.LEFTDOWN, 0, 0); System.Threading.Thread.Sleep(150); mouse_event(MouseEventFlags.LEFTUP, 0, 0); System.Threading.Thread.Sleep(50); System.Threading.Thread.Sleep(400); break; case "mission": mouse_event(MouseEventFlags.MOVE | MouseEventFlags.ABSOLUTE, startMissionPoint.X * 65536 / game_width, startMissionPoint.Y * 65536 / game_height); System.Threading.Thread.Sleep(10); mouse_event(MouseEventFlags.LEFTDOWN, 0, 0); System.Threading.Thread.Sleep(150); mouse_event(MouseEventFlags.LEFTUP, 0, 0); System.Threading.Thread.Sleep(50); break; case "action": mouse_event(MouseEventFlags.LEFTDOWN, 0, 0); System.Threading.Thread.Sleep(150); mouse_event(MouseEventFlags.LEFTUP, 0, 0); System.Threading.Thread.Sleep(50); break; case null: bmp.Save("unknown.bmp"); break; } } catch (Exception exc) { Console.WriteLine(exc); } }

गेम चरण में, बॉट लगातार क्लिक करता है, एक बिंदु पर गेंदों को जारी करता है। इस तरह के एक सरल (बल्कि गूंगा) रणनीति पर, पहले मिशन में बॉट 1000-2000 अंक प्राप्त करता है, और कभी-कभी पूरी तरह से ज़ूमा पट्टी भी प्राप्त करता है।

सारांश

लक्ष्य पूरा हो गया है: बॉट का फ्रेम लिखा है - गेमप्ले को लूप किया गया है।
निम्नलिखित लक्ष्य: ओपनसीवी कनेक्ट करें, गेंदों की स्थिति और रंग को पहचानें।

पी.एस.

ध्यान आकर्षित करने के लिए छवि। (ऑरेंज उन क्षेत्रों को दिखाता है जो बॉट के अगले संस्करण को गेंदों के रूप में मान्यता देते हैं)

डायरेक्टएक्स-आर्केड के लिए बॉट। भाग संख्या 1: संपर्क करें
आर्केड के लिए बॉट। भाग संख्या 2: हम OpenCv को जोड़ते हैं

डायरेक्टएक्स-आर्केड के लिए बॉट। भाग संख्या 1: संपर्क करें