पोकर में आर्टिफिशियल इंटेलिजेंस के बारे में

पोकर ने लंबे समय से शौकीनों से लेकर गंभीर वैज्ञानिकों तक विभिन्न धारियों के शोधकर्ताओं को आकर्षित किया है। और यह कोई रहस्य नहीं है कि पोकर का ऐसा करीबी ध्यान ऑनलाइन जुए की बढ़ती लोकप्रियता से है, जो 00 के दशक में तेजी से विकसित हुआ। आज तक, एक व्यक्ति पहले से ही टेक्सास टेक्सास होल्डम की सीमा को एक कार तक खो चुका है, जबकि एक नो-लिमिट और मल्टी-सीट पोकर में एक व्यक्ति अभी भी प्रबल है। मजबूत कंप्यूटर पोकर इंटेलिजेंस के निर्माण में समस्या में सबसे बड़ा योगदान, कोई संदेह नहीं है, अल्बर्टा विश्वविद्यालय के एक शोध समूह द्वारा किया गया था, और संतुलन रणनीतियों को खोजने के लिए एल्गोरिदम का परिवार जो उन्होंने प्रस्तावित किया था, पोकर एजेंटों के निर्माण में अब तक का सबसे फैशनेबल और अक्सर उपयोग किया जाने वाला उपकरण है। लेकिन पहले बातें पहले।

यह प्रकाशन विशेष रूप से पोकर में कृत्रिम बुद्धि की समस्याओं से निपटता है, ऑनलाइन कैसीनो ग्राहकों से जानकारी प्राप्त करने से संबंधित मुद्दों, सुरक्षा को दरकिनार करने और उपयोगकर्ता कार्यों का अनुकरण करने पर विचार नहीं किया जाएगा। यह माना जाता है कि पाठक पहले से ही पोकर के नियमों से परिचित है।

मशीन सीखने के लिए पोकर की जटिलता के बारे में

पोकर इस तथ्य के लिए उल्लेखनीय है कि यह अधूरी जानकारी वाला खेल है - आपके प्रतिद्वंद्वी को आपके कार्ड का पता नहीं है। इसमें यादृच्छिकता के तत्व भी शामिल हैं - खिलाड़ियों के कार्ड और बेतरतीब ढंग से बोर्ड पर डेक से बाहर बहते हैं। पोकर के इन दो पहलुओं के लिए, एक तीसरा जोड़ा जाता है - गेम की संख्या बताती है, जो कुछ पोकर विषयों में केवल शतरंज के लिए थोड़ा नीचा है। शोधकर्ता के सामने समस्या की भयावहता की कल्पना करने के लिए, टेक्सास होल्डम के हेड-अप संस्करण पर विचार करें। सट्टेबाजी के प्रत्येक दौर में दिखाई देने वाली नई जानकारी को इंगित करते हुए, योजनाबद्ध रूप से आंकड़ा इस तरह के खेल की संरचना को दर्शाता है।



जिस पोकर संस्करण पर हम विचार कर रहे हैं, उसमें लगभग 10 ¹⁸ खेल स्थितियां हैं, जो इसे हल्के ढंग से डालने के लिए नहीं बल्कि हल करने योग्य माथे को बनाने के लिए इस कार्य को करती है, क्योंकि इसके लिए पूरी तरह से अकल्पनीय कंप्यूटिंग संसाधनों की आवश्यकता होती है। हालांकि, यह ध्यान दिया जाना चाहिए कि कुछ कार्ड संयोजन एक-दूसरे के बराबर हैं, उदाहरण के लिए, दो इक्के ए ♥ ए starting का प्रारंभिक संयोजन प्रीफ्लॉप पर इक्के के किसी भी अन्य जोड़े के समान है। इस प्रकार, सट्टेबाजी के पहले दौर को देखते हुए, जिन खिलाड़ियों के हाथों में केवल दो कार्ड हैं, हम कुल 169 विभिन्न गैर-समकक्ष दो-कार्ड संयोजन को अलग कर सकते हैं। लेकिन कार्ड संयोजनों के समकक्ष वर्गों की पहचान करने के बाद भी, टेक्सास होल्डम में लगभग 10 ¹⁴ अलग-अलग गेम स्टेट्स हैं जिन्हें स्टोर करने के लिए दर्जनों पेटाबाइट्स की आवश्यकता होती है, यह सब पोकर में प्रशिक्षित करने के लिए लगने वाले समय का उल्लेख नहीं है। यह 3 या अधिक खिलाड़ियों के लिए पोकर विविधताओं के बारे में हकलाना लायक है?

उन मामलों में सामान्य बात जहां मूल खेल प्रत्यक्ष अध्ययन के लिए बहुत बड़ा है, एक अमूर्त खेल (अमूर्तता) के लिए संक्रमण है, इसके खेल में संयोजन एक रणनीतिक अर्थ में करीब है, पूर्ण खेल की स्थिति। दूसरे शब्दों में, जब किसी गेम का विश्लेषण और समाधान किया जाता है, तो मूल गेम के कुछ राज्यों को अप्रभेद्य माना जाता है। पोकर में अमूर्त निर्माण के एक उदाहरण के रूप में, प्रीफ्लॉप पर विचार करें, जहां, जैसा कि आप जानते हैं, सबसे अच्छा शुरुआती संयोजन एए इक्के और राजा एके के साथ इक्का के अनुकूल संयोजन की एक जोड़ी है। यह स्पष्ट है कि व्यापार के पहले दौर में इन कार्डों को खींचने की रणनीति एक-दूसरे से बहुत भिन्न नहीं होगी, इसलिए, अंतरात्मा की आवाज़ के बिना, आप इन दो जोड़े कार्डों को एक संयोजन के शुरुआती वर्ग में जोड़ सकते हैं। निर्दिष्ट चाल को अन्य कार्ड संयोजनों के लिए दोहराया जा सकता है, जिसके परिणामस्वरूप, आपने अनुमान लगाया होगा, कंप्यूटिंग संसाधनों के लिए कम अनुरोधों के साथ "अमूर्त" पोकर।

अमूर्त के निर्माण के अन्य तरीके हैं जो न केवल कार्ड संयोजनों पर लागू होते हैं, बल्कि असीमित विषयों में पैटर्न को शर्त लगाने के लिए भी हैं, जो आपको एक सार गेम प्राप्त करने की अनुमति देता है जिसका अध्ययन और विश्लेषण किया जा सकता है। यहां मुख्य बात यह है कि अमूर्तता में परिवर्तन के दौरान, मूल खेल के बारे में कुछ जानकारी खो जाती है। खोई हुई जानकारी जितनी अधिक महत्वपूर्ण होगी, पोकर एजेंट उतना ही कमजोर होगा।

अब चलो पोकर खेलने के लिए रणनीतिक प्रोफाइल बनाने की बुनियादी अवधारणाओं को देखें।

विशेषज्ञ प्रणाली

बहुत पहले पोकर एजेंट विशेषज्ञ सिस्टम थे या अगर-तो विभिन्न गेमिंग स्थितियों के लिए नियम सेट। इस तरह के नियमों को स्वयं खिलाड़ियों की मदद से संचालित किया गया और बड़ी संख्या में वास्तविक गेम वितरण का विश्लेषण करके / या प्राप्त किया गया। जैसा कि हो सकता है, इस दृष्टिकोण का दोष स्पष्ट है - कमजोरियों की पहचान करने के बाद एक कृत्रिम प्रतिद्वंद्वी का आसानी से शोषण किया जाता है। बेशक, इन कमजोरियों को नियम आधार में नई प्रविष्टियों को जोड़कर हमेशा ठीक किया जा सकता है, लेकिन इससे समर्थन की बढ़ती जटिलता, डिबगिंग और संपूर्ण रूप से सिस्टम के घटते प्रदर्शन से जुड़ी कई परेशानियों का सामना करना पड़ता है।

आज तक, अपने शुद्ध रूप में इस प्रकार के पोकर एजेंटों को उनके आसान शोषण के कारण व्यावहारिक रूप से उपयोग नहीं किया जाता है। बॉट्स के इस वर्ग के सबसे प्रसिद्ध प्रतिनिधि: लोकी और पोकी के पहले संस्करण, फेलोमेन और व्यापक रूप से संकीर्ण सर्कल शैंकी बॉट में जाना जाता है।

शोषकों

पोकर शोषक बॉट्स की मूल अवधारणा प्रसिद्ध विरोधियों के लिए खेल का अधिकतम लाभ उठाने के लिए अपनी कमजोरियों का उपयोग करते हुए काउंटर-एजेंट बनाने पर आधारित है। एक नियम के रूप में, या तो किसी विशेष गेम स्थिति में प्रतिद्वंद्वी के व्यवहार को मॉडलिंग करता है या किसी विशिष्ट प्रतिद्वंद्वी के लिए पूर्व-गणना की गई रणनीतिक प्रोफाइल का उपयोग किया जाता है।

एक प्रतिद्वंद्वी को मॉडलिंग के साथ सिस्टम में निर्णय लेना सबसे लाभदायक निर्णय को निर्धारित करने के लिए विभिन्न परिणामों के साथ बार-बार "आभासी" वितरण खेलने के लिए नीचे आता है। ऐसे पोकर एजेंटों की पर्याप्तता प्रतिद्वंद्वी के मॉडल की पर्याप्तता के कारण है। लेकिन, जब मानवीय फैसलों की बात आती है, तो शैनन के फॉर्च्यूनर को हमेशा अनजाने में याद किया जाता है, जो दस में से नौ मामलों में खिलाड़ी की कार्रवाई का अनुमान लगाता है। सबसे अधिक बार, तंत्रिका नेटवर्क का उपयोग जीवित विरोधियों को मॉडल करने के लिए किया जाता है, जो कि कुछ स्रोतों के अनुसार, खिलाड़ी के कार्यों की भविष्यवाणी करने की ~ 80-90% विश्वसनीयता प्रदान कर सकते हैं। यह तथ्य ऑनलाइन कैसीनो में खेलने के लिए इस प्रकार के पोकर बॉट्स को सबसे आकर्षक बनाता है, क्योंकि आधुनिक जीपीयू प्रौद्योगिकियां प्रतिद्वंद्वी मॉडल का निर्माण करना और लाभदायक समाधान की गणना करना आसान और त्वरित बनाती हैं।

शिक्षाविदों में, शोषकों को सर्वश्रेष्ठ प्रतिक्रिया रणनीतियों को खोजने के आधार पर जाना जाता है। इस दृष्टिकोण का विचार यह है कि, किसी दिए गए अमूर्त के ढांचे के भीतर, एक प्रसिद्ध प्रतिद्वंद्वी के लिए प्रति-रणनीति का चयन किया जाता है। यह आपको किसी विशेष प्रतिद्वंद्वी की कमजोरियों का यथासंभव कुशलता से दोहन करने की अनुमति देता है, लेकिन एक मनमाने प्रतिद्वंद्वी के खिलाफ, परिणाम विनाशकारी हो सकते हैं। इसके अलावा, ऐसे रणनीतिक प्रोफाइल के निर्माण के लिए महत्वपूर्ण कम्प्यूटेशनल संसाधनों की आवश्यकता होती है, हालांकि हाल ही में इस क्षेत्र में प्रगति हुई है।

किसी भी शोषक बॉट के लिए, एक दोष है। वह प्रारंभिक रणनीति को लागू करने की आवश्यकता में है, क्योंकि यह स्पष्ट है कि एक दर्जन हाथों के बाद प्रतिद्वंद्वी का अनुकरण और शोषण करना असंभव है। इसके अलावा, हम एक विशिष्ट दुश्मन के साथ दसियों हजारों वितरणों के बारे में बात कर रहे हैं, इससे पहले कि ऑपरेशन फल शुरू हो जाए। आमतौर पर, एक प्रतिद्वंद्वी पर आंकड़े एकत्रित करते समय, एक अलग प्रकार के पोकर बॉट का उपयोग किया जाता है। प्रारंभिक अवस्था में लोगों के साथ खेलते समय, अक्सर एक दृष्टिकोण का उपयोग किया जाता है जिसमें शोषक को वितरण इतिहास पर सामान्य विशेषताओं द्वारा एकजुट खिलाड़ियों के समूह के खिलाफ प्रशिक्षित किया जाता है, जैसे कि खेल में प्रवेश की आवृत्ति, तसलीम में जाने की इच्छा, और इसी तरह। फिर, जैसे ही गेम गेम वितरित करता है, व्यक्ति-विरोधी की विशेषताएं अधिक से अधिक स्पष्ट हो जाती हैं, जो ऑपरेटर को जल्दी और अधिक पर्याप्त रूप से उपयुक्त काउंटर-रणनीति का चयन करने और प्रशिक्षित करने की अनुमति देता है।

शोषक की खेल गुणवत्ता विशेषज्ञ प्रणालियों से कहीं अधिक है, क्योंकि वे बाद की कमजोरियों की पहचान करने में सक्षम हैं। मनमाने ढंग से विरोधियों के खिलाफ उनकी प्रभावशीलता काफी हद तक तीन कारकों द्वारा निर्धारित की जाती है - प्रारंभिक रणनीति, प्रतिद्वंद्वी पर एकत्रित आंकड़े और उपयोग किए गए मॉडल की पर्याप्तता। इस वर्ग के सबसे प्रसिद्ध बॉट्स BRPlayer और Vexbot हैं, जो पोकर अकादमी से बहुत से परिचित हैं।

संतुलन की रणनीतियाँ

अपेक्षाकृत हाल तक, पोकर बॉट्स के निर्माण के लिए शुद्ध गेम-थ्योरिटिक तरीके अकादमिक रुचि के क्षेत्र में अधिक थे, क्योंकि उनके कार्यान्वयन को कम्प्यूटेशनल कठिनाइयों से भरा गया था। यह मुख्य रूप से नैश संतुलन को खोजने के बारे में है।

आइए हम संतुलन रणनीतियों की अवधारणा पर ध्यान केंद्रित करते हैं और प्रसिद्ध गेम स्टोन-कैंची-पेपर पर विचार करते हैं, जो कई बार बड़ी संख्या में खेला जाता है। स्वच्छ रणनीति के बाद पहले खिलाड़ी को हर समय एक पत्थर खेलने दें। फिर दूसरा खिलाड़ी, जिसने पहले के खेल के माध्यम से देखा, अधिकतम लाभ प्राप्त करने के लिए हर समय कागज खेलेंगे। पहले खिलाड़ी, हारने और यहां तक ​​कि अपनी जीत को अधिकतम करने के लिए, कैंची पर स्विच करने की आवश्यकता है। जाहिर है, दूसरा खिलाड़ी अपनी रणनीति को पत्थर में बदल देगा और बदलती रणनीतियों का पूरा चक्र फिर से दोहराया जाएगा। यह देखना आसान है कि अगर पहले खिलाड़ी ने एक पत्थर, कैंची या कागज को समान रूप से फेंक दिया, तो दूसरा खिलाड़ी, चाहे वह अपनी रणनीति को बदलने की कितनी भी कोशिश कर ले, दुश्मन का शोषण नहीं कर सकता था।

उपरोक्त उदाहरण को दो शोषकों के खेल के रूप में देखा जा सकता है, जो लगातार प्रतिद्वंद्वी के लिए अपनी मिश्रित रणनीति को समायोजित करता है। जाहिर है, जल्दी या बाद में, दोनों खिलाड़ियों की रणनीति एक पत्थर, कैंची या कागज के समान रूप से संभावित फेंकने के लिए अभिसरण होगी। इस विशेष स्थिति को नैश संतुलन कहा जाता है, क्योंकि संतुलन में होने के नाते, कोई भी खिलाड़ी अपनी रणनीति को बदलते हुए, दूसरे की तुलना में बेहतर नहीं खेल सकता है।

जैसा कि ऊपर उल्लेख किया गया है, पोकर के लिए संतुलन रणनीतियों की तलाश के बारे में सोचने के लिए कुछ भी नहीं है - मानवता के पास इस आकार के खेल को हल करने के लिए पर्याप्त संसाधन नहीं होंगे। इसलिए, शोधकर्ताओं ने पोकर अमूर्त की संतुलन रणनीतियों पर ध्यान केंद्रित किया, लेकिन यह इस सवाल को उठाता है कि अमूर्त खेल का संतुलन पूर्ण खेल के संतुलन से कितना मेल खाता है। इस संबंध में, एक सार खेल के नैश संतुलन को अनुमानित संतुलन या ib- संतुलन कहा जाता है, जहां strategy रणनीति के संभावित शोषण का प्रतीक है।

In-संतुलन में, सुपर-शोषक के साथ खेलते समय मुख्य विशेषता उनकी प्रभावशीलता है। या, दूसरे शब्दों में, मूल खेल के सही संतुलन से कितनी दूर,-संतुलन पाया जाता है। यह उम्मीद की जाती है कि बहुत मोटे या अपर्याप्त सार का उपयोग एक मोटा और अपर्याप्त ib-संतुलन देता है। यह भी पूरी उम्मीद है कि गर्भपात के लिए संक्रमण के दौरान पूर्ण खेल के बारे में कम जानकारी खो जाती है, अधिक से अधिक अमूर्तता और एल्गोरिदम और कंप्यूटिंग संसाधनों को सीखने के लिए आवश्यकताएं अधिक होती हैं। बदले में इस तरह के बड़े खेलों के लिए संतुलन प्रणाली खोजने के लिए नए तरीकों की खोज और विकास किया गया।

आज, पोकर के बड़े सार में संतुलन खोजने के लिए कई प्रभावी एल्गोरिदम हैं। इनमें से सबसे लोकप्रिय एल्गोरिदम न्यूनतम अफसोस को कम करने पर आधारित हैं। अल्बर्टा विश्वविद्यालय के एक अनुसंधान समूह द्वारा एल्गोरिदम के इस परिवार को सक्रिय रूप से विकसित किया जा रहा है और यह अलग विचार का हकदार है। मैं केवल यह नोट करता हूं कि इनमें से एक एल्गोरिदम का उपयोग करते हुए, स्लम्बॉट पोकर बॉट को प्रशिक्षित किया गया था, जिसमें ट्रेडिंग के पहले तीन सर्कल बिना किसी अमूर्त के प्रस्तुत किए जाते हैं। यह बॉट पिछले साल एनुअल कंप्यूटर पोकर प्रतियोगिता में प्रथम स्थान पर रहा था।

संतुलन की रणनीतियों का मुख्य लाभ उनकी गैर-परिचालनता है। उसी समय, ये रणनीति बहुत कमजोर पोकर खिलाड़ियों के खिलाफ भी विशेष रूप से लाभदायक नहीं हैं। संतुलन रणनीति प्रोफाइल का उपयोग करते हुए पोकर एजेंटों के इस वर्ग के सबसे प्रसिद्ध प्रतिनिधि हाइपरबोरियन और पोलारिस हैं, पहले बॉट जो आत्मविश्वास से पोकर में एक व्यक्ति को हराने में कामयाब रहे।

एक निष्कर्ष के बजाय

यह मिनी-रिव्यू कंप्यूटर पोकर की समस्याओं के पूर्ण निष्कासन का दावा नहीं करता है, लेकिन यह इस क्षेत्र में वर्तमान स्थिति का एक अनुमानित विचार दे सकता है। शायद अगर चीजें अच्छी होती हैं, तो मैं इस विषय पर विस्तार करना जारी रख सकता हूं।