आईएमओ में वफादार खिलाड़ियों को छोड़ने की भविष्यवाणी

पिछले लेख में, मैंने वर्णन किया कि कैसे हम इनोवा में डेटा माइनिंग का उपयोग करते हुए नए लोगों की विदाई का अनुमान लगाते हैं और खेल में बिताए कुछ घंटों या दिनों के लिए अपने कार्यों के लॉग के आधार पर आयनों MMORPG में अपना रास्ता शुरू करते हैं। लेकिन हमारे पास ऐसे दिग्गज भी हैं जिन्होंने खेल के लिए महीनों और साल समर्पित किए हैं, और वे भी कभी-कभी छोड़ देते हैं। हमने पहले ही उच्च सटीकता के साथ समान डेटा खनन विधियों द्वारा उनके हित के लुप्त होने की भविष्यवाणी की है।

तकनीकी विवरण

पिछले लेख के बाद से कुछ भी नहीं बदला है, डेटामाइनिंग के तहत, हमारे पास अभी भी दो दोहरी एक्सोन E5630 32 जीबी रैम ब्लेड, स्रोत और मध्यवर्ती डेटा के लिए 10 टीबी कोल्ड स्टोरेज, काम करने वाले डेटा के लिए एक RAID10 एसएएस सरणी में 3 टीबी गर्म भंडारण है। MS SQL 2008R2 के तहत दोनों सर्वर - एक डेटाबेस के तहत और एक विश्लेषण सेवा के तहत। समाधान का सॉफ्टवेयर हिस्सा SQL सर्वर में शामिल एक मानक Microsoft व्यवसाय इंटेलिजेंस पैकेज है।

इनपुट - 38,000 उत्साही खिलाड़ियों के लिए 6 महीने के लिए गतिविधि लॉग।

छोड़ने के रूप में क्या विचार करें

शुरुआती लोगों के लिए, सवाल भी खड़ा नहीं हुआ - एक व्यक्ति कुछ मिनटों या घंटों में खेल को छोड़ देता है, और वास्तव में सब कुछ - खिलाड़ी खो जाता है। आखिरी दिन, जब एक व्यक्ति ने खेल में प्रवेश किया, तो हमने प्रस्थान के दिन को रिकॉर्ड किया और इस जानकारी पर अपने तंत्रिका नेटवर्क को प्रशिक्षित किया। लेकिन दिग्गजों के लिए, हम कई पुनरावृत्तियों के माध्यम से सही ढंग से यह निर्धारित करने के लिए गए कि किस तथ्य को प्रस्थान माना जाता है और अंत में क्या भविष्यवाणी करनी है। पहली धारणा सबसे सरल थी: एक व्यक्ति खेलता है जब वह सब कुछ पसंद करता है, और फिर वह खेलना बंद कर देता है। कैलेंडर पर खेल के दिनों को देखते हुए, हम कुछ इस तरह की उम्मीद करते हैं:



हमारा विचार यह था कि अंतिम गेमिंग दिवस वह प्रस्थान बिंदु है जिसकी हम भविष्यवाणी करेंगे। वास्तविकता, हालांकि, अधिक जटिल हो गई, अधिकांश खिलाड़ी कुछ इस तरह का व्यवहार करते हैं:



छोड़ने के क्षण के रूप में क्या विचार करें - 25 अगस्त, औपचारिक रूप से खेल का आखिरी दिन? या, उदाहरण के लिए, 16 वां, जब हमने एक व्यक्ति को एक हफ्ते तक खेल में नहीं देखा? या 31 जुलाई, पहली बार वह लगातार 7 दिनों के लिए एक खेल शुरू नहीं किया है? हमने विभिन्न परिकल्पनाओं की कोशिश की, और सबसे सरल काम नहीं किया। यह अनुमान लगाने के लिए कि एक निश्चित दिन खेल का अंतिम दिन होगा, हम 65% की उदास सटीकता के साथ सफल हुए।

आंकड़ों पर करीब से देखने के साथ, हमने महसूस किया कि अधिकांश खिलाड़ियों के पास गेमिंग दिनों की एक लंबी पूंछ है, जैसा कि पिछले कैलेंडर में दिखाया गया है - कुछ हफ़्ते या महीनों तक अवशिष्ट गतिविधि। उन्होंने वास्तव में पहले से ही सक्रिय रूप से खेलना बंद कर दिया है , लेकिन अभी भी कभी-कभी खेल में प्रवेश करते हैं। ऐसे लोगों के लिए, वास्तव में, देखभाल पहले ही हो चुकी है - वे अब खेल के बारे में खुश नहीं हैं, लेकिन जड़ता से चलते हैं - दोस्तों के साथ चैट करते हैं, चीजें बेचते हैं, या यहां तक ​​कि उनके खातों का उपयोग पहले से ही कबीले के सदस्यों द्वारा किया जाता है।

अगला कदम अनुभवजन्य नियमों के अनुसार पूंछ को काटना था ताकि वास्तविक दिन को प्राप्त करने की कोशिश की जा सके, जहां से गतिविधि गिरना शुरू हुई थी। सबसे प्रभावी दृष्टिकोण " खेल का अंतिम दिन था , जब पिछले 30 दिनों में कुल गतिविधि 9 दिनों से कम हो गई ", जिसने लगभग 80% की सटीकता दी। लेकिन अनुभवजन्य दृष्टिकोण वफादार के लिए अच्छी तरह से काम नहीं करता था, लेकिन बहुत सक्रिय खिलाड़ी नहीं था, इसलिए मुझे आगे सोचना पड़ा।

विभाजन के लिए संक्रमण

यह सफलता हमारे मौजूदा गतिविधि समूहों के बाइनरी सोच "बाएँ / बाएँ" से संक्रमण था, "खिलाड़ी ने हमारे खेल को छोड़ दिया" स्थिति से "खिलाड़ी की गतिविधि संभावित प्रस्थान की सीमा से नीचे गिरती है"। हम पिछले 30 कैलेंडर दिनों की गतिविधि के दिनों की संख्या - कुछ वर्षों के लिए उपयोग की आवृत्ति (पश्चिमी साहित्य में आवृत्ति) की एक मीट्रिक का उपयोग कर रहे हैं। सीधे शब्दों में कहें, हम खेल में एक व्यक्ति को हर दिन, हर दूसरे दिन, सप्ताह में एक दो दिन या महीने में एक बार देखते हैं। आवृत्ति के अनुसार, हम गतिविधि समूहों का निर्माण करते हैं, जो दर्शकों को विभाजित करते हैं:



अब हम प्रस्थान को गड्ढे में गिरने के रूप में परिभाषित करते हैं, खेल को छोड़ने पर अत्यधिक निष्क्रियता का एक क्षेत्र। यह पुनर्वितरण केवल गणितीय नहीं है, बल्कि एक व्यावसायिक दृष्टिकोण से भी स्पष्ट समझ में आता है - पोस्ट फैक्टम की भविष्यवाणी करने के बजाय कि हमारा खिलाड़ी अब हमारे साथ नहीं है, हम कुछ हफ्तों के लिए अग्रिम में, उसके भविष्य की निष्क्रियता की भविष्यवाणी करना चाहते हैं, ताकि कारण जानने के लिए समय मिल सके। और आगे खेलने के लिए उसकी प्रेरणा बढ़ा।

एक नया दृष्टिकोण उन खिलाड़ियों की भविष्यवाणी था जो दो सप्ताह में गड्ढों में गिरने के खतरे में हैं, खंडों के लिए [7-9], [10-15] और [16-20], और खंड के लिए 3 सप्ताह के बाद [21-25]। यही है, हम उन खिलाड़ियों की तलाश कर रहे हैं जो गति खो रहे हैं, जिनकी गतिविधि अगले कुछ हफ्तों के दौरान महत्वपूर्ण रूप से गिरनी चाहिए:

मैट्रिक चयन

हमारी पहली डेटा माइनिंग परियोजना से, हमें पता चला कि निकासी की भविष्यवाणी के लिए कुल गतिविधि के महत्वपूर्ण मीट्रिक कितने हैं। यह उम्मीद की जाती है कि अब वे एक प्रमुख भूमिका निभाएंगे, लेकिन, फिर भी, हमने अन्य, सामाजिक और खेल-विशिष्ट मीट्रिक आज़माने का फैसला किया:

• चैट गतिविधि - निजी संदेश, कबीले की चैट और सामान्य चैट
• संसाधन जुटाना और क्राफ्टिंग करना
• PvP और PvE उदाहरण
• भुगतान किए गए सदस्यता के शेष दिन
• अधिकतम चरित्र स्तर

गणित

पहले, शुरुआती लोगों के लिए, एक या दो दिन के लिए गेम डेटा का उपयोग किया गया था, ताकि मॉडल में तात्कालिक मूल्य थे, जो अधिकतम आवश्यक था वह मैट्रिक्स का सामान्यीकरण था। लेकिन दिग्गजों के लिए, हम हफ्तों और महीनों के पैमाने को देखते हैं, इसलिए समय के हिसाब से आंकड़ों का एकत्रीकरण आवश्यक है - चलती औसत और रकम, डेरिवेटिव और झुकाव कोण।



उदाहरण के लिए, हमने 30 कैलेंडर दिनों के लिए गेमिंग दिनों की चलती राशि का उपयोग किया, रैखिक रूप से कम से कम वर्ग विधि द्वारा अनुमान लगाया गया , जो सीधे टी-एसक्यूएल में सीधे गणना की जाती है। लाइन के गुणांक डेटा खनन मॉडल के इनपुट पर जाते हैं। और खेल में बिताए दैनिक समय के विश्लेषण के लिए, निष्क्रियता के दिनों को बाहर करने के लिए एक और कदम जोड़ा गया:



ETL वास्तव में नए सिरे से तैयार किया गया था और सभी डेटा को पुनः लोड किया गया था, लेकिन दृष्टिकोण स्पष्ट रूप से सही था, बहुत पहले क्लस्टर [16-20] पर कच्चे, मैन्युअल रूप से अपुष्ट मॉडल, 80% से कम सटीकता पर चलता है। विभिन्न अवधियों और एकत्रीकरण और गिनती के तरीकों के साथ 30 से अधिक विभिन्न मैट्रिक्स की कोशिश करने के बाद, हम गतिविधि के सभी क्षेत्रों के लिए गड्ढे में गिरावट की भविष्यवाणी करने के लिए 80-90% सटीकता के साथ आए। पहले से ही एक अच्छा परिणाम है, लेकिन हम और अधिक चाहते थे। और कुछ महीनों तक वे सटीकता में सुधार करने के लिए संघर्ष करते रहे जब तक कि वे अभी तक एक और विचार नहीं आए।

वापस अतीत में

यदि हम अपने डेटा को समय अक्ष के साथ स्थगित करते हैं, तो चित्र इस प्रकार था:



शून्य बिंदु वह दिन है जिस दिन हम 2-3 सप्ताह के लिए अग्रिम अनुमान लगाते हैं (खंड पर निर्भर करता है, जैसा कि पहले बताया गया है)। विभिन्न अवधियों के लिए गणना की गई अलग-अलग मेट्रिक्स को मॉडल इनपुट के लिए खिलाया जाता है, उदाहरण के लिए, गेमिंग दिन के लिए चलती औसत समय की पहली व्युत्पत्ति, एक्स दिनों के लिए गणना की जाती है । क्या महत्वपूर्ण है: सभी मैट्रिक्स बिंदु शून्य से गिने गए थे - 3 दिन, 5 दिन, आदि के लिए।

एक ताजा विचार अतीत को अधिक विस्तार से देखना था। उदाहरण के लिए, हम 7 दिनों के लिए प्रति दिन चलने वाले खेल के समय के औसतन औसत चालन की गणना कर सकते हैं, लेकिन 14 दिन पहले - शून्य बिंदु से दो सप्ताह पहले। किसी खिलाड़ी की लुप्त होती गतिविधि की लंबी पूंछ याद है? वास्तव में, हम इसके पुर्जों में एक पूंछ खंड के साथ आए और मॉडल का नामकरण करके उनका स्वतंत्र विश्लेषण किया। हमने अतीत की अवधि और गहराई के लिए कई विकल्पों की कोशिश की, विशेष रूप से, नमूने (7, -21) प्रभावी थे - सात दिनों के लिए 21 दिन पहले, (7, -14), (7, -7) और (14 -14)।



यह विचार एक सफलता थी, लगभग सभी क्षेत्रों में 95% तक सटीकता बढ़ गई:

ब्लैक बॉक्स में

इस परियोजना का सबसे महत्वपूर्ण परिणाम अंतिम डेटा माइनिंग मॉडल है, जिसमें सटीकता और दूसरी तरह की त्रुटियों का सबसे अच्छा परिणाम है, पूरी तरह से विभिन्न गणितीय संयोजनों और सिर्फ दो मैट्रिक्स से गणना पर आधारित - दैनिक गतिविधि और खेल का समय!

विभिन्न खंडों के लिए, विभिन्न मैट्रिक्स मॉडल में महत्वपूर्ण थे। उदाहरण के लिए, [21-25] के लिए, विस्तृत अतीत से हमारे सभी गणनाओं की आवश्यकता थी। लेकिन [turned- ९] के लिए, ३० दिनों के लिए सन्निकटन निकटतम अतीत के साथ महत्वपूर्ण हो गए - ३ और ५ दिनों के लिए डेटा शून्य बिंदु तक। सभी मॉडल डेरिवेटिव, शून्य पर मान, और रैखिक सन्निकटन गुणांक पर आधारित थे - सब कुछ सरल तात्कालिक मूल्यों की तुलना में बहुत अधिक जटिल है जो हमने शुरुआती लोगों के लिए संचालित किया था। अंतिम मॉडल का एक उदाहरण ( चित्र क्लिक करने योग्य है ):



और अगर आपको आभास है कि यह मैजिक गणित के साथ किसी प्रकार का ब्लैक बॉक्स है, तो हम पूरी तरह से इस राय को साझा करते हैं, हमारे लिए यह एक ब्लैक बॉक्स है । शुरुआती लोगों के पूर्वानुमानों के साथ भी, हम आश्चर्यचकित थे कि हमारी खनन तिथि छोड़ने के कारणों के बारे में कितना कम कहती है; हमने उच्च सटीकता के साथ प्रस्थान की भविष्यवाणी की, लेकिन पता नहीं था कि ऐसा क्यों हो रहा था। लेकिन शुरुआती लोगों के लिए, हमें कम से कम उनकी खेल शैलियों पर बहुत सारा डेटा मिला और गेमिंग क्षमताओं का उपयोग किया गया और इन आंकड़ों के आधार पर हमने व्यक्तिगत ईमेल युक्तियों की अपनी प्रणाली बनाई। दिग्गजों के लिए, हम कम से कम कुछ मानव-पठनीय परिणाम प्राप्त करने में विफल रहे। यह एक सुंदर, 95% सटीक, लेकिन पूरी तरह से अपारदर्शी ब्लैक बॉक्स है।

सारांश

हम भविष्यवाणी कर सकते हैं, 2-3 सप्ताह पहले, हमारे वफादार खिलाड़ियों की गेमिंग गतिविधि में मजबूत गिरावट, जो हमारे सामुदायिक प्रबंधकों को ऐसे खिलाड़ियों की देखभाल करने, कारणों का पता लगाने और खेल में उनकी रुचि बढ़ाने के लिए कुछ करने की अनुमति देगा।

यह डेटा माइनिंग प्रोजेक्ट शुरुआती लोगों के लिए भविष्यवाणियों की तुलना में अधिक जटिल निकला। प्रयोगों और फाइन-ट्यूनिंग पर अधिक समय बिताया गया था, लेकिन अंत में, 95% सटीकता थ्रेशोल्ड पहुंच गया था। सबसे दिलचस्प बात यह है कि सामान्य तौर पर, कोई आयन-विशिष्ट मैट्रिक्स अंतिम मॉडल में नहीं गिरा। भविष्यवाणी पूरी तरह से दैनिक गतिविधि और खेल में बिताए समय के व्युत्पन्न मीट्रिक पर आधारित है, जो न केवल किसी भी खेल के लिए लागू है, लेकिन, मुझे यकीन है, किसी भी वेब सेवा के लिए।