क्या प्रोग्रामर्स के लिए टेस्ट पास करना रोबोट को सिखाना आसान है?

इस लेख से, पाठक सीखता है कि कैसे एक रोबोट लिखना है जो परीक्षणों को पास करता है, और "दिमाग" संभावना सिद्धांत को थोड़ा सा करता है, यह पता लगाता है कि क्यों एक समाधान का स्वत: चयन कार्य की स्पष्ट जटिलता के साथ बहुत कम समय में परिवर्तित हो जाता है। चेतावनी: लेख का आधा भाग "मटन" है।

परिचय

कुछ साल पहले मैंने प्रोग्रामर के लिए एक परीक्षण किया था, जो कई, सबसे अधिक संभावना है, पसंद नहीं करेंगे। यदि आप PHP में लिखते हैं, तो आपका पसंदीदा DBMS MySQL है, और आप लिनक्स को ऑपरेटिंग सिस्टम के रूप में पसंद करते हैं - इसके माध्यम से प्राप्त करने का प्रयास करें। मैं आपको पहले से चेतावनी देता हूं, एक अजीबोगरीब परीक्षा। केवल कुछ प्रतिशत विषय इसे सफलतापूर्वक पास करते हैं। तो चिंता मत करो। यदि आप इसे पास नहीं करते हैं, तो यह ठीक है। परीक्षण कुछ कौशल के लिए "तेज" है जो हर जगह आवश्यक नहीं है।

परीक्षण में एक उत्कृष्ट परिणाम प्राप्त करना मुश्किल है। इसलिए, कुछ विषय काले जादू का सहारा लेते हैं - वे एक बॉट लिखते हैं। अच्छा सौदा, वैसे। "दृढ़ता और साहस, साहस और सौभाग्य, मुसीबत में मत उलझो - यह मुख्य कार्य है!" इसलिए, परीक्षण में कोई कैप्चा नहीं था। कभी नहीं। इसके विपरीत, मैं चाहता था कि बॉट्स लिखे जाएं। बॉट्स के लिए आने के लिए। जीवित रहने के लिए परीक्षण के लिए, बॉट्स को तोड़ दिया गया था, और "वनस्पतिशास्त्री" ने धोखा नहीं दिया, लेकिन अध्ययन किया।

परीक्षण में 80 प्रश्न हैं, जिनमें से 25 प्रत्येक परीक्षा के लिए यादृच्छिक रूप से चुने गए हैं। मेरे पास एक सरल (और, जैसा कि बाद में पता चला, बिल्कुल गलत है) गणना। परीक्षण को याद करने या उत्तर देने से पूरा होने से रोकने के लिए, प्रश्नों का सामान्य आधार शुरू में एक परीक्षा में प्रश्नों की संख्या से काफी बड़ा होना चाहिए। परीक्षण संयोजनों की कुल संख्या लगभग 10 ^{20 है} । "चूंकि संख्या इतनी बड़ी है, इसलिए इसका मतलब है कि उत्तर ढूंढना बहुत मुश्किल होगा," मैंने सोचा। बेशक, संयोजनों की संख्या बहुत मोटा अनुमान है। लेकिन स्वत: चयन का कार्य मुझे सहज रूप से प्रतीत होता था, अगर वह हल करने योग्य होता, तो ऐसी लागतों पर जो कि बोटोग्राफर के लिए नहीं जाती। ऐसा सोचना एक बड़ी भूल थी। मैं बॉट्स के साथ लड़ाई हार गया। मैं आपको बताऊंगा कि क्यों।

आक्रमण

बेशक, सभी हमलों को अब याद नहीं किया जा सकता है। दो सफल व्यक्ति थे - उन पर चर्चा की जाएगी।

पहला सफल चयन तुच्छ था (एक लाख http अनुरोधों की गिनती नहीं, लेकिन ये त्रिपाल हैं)। चयन मेरी मूर्खतापूर्ण गलती का परिणाम था। यह मेरे एक दोस्त, इगोर श्री द्वारा किया गया था। एक बार जब मैंने रैंकिंग में उसका नाम पहली बार देखा। एक बहुत ही उच्च स्कोर और लगभग 5 सेकंड का एक परीक्षण समय के साथ। मैंने उसे फोन किया और पूछा कि उसने यह कैसे किया।

सबसे पहले, इगोर ने चयन द्वारा समस्या को हल करने की कोशिश की। जैसा कि मैंने पहले ही लिखा था, जिस आदमी को वह बहुत जिद्दी निकला, उसके लॉग में लगभग एक लाख अनुरोध थे। लेकिन यह कार्य शुरुआत में जितना मुश्किल लग रहा था, उससे कहीं ज्यादा मुश्किल था - इसे उठाना बहुत लंबा था। और अचानक एक "छेद" मिला। यह पता चला कि आप जानबूझकर गलत उत्तर दे सकते हैं, जिसे स्वीकार किया जाएगा और गलत के रूप में गिना जाएगा, और परीक्षण अगले प्रश्न पर आगे बढ़ेगा। यह आपको एक विशिष्ट प्रश्न के उत्तर का चयन करने की अनुमति देता है, अन्य सभी का उत्तर देना स्पष्ट रूप से गलत है। गणना के लिए कई विकल्प महत्वहीन हो जाते हैं, और कार्य प्राथमिक हो जाता है।

इगोर का बॉट टेस्ट पास करने वाला पहला था। मैंने बग तय किया, इगोर को रेटिंग से हटाना पड़ा। अन्य सभी हमले सफल नहीं थे। साइमन के के प्रकट होने तक कई उबाऊ साल बीत गए।

यह दूसरा और आखिरी गंभीर हमला था, जिसके बाद मैंने अपने बारे में सब कुछ समझा और कैप्चा सेट किया। इसके अलावा, यह मस्तिष्क के लिए एक महान कसरत थी, मुझे इस पद पर धकेल दिया। लेकिन पहले बातें पहले।

नवंबर 2013 के मध्य में, कुछ स्विस मेजबान से दो सौ पचास हजार अनुरोध आए। दूसरे दिन पहले से ही, बॉट पहले स्थानों में रैंकिंग में दिखाई दिया और जारी रहा। 250,000 अनुरोध, लगभग 10,000 परीक्षण पास - और पहले स्थान पर। इसने मुझे पूरी तरह से भ्रमित कर दिया। इतनी जल्दी क्यों? संयोजनों की संख्या क्या है, 10 ²⁰ क्या हैं, चयन बहुत तेजी से परिवर्तित हो गया! क्या वास्तव में फिर से कोई बग है? यदि नहीं, तो मेरे आकलन में मैं इतना गलत कैसे हो सकता है?

बॉट ने लेखक का ईमेल पता छोड़ दिया, और मेरे पास हार मानने और लेखक को पत्र लिखने के अलावा कोई विकल्प नहीं था। अगले दिन, मुझे पता चला कि बॉट कैसे काम करता है।

उन्होंने किसी भी छेद का उपयोग नहीं किया, लेकिन अनुकूल तरीके से काम किया: परिणामों के आधार पर उन्होंने उत्तर विकल्प की शुद्धता के बारे में परिकल्पना को परिष्कृत किया, सबसे खराब लोगों को त्याग दिया, लगातार समाधानों को अपडेट किया और खोज रेंज को कम किया। इसके अलावा, समय-समय पर, बॉट के लेखक ने मैन्युअल रूप से उत्तरों को संपादित किया, नए लोगों को बिल्कुल सही और बिल्कुल गलत चिह्नित किया, अभिसरण समस्या को बहुत सरल किया।

मुझे पहले से ही कोई संदेह नहीं था कि मुझे कैप्चा स्थापित करने की आवश्यकता है। लेकिन मैं अनुकूली चयन को इतना कम कैसे कर सकता था? ऐसे अभिसरण क्यों, केवल 10,000 प्रश्न? संक्षेप में, मुझे एक कलम, एक कागज का टुकड़ा और सोचना पड़ा।

अभिसरण रेटिंग

अब वही "मटन"। हम एक मोटे अनुमान में रुचि रखते हैं, इसलिए हम खुद को गैर-कठोर गणना तक सीमित रखते हैं। हमारा काम यह दिखाना है कि बॉट अद्वितीय संख्याओं की कुल संख्या के "अनाड़ी" अनुमान की तुलना में बहुत कम प्रयासों में एक समाधान ढूंढेगा (हम कम से कम एक समाधान जानते हैं जो 10 ⁴ प्रयासों में परिवर्तित होता है)।

आरंभ करने के लिए, हम उस विधि का उपयोग करेंगे जो लंदन कार्यालय के मेरे सहयोगी, एवगेनी कुचेरा ने मुझे प्रेरित किया। उन्होंने समस्या को यादृच्छिक रेखीय समीकरणों की एक प्रणाली के समाधान के रूप में देखने का सुझाव दिया: प्रत्येक परीक्षण फॉर्म का एक समीकरण देता है "ऐसे और इस तरह के सवालों के जवाब इस तरह के और इस तरह के परिणाम के बराबर है"। परीक्षण का प्रत्येक पास +1 समीकरण देता है। सरलता के लिए, हम मानते हैं कि प्रत्येक प्रश्न के 5 संभावित उत्तर हैं। सभी समीकरण रैखिक हैं, और सिस्टम में एक समाधान हो सकता है यदि स्वतंत्र समीकरणों की संख्या अज्ञात की संख्या के बराबर है। अज्ञात की संख्या, मोटे तौर पर बोल रही है, उत्तर विकल्पों की संख्या से गुणा किए गए प्रश्नों की संख्या, एन = 80 * 5 = 400. और समीकरणों की आवश्यक निर्भरता एक बारीक है, शायद रेखीय बीजगणित के पाठ्यक्रम से पाठक से परिचित है। आप केवल पहला एन समीकरण प्राप्त नहीं कर सकते हैं और मान सकते हैं कि सिस्टम में एक समाधान है: एक समीकरण बिना किसी अतिरिक्त जानकारी के, अन्य समीकरणों का एक रैखिक संयोजन हो सकता है। लेकिन हम धोखा देंगे और बस अपनी उंगलियों पर दिखाएंगे कि आदेश एन के परीक्षणों की संख्या के लिए स्वतंत्र समीकरणों की एक प्रणाली प्राप्त करना संभव नहीं है - यहां आपको बहुत कठिन प्रयास करना होगा।

वास्तव में, एम के परीक्षणों की संख्या एन = 400 से अधिक होने के बाद, समीकरणों के संभावित संयोजनों की संख्या एम द्वारा एन के संयोजन की संख्या के रूप में बढ़ेगी, अर्थात, अविश्वसनीय रूप से तेज। पहले से ही M = 2N पर यह संख्या (2 * 400) होगी! / (400!) ² । और यह एक बहुत बड़ी संख्या है, विशेष तरकीबों के बिना इसे एक अस्थायी बिंदु डबल के साथ सामान्य 64-बिट प्रकार के अतिप्रवाह के कारण भी नहीं गिना जा सकता है, यह 10 ⁺³⁰⁸ से अधिक है। इसके अलावा, सवालों के "मिश्रण" की दर भी बहुत अधिक है: एक परीक्षण में किसी भी जोड़ी के मिलने की संभावना छोटी है, यह लगभग (25/80) ² = 0.0977 है, लेकिन एम = 2 एन परीक्षणों के साथ भी, इस जोड़ी को किसी भी परीक्षा में नहीं मिलने की संभावना है ( 1 - 0.0977) ^{2 * 400} = 10 ^-36 ! इस प्रकार, संभावना है कि एम> 2 एन परीक्षणों के बीच हम ऐसे एन समीकरण चुन सकते हैं ताकि एक तरफ सभी चर हों, और दूसरी ओर प्रणाली स्वतंत्र हो, यह बहुत बड़ी है। शून्य और लोगों के एक यादृच्छिक वर्ग मैट्रिक्स के निर्धारक का विश्लेषण करके एक अधिक कठोर प्रमाण किया जा सकता है, लेकिन इस स्तर के गणितीय अभ्यास इस लेख के दायरे से परे हैं, और इसके अलावा, मुझे यकीन नहीं है कि मैं इस बौद्धिक यात्रा को पर्याप्त रूप से पूरा करने में सक्षम हूं।

नतीजतन, यह स्पष्ट है कि चर की संख्या की तुलना में कई परीक्षणों के लिए, ऐसा लगता है कि स्वतंत्र समीकरणों की एक प्रणाली प्राप्त करना संभव है। भले ही हमने एक गलती की हो, भले ही परिमाण के एक क्रम से, फिर भी यह अनुमान एक अद्भुत परिणाम देता है: हमें संयोजन की कोई संख्या नहीं मिली, लेकिन लगभग तत्काल अभिसरण, प्रश्नों की संख्या के संबंध में रैखिक।

उपरोक्त तर्क बेशक, क्रूड है। आइए एक और विधि देखें, जो बहुत अधिक कठोर, स्पष्ट और बहुत सुंदर है। निश्चित रूप से यह विधि किसी प्रकार का नाम भी रखती है और इसका उपयोग बहुत से स्थानों पर किया जाता है, लेकिन लेखक को इसके अंधेरे के कारण यह पता नहीं है।

विधि का सार निम्नानुसार है: बॉट काफी यादृच्छिक रूप से प्रतिक्रिया करता है, लेकिन केवल उन परीक्षणों को ध्यान में रखता है जिन्होंने कुछ निश्चित अंकों के साथ परिणाम दिए। कार्य करने की विधि के लिए, अंकों की यह निश्चित संख्या सबसे अधिक संभावित से अधिक होनी चाहिए (वास्तव में, यह कम हो सकता है, यदि केवल यह ध्यान देने योग्य अलग होगा)। उपयोग किए गए प्रत्येक उत्तर विकल्प में वजन जोड़ा जाता है - सही उत्तर विकल्पों के बारे में परिकल्पना की रेटिंग प्राप्त की जाती है। समय के साथ, सही उत्तरों को उच्च रेटिंग मिलती है, और गलत लोगों को कम मिलता है, और सही उत्तरों को गलत लोगों से आसानी से अलग किया जा सकता है। यह अजीब लगता है, और इस मामले में पहली बार विश्वास करना मुश्किल है। हम अधिक विस्तार से दिखाते हैं कि विधि कैसे काम करती है।

N प्रश्नों की परीक्षा में गिरने वाले अंकों की एक निश्चित संख्या की संभावना पर विचार करें - p (s, n)। सरलता के लिए, हम मानते हैं कि प्रत्येक प्रश्न के उत्तर m की संख्या समान है, सभी उत्तर यादृच्छिक हैं। इस स्थिति में, उत्तर का अनुमान लगाने या इकाई से बाहर गिरने की संभावना P (1) = 1 / m है, और गलत उत्तर की संभावना या शून्य से गिरने की संभावना P (0) = (m - 1) / m है। गिरते हुए अंक की वांछित संभावना कुछ इस तरह से है जैसे कि n से n के संयोजन की संख्या, और यहां तक ​​कि कुछ कारकों के साथ P (1) में डिग्री s और P (0) के साथ डिग्री n - s (गिरने के समय की संभावना एक बार और n है। - समय शून्य हम संयोजनों की कुल संख्या से गुणा करते हैं)। अब के लिए सूत्र के साथ पाठक को परेशान किए बिना, हम n = 24 (क्यों 24, 25 नहीं, हम बाद में बताएंगे) के लिए संभाव्यता ग्राफ प्रस्तुत करते हैं:



अब निम्नलिखित अभिव्यक्ति के लिए जांच विधि लागू करें:

p (s, n) = p (s - 1, n - 1) * P (1) + p (s, n - 1) * P (0) (1)

इस अभिव्यक्ति का भौतिक अर्थ इस प्रकार है: परीक्षण में n प्रश्नों से बाहर आने की संभावना दो घटनाओं की संभावनाओं के योग के बराबर है:

• पिछले (n - 1) चरण में, s - 1 अंक गिर गया, और फिर एक इकाई
• पिछले (n - 1) चरण में, s अंक गिर गया, और फिर शून्य

और अब सबसे दिलचस्प। याद रखें कि हमारा बॉट निम्नानुसार काम करता है:
बॉट केवल उन परीक्षणों को ध्यान में रखता है जिन्होंने बिल्कुल एस अंक दिए थे;
प्रत्येक परीक्षण में, बॉट प्रत्येक उत्तर विकल्प में +1 जोड़ता है।

इस प्रकार, हर बार हम सही उत्तरों और गलत लोगों के लिए एक रेटिंग जोड़ देंगे, और ऐसा लगता है कि पहली नज़र में बॉट के व्यवहार में कोई तर्क नहीं है। लेकिन आइए (1) को फिर से देखें और खुद से पूछें: हम किस संभावना के साथ रेटिंग को वास्तव में सही उत्तर में जोड़ रहे हैं? कल्पना करें कि एक इकाई के गिरने की संभावना अलग से प्रत्येक शून्य के नुकसान से अधिक है (अब के लिए, बस कल्पना करें, यह नीचे दिखाया जाएगा)। फिर, समय के साथ, एक परीक्षण से दूसरे तक, सही उत्तर की रेटिंग गलत की तुलना में तेजी से बढ़ेगी। पर्याप्त संख्या में परीक्षणों के साथ, सही उत्तर अन्य विकल्पों की तुलना में काफी अधिक रेटिंग प्राप्त करेगा, और गलत लोगों के बीच अंतर करना बहुत आसान होगा।

इसलिए, कार्य करने की विधि के लिए, हमें ऐसे s की आवश्यकता होती है, ताकि एक इकाई के बाहर गिरने की संभावना "ध्यान देने योग्य" हो, जिसमें से एक शून्य के बाहर गिरने की संभावना से अधिक हो:

p (s - 1, n - 1)> p (s, n - 1) (2)

आइए वितरण को फिर से देखें (अब यह स्पष्ट होना चाहिए कि यह वितरण n - 1 = 24 के लिए क्यों है, और n = 25 के लिए नहीं)। यह देखा जा सकता है कि आवश्यक s, वितरण s = 5 के अधिकतम के दाईं ओर स्थित हैं। यह दिलचस्प है कि विपरीत स्थिति अधिकतम के बाईं ओर पूरी होती है: एक इकाई गिरने की संभावना काफी कम है, इसलिए, जब केवल इस संख्या के साथ परीक्षणों के लिए रेटिंग की गणना करते हैं, तो सही उत्तर की रेटिंग काफ़ी कम होगी। उत्तर गलत से आसानी से अलग पहचाना जा सकेगा।

इस प्रकार, बॉट वितरण के बाईं ओर अधिकतम बिंदुओं का योग निर्धारित कर सकता है, उदाहरण के लिए, s = 6. यदि प्रत्येक उत्तर में कम से कम कुछ दर्जन बार उत्तर आता है, तो सही उत्तर की रेटिंग और गलत एक के अलग-अलग रूप से भिन्न होंगे। यह, ज़ाहिर है, एक गैर-कठोर मूल्यांकन है, लेकिन त्रुटि के बारे में परेशान होने की कोई इच्छा नहीं है - हम मानते हैं कि कुछ दर्जन परीक्षणों में त्रुटि पहले से ही महत्वहीन होगी। अब हम उन परीक्षणों की संख्या का अनुमान लगाते हैं जिन पर पर्याप्त सटीकता के साथ सही उत्तर निर्धारित किए जाते हैं।

इसके लिए, हमें अभी भी n प्रश्नों की एक श्रृंखला में बिंदुओं के लिए उत्तर की संभावना के लिए सूत्र लिखना होगा, जहां प्रत्येक प्रश्न में मी उत्तर विकल्प होते हैं। टेस्ट के मामलों की संख्या, जो अंक देगी, n प्रश्नों C (n, s) के संयोजन की संख्या का उत्पाद है जिसमें हम उत्तर और विकल्पों की संख्या को शेष पदों (m - 1) ^{n; s} में गलत उत्तर देने का अनुमान लगाएंगे, क्योंकि गलत हैं। प्रत्येक प्रश्न के उत्तर m - 1, और स्थिति - n - s रहेंगे। संयोजनों की कुल संख्या m ^{n है} । कुल संख्या के लिए उपयुक्त संयोजनों की संख्या का अनुपात वांछित संभावना है:

p (s, n, m) = n /! (s (ns)!) * (m-1) ^ns / m ⁿ (3)

एक चौकस पाठक इस सूत्र को अलग तरह से जांच सकता है: यह s इकाइयों P (1) ^s = m ^-s और n - s zeros P (0) ^{n - s} = ((m - 1) / m) ^{n - s} , को गुणा करने की संभावना है। संयोजनों की कुल संख्या - n द्वारा s के संयोजन की संख्या।

आइए हम अभिसरण अनुमान पर लौटते हैं। मान लीजिए कि हमने अंकों की संख्या दर्ज की है = 6. सूत्र के अनुसार 5 संभावित उत्तरों के साथ 25 प्रश्नों की परीक्षा में 6 अंक की संभावना (3) 0.163 है। इसलिए, 1 "उपयुक्त" परीक्षण प्राप्त करने के लिए, आपको परीक्षण को 1 / 0.163 = 6 बार चलाने की आवश्यकता है। प्रत्येक उत्तर को कई दसियों बार भेजा जाना चाहिए, इसे 30 होने दें। फिर प्रत्येक प्रश्न को 5 * 30 = 150 बार मिलना चाहिए। परीक्षण में एक विशिष्ट प्रश्न को पूरा करने की संभावना 25/80 = 1 / 3.2 है, जिसका अर्थ है कि सभी उत्तरों को खोजने के लिए लगभग 6 * 150 * 3.2 = ~ 3000 परीक्षणों को पूरा करना होगा!

पाठक को पूरी तरह से समझाने के लिए कि यह कोई चाल नहीं है, और यह समाधान वास्तव में बहुत तेज है, हम एक संख्यात्मक प्रयोग का परिणाम प्रस्तुत करते हैं। नीचे चयन में किसी एक प्रश्न के लिए रेटिंग की वृद्धि है। जैसा कि आप देख सकते हैं, पहले से ही 5000 पुनरावृत्तियों पर, सही उत्तर की रेटिंग गलत लोगों की रेटिंग से काफी आगे है। 10 ⁴ पुनरावृत्तियों के लिए, अंतर ध्यान देने योग्य से अधिक है।

निष्कर्ष

हम आश्वस्त थे कि बॉट लिखना कोई बड़ी बात नहीं है, ऊपर चर्चा की गई सभी विधियां बहुत अच्छा अभिसरण दर्शाती हैं। आइए हम उज्जवल पक्ष की ओर लौटें और स्वयं से यह प्रश्न करें: "बॉट बॉट" के जीवन को कैसे जटिल किया जाए?

कुछ जवाब सतह पर पड़े हैं। सबसे पहले, निश्चित रूप से, आपको कैप्चा सेट करने की आवश्यकता है, एसएमएस संदेश भेजकर परीक्षण की रक्षा करें, अर्थात। संभव के रूप में महंगी के रूप में परीक्षण पासिंग, और स्वचालन के साथ पूरा उपक्रम लाभहीन है।

दूसरे, समग्र प्रतिक्रिया आधार को बढ़ाने की आवश्यकता है। सच है, समाधान का अभिसरण रैखिक है। और एक बॉट के लिए जिसमें 100 प्रश्न हैं, 1000 प्रश्न हैं - कम्प्यूटेशनल जटिलता बहुत भिन्न नहीं होगी, और 1000 प्रश्नों की रचना करना बहुत काम है। हालाँकि, यथासंभव अधिक से अधिक प्रश्न करना सबसे अच्छा है। मेरे परीक्षण का आधार लगातार बढ़ रहा है, और आप इस मामले में शुल्क के लिए मदद कर सकते हैं (सभी विवरण व्यक्तिगत पत्राचार में पाए जा सकते हैं)।

केवल एक निरर्थक कदम है: विषय को यथासंभव "अस्पष्ट" प्रतिक्रिया के रूप में देना, क्योंकि यह वह बॉट है जो इस पर ध्यान केंद्रित करता है। उदाहरण के लिए, स्कोर किए गए अंकों की सटीक संख्या न कहें। यह अनुकूली समाधान के अभिसरण को जटिल करेगा और रैखिक समीकरणों के समाधान प्रणाली जैसे तरीकों का चयन करना असंभव बना देगा।

एक कठिनाई है: एक गलत परिणाम सामान्य ज्ञान के साथ संघर्ष करता है। मान लीजिए कि हमने परिणामों को स्तरों में विभाजित किया है, उदाहरण के लिए, नौसिखिया से विशेषज्ञ तक। ये स्तर दो या तीन नहीं हो सकते, कम से कम पाँच होने चाहिए। अन्यथा, उपयोगकर्ता को एक परीक्षा क्यों लेनी चाहिए जो बिल्कुल गलत परिणाम देती है? लेकिन यहां तक ​​कि एक स्तर के रूप में प्रतिक्रिया के मामले में, अनुकूली बॉट अभी भी जुट सकता है। यह इस तथ्य के कारण है कि अनुकूली एल्गोरिथ्म न केवल कुछ सटीक अंकों की संख्या पर अच्छा काम करता है, बल्कि टाइप s> कॉन्स्टल के अंतराल पर भी होता है, जहां कॉन्स्ट सबसे अधिक अंकों की संभावना है, अधिकतम वितरण। इस पूरे अंतराल में, संभावना नीरस रूप से घट जाती है, और यह, जैसा कि ऊपर दिखाया गया था, अनुकूली एल्गोरिथ्म के अभिसरण के लिए एक पर्याप्त स्थिति है। केवल एक ही चीज बची है: ऐसे विभाजनों को स्तरों में चयन करने के लिए ताकि एक ओर, वे परीक्षण को देखने योग्य बनाने के लिए पर्याप्त हों, और दूसरी ओर, कि एक स्तर से दूसरे स्तर पर पूरी तरह से स्वचालित अनुकूली संक्रमण व्यावहारिक रूप से असंभव हो।

आइए हम 5 संभावित उत्तरों के साथ 25 प्रश्नों के मॉडल के वितरण को याद करते हैं: 12 प्रश्नों और उससे ऊपर के सही यादृच्छिक उत्तर की संभावना नगण्य है। क्या होगा यदि आप पहले स्तर बनाते हैं, कहते हैं, 12 अंकों के साथ, या इससे भी अधिक? तब सभी सबसे संभावित परीक्षण केवल एक ही उत्तर देंगे: "असफल", और "ठंड" शुरू होने से बॉट काम नहीं करेगा। यदि आप स्तर की अगली सीमा को काफी दूर करते हैं, तो आप स्तर से स्तर तक तभी प्राप्त कर सकते हैं जब उत्तर विकल्प को "सबसे अधिक संभावना सच" या "सबसे अधिक संभावना गलत" में विभाजित किया जाता है, अर्थात, बॉट ड्राइवर को अपने बॉट की मदद करना चाहिए, प्रक्रिया में सीखना। और यह अपने आप में बुरा नहीं है।

वह सब निष्कर्ष है। यदि आपके पास अभी भी रोबोट से परीक्षणों की रक्षा करने के बारे में विचार हैं, तो उन्हें टिप्पणियों में देखना दिलचस्प होगा।

एलेक्सी रयबक, सगाई