आंकड़ों के साथ कैसे झूठ बोलना है

तीन प्रकार के झूठ हैं: झूठ, ज़बरदस्त झूठ और आँकड़े ( स्रोत )

ऐसी एक अद्भुत शैली है - " बुरी सलाह " जिसमें बच्चों को सलाह दी जाती है, और बच्चे, जैसा कि आप जानते हैं, सब कुछ दूसरे तरीके से करते हैं और सब कुछ सही निकलता है। क्या बाकी सब चीजों के साथ भी ऐसा ही हो सकता है?

सांख्यिकी, इन्फोग्राफिक्स, बड़ा डेटा, डेटा विश्लेषण और डेटा विज्ञान - जो अभी व्यस्त नहीं है। हर कोई जानता है कि यह सब सही तरीके से कैसे किया जाए, यह केवल किसी के लिए यह लिखना है कि यह कैसे करना है। इस लेख में, हम बस यही करेंगे।


हजेन रॉबर्ट " कर्व फिटिंग "। 1978, विज्ञान।

लेख संरचना:

1. परिचय
2. पक्षपाती नमूनाकरण (नमूनाकरण पूर्वाग्रह)
3. सही ढंग से औसत (अच्छी तरह से चुना हुआ औसत) चुनें
4. और 10 और असफल प्रयोग जिनके बारे में हमने नहीं लिखा
5. पैमाने के साथ खेल रहा है
6. 100% चुनें
7. इच्छित संख्याएँ छिपाएँ
8. दृश्य रूपक
9. गुणवत्ता दृश्य उदाहरण
10. निष्कर्ष और आगे पढ़ना

पक्षपाती नमूनाकरण (नमूनाकरण पूर्वाग्रह)

1948 में, डेवी (रिपब्लिकन) के खिलाफ ट्रूमैन (डेमोक्रेट) के चुनाव परिणामों की घोषणा की रात संयुक्त राज्य अमेरिका में राष्ट्रपति पद की दौड़ के दौरान, शिकागो ट्रिब्यून ने शायद सबसे प्रसिद्ध शीर्षक DEWEY DEFEATT TRUMAN (फोटो देखें) प्रकाशित किया। वर्गों के बंद होने के तुरंत बाद, अखबार ने एक सर्वेक्षण किया, जिसमें मतदाताओं की एक विशाल (नमूना के लिए पर्याप्त) संख्या का अनुमान लगाया गया था, और सभी ने डेवी के लिए एक बहरी जीत का चित्रण किया। फोटो में हम एक हँसते हुए ट्रूमैन को देखते हैं, जो 48 वें वर्ष के चुनावों का विजेता है। क्या गलत हो गया?



लोगों को वास्तव में यादृच्छिक रूप से और पर्याप्त संख्या में फोन किया गया था, लेकिन 48 वें वर्ष में फोन केवल एक निश्चित आय वाले लोगों के लिए उपलब्ध था और शायद ही कभी कम आय वाले लोगों में पाया गया था। इस प्रकार, मतदान पद्धति स्वयं ही मतों के वितरण का संशोधन करती है। नमूना ने ट्रूमेन मतदाताओं के एक पर्याप्त व्यापक स्तर को ध्यान में नहीं रखा (एक नियम के रूप में, डेमोक्रेट के पास गरीबों के बीच वोट का एक बड़ा हिस्सा है), जिसके लिए फोन, बदले में अनुपलब्ध था। इस नमूने को पक्षपाती ( नमूनाकरण पूर्वाग्रह ) कहा जाता है।

इस घटना के बारे में लोक कला:

ऑनलाइन वोटिंग के अनुसार, 100% लोग इंटरनेट का उपयोग करते हैं।

पूर्व छात्रों का वेतन

किसी को आश्चर्य नहीं हुआ कि जब हम विश्वविद्यालय के स्नातकों के वेतन के बारे में सुनते हैं, तो किसी कारण से ये हमेशा उच्च संख्या में होते हैं? अमेरिका में, यह अदालतों में भी आता है, जहां स्नातक दावा करते हैं कि वेतन डेटा कृत्रिम रूप से अधिक है।


( आंकड़ों के साथ झूठ की तस्वीर)

यह एक काफी पुरानी समस्या है, डेरेल हफ के अनुसार, इसी तरह का प्रश्न 24 वर्षीय येल स्नातकों के लिए उत्पन्न हुआ था। और वास्तव में, हर कोई सच कह रहा है, लेकिन सभी नहीं। आंकड़ों को चुनाव के रूप में एकत्र किया गया था (और उन वर्षों में पेपर मेल द्वारा)। सभी एक उत्तर नहीं भेजते, लेकिन सभी स्नातकों का केवल एक छोटा सा हिस्सा; जो लोग अच्छा कर रहे हैं, वे दूसरों की तुलना में अधिक सक्रिय हैं (जिसका परिणाम अक्सर अच्छा वेतन होता है), इसलिए हम केवल तस्वीर के "अच्छे" हिस्से को देखते हैं। यह नमूने का पूर्वाग्रह बनाता है और ऐसे सर्वेक्षणों के परिणामों को पूरी तरह से बेकार बना देता है।

सही ढंग से औसत (अच्छी तरह से चुना हुआ औसत) चुनें

एक ऐसी कंपनी की कल्पना करें जिसमें एक प्रबंधक 25 हजार, उसके डिप्टी 7.6 हजार, शीर्ष प्रबंधक 5.5 हजार, मध्य प्रबंधक 3.5 हजार प्रत्येक, कनिष्ठ प्रबंधक 2.5 हजार और साधारण कर्मचारी 1 प्राप्त करें। 4 हजार (सार पाउंड) प्रति माह।

और हमारा काम सकारात्मक रोशनी में कंपनी के बारे में जानकारी पेश करना है। हम कंपनी में औसत वेतन एक्स लिख सकते हैं, लेकिन इसका मतलब क्या है ? संभावित विकल्पों पर विचार करें (नीचे चित्र देखें):


( आंकड़ों के साथ झूठ की तस्वीर)

कुछ परिमित सेट X = {x _i } के अंकगणितीय माध्य समीकरण से माध्य (X) के बराबर संख्या m है:



कर्मचारी के दृष्टिकोण से यह सबसे बेकार जानकारी है - 3,472 औसत वेतन, लेकिन आपको इतना उच्च आंकड़ा कैसे मिलता है? प्रबंधन के उच्च वेतन के कारण, जो भ्रम पैदा करता है कि कर्मचारी को समान राशि मिलेगी। कर्मचारी के दृष्टिकोण से, यह मूल्य विशेष रूप से जानकारीपूर्ण नहीं है।

बेशक, लोक कला ने अंकगणित माध्य के रूप में "औसत आकार" की इस विशेषता को बाईपास नहीं किया

अधिकारी मांस खाते हैं, मैं - गोभी। औसतन, हम गोभी के रोल खाते हैं।

कुछ वितरण P (X) (X = {x _i }) का माध्यक, यह एक ऐसी मात्रा m है जिसे यह निम्न प्रकार से संतुष्ट करता है:



सीधे शब्दों में कहें, तो आधे श्रमिकों को इस मूल्य से अधिक प्राप्त होता है, और आधे से कम - बिल्कुल वितरण के बीच में! ये आँकड़े कंपनी के कर्मचारियों के लिए काफी जानकारीपूर्ण हैं, क्योंकि यह आपको यह निर्धारित करने की अनुमति देता है कि कर्मचारी का वेतन कर्मचारियों के बहुमत से कैसे संबंधित है।

परिमित सेट X = {x _i } का मोड, वह संख्या मीटर है जो X में सबसे अधिक बार होता है। इस मामले में, फैशन उस व्यक्ति के लिए सबसे अधिक जानकारीपूर्ण हो सकता है जो इस कंपनी में काम करना शुरू करने जा रहा है।

इस प्रकार, स्थिति के आधार पर, औसत मूल्य उपरोक्त मूल्यों में से किसी के रूप में समझा जा सकता है (सिद्धांत रूप में, और न केवल उनसे)। इसलिए, यह समझना महत्वपूर्ण है कि इस औसत मूल्य की गणना कैसे की जाती है।

और 10 और असफल प्रयोग जिनके बारे में हमने नहीं लिखा

आइए एक नियमित अखबार को सल्फ्यूरिक एसिड और टीवी पार्क पत्रिका को आसुत जल में गिराएं! क्या आपको फर्क महसूस हुआ? पत्रिका को कुछ नहीं हुआ - कागज नया जैसा है! (पूरा वीडियो यहां है ।)



हमारे शोध में बताया गया है कि डोके टूथपेस्ट प्रतियोगियों की तुलना में 23% अधिक प्रभावी है, सभी डॉ। कोर्निश के टूथ पाउडर की बदौलत! (जिसमें संभवतः Which-कैरोटीन और जंगल का गुप्त सूत्र - लेखक का नोट शामिल है।) आपको शायद आश्चर्य होगा, लेकिन अध्ययन ने वास्तव में किया और यहां तक ​​कि एक तकनीकी रिपोर्ट भी जारी की। और प्रयोग ने वास्तव में दिखाया कि टूथपेस्ट प्रतियोगियों की तुलना में 23% अधिक प्रभावी है (जो भी इसका मतलब है)। लेकिन क्या यह पूरी कहानी है?

वास्तव में, प्रयोग के लिए नमूना केवल एक दर्जन लोग थे (डेरेल हफ और पहले से उल्लेखित पुस्तक के अनुसार)। यह बिल्कुल नमूना है जो किसी भी परिणाम प्राप्त करने के लिए आवश्यक है! कल्पना कीजिए कि हम पांच बार एक सिक्का फ्लिप करते हैं। क्या संभावना है कि ईगल सभी पांच बार गिर जाएगा? (१/२) ^५ = १/३२। बस एक बत्तीस, यह सिर्फ एक संयोग नहीं हो सकता है अगर सभी पांच ईगल बाहर गिर जाएं, है ना? अब कल्पना करें कि हम इस प्रयोग को 50 बार दोहरा रहे हैं। इनमें से कम से कम एक प्रयास सफल होगा। हम रिपोर्ट में इसके बारे में लिखेंगे, और अन्य सभी प्रयोग कहीं भी नहीं होंगे। इस तरह हमें अत्यंत यादृच्छिक डेटा मिलता है जो हमारे कार्य में पूरी तरह से फिट बैठता है।

पैमाने के साथ खेल रहा है

मान लीजिए कल आपको एक बैठक में दिखाने की ज़रूरत है जो हमने प्रतियोगियों के साथ पकड़ी है, लेकिन संख्याओं में थोड़ा सा परिवर्तन नहीं है, तो क्या करें? चलो पैमाने को थोड़ा आगे बढ़ाएं! यहां तक ​​कि न्यूयॉर्क टाइम्स, डेटा के साथ अपने उच्च-गुणवत्ता वाले काम के लिए जाना जाता है, इस तरह के पूरी तरह से भ्रमित चार्ट (स्केल के केंद्र में 800k से 1.5 मीटर तक कूद पर ध्यान दें) जारी किया।



(उदाहरण के लिए कैसे डेटा खराब प्रदर्शित करने के लिए हावर्ड Wainer। अमेरिकी सांख्यिकीविद, 1984.)

100% चुनें

कल्पना कीजिए कि पिछले साल दूध की कीमत 10 सेंट प्रति लीटर और रोटी प्रति लीटर 10 सेंट थी। इस साल दूध की कीमत में 5 सेंट की गिरावट आई और ब्रेड में 20 की बढ़ोतरी हुई। ध्यान देने योग्य सवाल यह है कि हम क्या साबित करना चाहते हैं?

कल्पना कीजिए कि पिछले साल 100% है, गणना के लिए आधार। फिर दूध की कीमत में 50% की गिरावट आई, और रोटी में 200% की वृद्धि हुई, औसत 125%, जिसका मतलब है कि सामान्य कीमतों में 25% की वृद्धि हुई।


एक बार और प्रयास करें, वर्तमान वर्ष को 100% होने दें, इसलिए पिछले वर्ष दूध की कीमतें 200% थीं, और रोटी 50% थी। इसलिए, पिछले साल, कीमतें औसतन 25% अधिक थीं!


(ग्राफ और उदाहरण " स्टेटिक से कैसे करें " सांख्यिकी के साथ झूठ कैसे करें )

इच्छित संख्याएँ छिपाएँ

किसी चीज को छिपाने का सबसे अच्छा तरीका है ध्यान को हटाना। उदाहरण के लिए, निजी और सार्वजनिक स्कूलों (हजारों इकाइयों में) की संख्या पर निर्भरता पर विचार करें। ग्राफ से पता चलता है कि पब्लिक स्कूलों की संख्या घट रही है, और निजी स्कूलों की संख्या में महत्वपूर्ण बदलाव नहीं आया है।



वास्तव में, निजी स्कूलों की संख्या में वृद्धि सार्वजनिक स्कूलों की संख्या की पृष्ठभूमि के खिलाफ छिपी हुई है। चूंकि वे परिमाण के एक क्रम से भिन्न होते हैं, वस्तुतः कोई भी परिवर्तन पर्याप्त रूप से बड़े कदम के साथ पैमाने पर ध्यान देने योग्य नहीं होगा। हम निजी स्कूलों की संख्या को अलग-अलग करेंगे; अब हम स्पष्ट रूप से निजी स्कूलों की संख्या में उल्लेखनीय वृद्धि देखते हैं, जो पिछले चार्ट में "छिपा हुआ" था।


(उदाहरण और रेखांकन से कैसे डेटा खराब प्रदर्शित करने के लिए, हावर्ड वेनर । अमेरिकी सांख्यिकीविद, 1984।)

दृश्य रूपक

यदि आपके पास तुलना करने के लिए कुछ नहीं है, लेकिन आप वास्तव में भ्रमित करना चाहते हैं, तो यह अतुलनीय दृश्य रूपकों के लिए समय है। उदाहरण के लिए, यदि हम लंबाई के बजाय ग्राफ पर क्षेत्र को चित्रित करते हैं, तो कोई भी विकास बहुत अधिक महत्वपूर्ण होगा।

संयुक्त राज्य अमेरिका में 1970-1978 के लिए लाखों बैरल और Schlitz के शेयर बाजार में बीयर की खपत पर विचार करें (नीचे चार्ट देखें)। यह अच्छा, प्रभावशाली दिखता है। क्या यह नहीं है?



और अब इस चार्ट पर अनावश्यक "कचरा" से छुटकारा पाएं और इसे अपने सामान्य रूप में फिर से तैयार करें। पहले से ही किसी तरह इतना प्रभावशाली और गंभीर नहीं निकला।


(ग्राफ और उदाहरण जॉन पी। बोयड से, व्याख्यान नोट्स कैसे ग्राफ खराब या क्या नहीं करना है )।

पहली तस्वीर झूठ नहीं है, इसमें सभी संख्याएं सही हैं, केवल यह पूरी तरह से अलग रोशनी में डेटा प्रस्तुत करता है।


(सांख्यिकी से झूठ के साथ तस्वीर)।

गुणवत्ता दृश्य उदाहरण

उच्च गुणवत्ता वाला दृश्य सबसे पहले, परिणाम प्रस्तुत करता है, अस्पष्टता से बचता है, और एक संपीड़ित मात्रा में पर्याप्त मात्रा में जानकारी देता है। चार्ल्स-जोसेफ मिनार्ड के काम के बारे में यह अच्छी तरह से यहाँ कहा गया है :

यहां सब कुछ ठीक है, दर्शक को बेवकूफ बनाने के लिए नहीं रखा जाता है, और वे अपना समय सेंसर से चिपके हुए नहीं बिताते हैं। एक विस्तृत बेज पट्टी अभियान के प्रत्येक बिंदु पर सेना के आकार को दिखाती है। ऊपरी दाएं कोने में मॉस्को है, जहां फ्रांसीसी सेना आती है और जहां पीछे हटना शुरू होता है, एक काली पट्टी द्वारा दिखाया गया है। एक समय और तापमान अतिरिक्त ब्याज के लिए पीछे हटने के मार्ग से बंधा हुआ है।

निष्कर्ष यह है: विस्मित दर्शक शुरुआत में सेना के आकार की तुलना इस तथ्य से करता है कि वह घर लौट आया। दर्शक भावनाओं से भरा हुआ है, उसने नई चीजें सीखीं, उसने पैमाने को महसूस किया, वह मोहित हो गया, उसने महसूस किया कि उसे स्कूल में कुछ भी पता नहीं है।

(चार्ल्स जोसेफ मिनार्ड: नेपोलियन का मॉस्को से वापसी (रूसी अभियान 1812-1813), 1869)

निष्कर्ष और आगे पढ़ना

सिर से लिए गए सभी आँकड़ों का 76%

यह चयन उन तकनीकों की पूरी सूची से दूर है जो सचेत रूप से और सचेत रूप से डेटा को विकृत नहीं करती हैं। यह लेख सबसे पहले प्रदर्शित करता है कि हमें हमारे द्वारा प्रदान किए गए आँकड़ों और उनके आधार पर निकाले गए निष्कर्षों की सावधानीपूर्वक निगरानी करनी चाहिए।

आगे पढ़ने के लिए छोटी सूची:
सांख्यिकी के साथ कैसे झूठ बोलना एक अद्भुत छोटी पुस्तक है, अविश्वसनीय रूप से दिलचस्प और अच्छी तरह से लिखी गई है, एक बार में पढ़ें। मुख्य "गलतियों" का प्रदर्शन करता है जो मीडिया (और न केवल उन्हें) डेटा के साथ काम करते समय बनाते हैं।
डेटा को खराब तरीके से कैसे प्रदर्शित करें। हावर्ड वेनर द अमेरिकन स्टेटिस्टिशियन (1984) - विशिष्ट त्रुटियों और सामान्य "हानिकारक" नियमों का एक संग्रह, जो अक्सर डेटा विज़ुअलाइज़ेशन के साथ काम करता है।