R. भाग 2 में सांख्यिकीय परीक्षण: गुणात्मक डेटा परीक्षण

यह लेख पहले भाग की एक निरंतरता है। लेखों की इस श्रृंखला में, मैं आम सांख्यिकीय समस्याओं को हल करने के लिए तेजी से लोकप्रिय प्रोग्रामिंग भाषा आर के उपयोग पर चर्चा करता हूं।

इस और अगले लेख में, मैं दिखाता हूं कि गुणात्मक और मात्रात्मक डेटा को संसाधित करने के लिए सही परीक्षणों का चयन कैसे करें और उन्हें आर में लागू करें। ये विधियां आपको किसी भी पैरामीटर द्वारा किसी वस्तु, प्रक्रिया या घटना का वास्तविक विचार प्राप्त करने की अनुमति देती हैं, अर्थात्। आपको अच्छा या बुरा कहने दें। उन्हें प्रोग्रामिंग और सांख्यिकी के गहन ज्ञान की आवश्यकता नहीं होगी, और विभिन्न प्रकार की गतिविधियों के लोगों के लिए उपयोगी होगा।

में रुचि रखते हैं? बिल्ली में आपका स्वागत है!

भाग 1: बाइनरी वर्गीकरण
भाग 3: मात्रात्मक डेटा टेस्ट

शुरू करने से पहले, मैं एक महत्वपूर्ण बिंदु बनाऊंगा। सबसे कठिन हिस्सा यह चुन रहा है कि डेटा का विश्लेषण कैसे किया जाए। आर एक उपकरण है, वह सब कुछ करेगा जो आप उसे बताएंगे। लेकिन अगर आप गलत तरीका लागू करते हैं, तो आपके परिणाम समझ में नहीं आएंगे।

सिद्धांत की बिट

परीक्षण का उपयोग दो यादृच्छिक चर की तुलना करने के लिए किया जाता है, अर्थात। उनके बीच अंतर की उपस्थिति या अनुपस्थिति को साबित करें। मूल विचार यह है कि औसत मान और मानक विचलन के बीच अंतर की तुलना की जाती है।

आंकड़ों में, वे तथाकथित गिटपॉथेस के साथ काम करते हैं। उनमें से केवल दो हैं। बेसिक, H0, कि कोई अंतर नहीं है:

वैकल्पिक, H1, मूल्यों का अंतर:

परिकल्पना प्रपत्र X1 <x2 का हो सकता है, और फिर आपको एक तरफ़ा परीक्षणों का उपयोग करना होगा। लेकिन व्यवहार में यह अत्यंत दुर्लभ है।

पहली तरह की त्रुटि को निर्दिष्ट करना भी आवश्यक है, α। मैंने इसका उल्लेख पिछले लेख में (1 - संवेदनशीलता) द्विपद वर्गीकरण के लिए किया था। यह त्रुटि है जिसके साथ हम H1 की भविष्यवाणी करते हैं। मानक α 5% है।

प्रत्येक आउटपुट परीक्षण 2 मान देता है: परीक्षण आँकड़े और पी-मूल्य, जो अनिवार्य रूप से एक ही बात है। संक्षेप में बताएं कि यह क्या है। जैसा कि हम जानते हैं, विश्वास अंतराल (यानी, एक अंतराल जिसमें एक यादृच्छिक चर किसी दिए गए प्रायिकता के साथ है), जिसे हम H0 के लिए बनाएंगे, सूत्र द्वारा दर्शाया गया है:

जहां x औसत मान है, value मानक विचलन है।
ile वितरण की मात्रा का उपयोग किया जाता है, अर्थात एक कारक जो किसी दिए गए प्रायिकता के अंतराल से मेल खाता है। α पहली तरह की त्रुटि है, अर्थात संभावना है कि एक्स अंतराल के बाहर गिर जाएगा।

परीक्षण में एक वैकल्पिक परिकल्पना का x मान है। परीक्षण के आँकड़े इसे परिमाण आयाम में, और संभाव्यता आयाम में पी-मान से चिह्नित करते हैं। यदि पी-मान α से कम है, या परीक्षण आँकड़ा मात्रात्मक से बड़ा है, तो वैकल्पिक परिकल्पना इस सीमा के बाहर है। इस मामले में, त्रुटि अल्फा की संभावना के साथ, हम एच 1 को स्वीकार करते हैं, क्योंकि हम मानते हैं कि परीक्षण किया गया मान H0 से संबंधित नहीं हो सकता है। परीक्षण के आँकड़े और पी-मूल्य परीक्षण के परिणाम हैं।

यदि हम एक विश्वास अंतराल का निर्माण करते हैं, तो हम अनिवार्य रूप से एक ही चीज प्राप्त करते हैं। शायद कई और अधिक प्राकृतिक होंगे। फिर भी, परीक्षण को पी-मूल्य के सिद्धांत पर व्यवस्थित किया जाता है, चलो उनका उपयोग करते हैं और एक वैचारिक स्तर पर इसके बारे में नहीं सोचते हैं (विशेषकर जब से लोग यह सब अपने जीवन भर कर रहे हैं, जाहिर है, इसे उसी तरह से करने की आवश्यकता है)।

कार्यप्रणाली का चुनाव

यदि दोनों मान समान ऑब्जेक्ट से प्राप्त किए जाते हैं, तो डेटा को युग्मित किया जाता है। उदाहरण के लिए, परिणामों की तुलना "पहले और बाद में" या एक ही डेटा पर दो एल्गोरिदम का उपयोग करना। यह स्पष्ट है कि जोड़ी परीक्षण कम कठोर है, अर्थात। प्रभाव एक छोटे नमूने के साथ साबित किया जा सकता है।

डेटा चरणों

आपने पहचान लिया है कि आप किसके साथ काम कर रहे हैं। आगे क्या करना है। यहाँ कुछ काम एल्गोरिथ्म है।

• विवरण। औसत मूल्य, मानक विचलन, प्लॉट वितरण ग्राफ प्राप्त करें
• निर्णय लेना
  
  • उपयुक्त परीक्षण
  • एक विश्वास अंतराल प्राप्त करना (आर परीक्षणों में शामिल है)
  
  

गुणवत्ता डेटा प्रसंस्करण

गुणात्मक डेटा हाँ और नहीं है। आवेदन के उदाहरण: बिक्री के तथ्य पर दो तरीकों / एल्गोरिदम / कंपनी विभागों के काम की तुलना करना, फेफड़ों के कैंसर / विज्ञापन पाठ पर कंप्यूटर संक्रमण / धूम्रपान पर एंटीवायरस की उपस्थिति के प्रभाव का पता लगाना। इस डेटा के लिए एक द्विपद वितरण कार्य करता है।

एक उदाहरण के रूप में, मैंने कुछ सार द्विआधारी डेटा लिया, प्रत्येक 25 तत्वों के दो समूह। प्रत्येक तत्व 0 या 1 है। हम उनके साथ काम करेंगे, जैसा कि मैंने ऊपर बताया है: पहले, हम इस डेटा को खूबसूरती से प्रस्तुत करेंगे (हो सकता है कि इसके बाद कोई परीक्षण की आवश्यकता नहीं होगी), फिर हम इसका विश्लेषण करेंगे।

उदाहरण के लिए, हम पहले नमूने के लिए द्विपद वितरण का निर्माण करते हैं, यह मानते हुए कि संभाव्यता मूल्य सत्य है। इस प्रकार, हमें उपलब्ध डेटा के आधार पर एक यादृच्छिक चर का व्यवहार कैसे करना चाहिए।

tab <- read.csv(file="data1.csv", header=TRUE, sep=",", dec=".") attach(tab) tab x1 <- X[Group==1] x2 <- X[Group==2] library(graphics) n <- length(x1) p1 <- mean(x1) k <- seq(0, n, by = 1) plot (k, dbinom(k, n, p), type = "l", ylab = "probability", main = "Binominal distribution") 

यदि हम इसकी संभावना में रुचि रखते हैं:

 plot (k/n, dbinom(k, n, p), type = "l", ylab = "probability", main = "Binominal distribution") 

डेटा का वर्णन करने के लिए, प्रत्येक समूह के लिए एक आत्मविश्वास अंतराल के साथ एक औसत संभावना प्रस्तुत करना आवश्यक है। संभावना घनत्व समारोह इस प्रकार है:


आर में, बिनोम लाइब्रेरी हमारी मदद करेगी। इसे स्थापित करने के बाद, हम कोड का उपयोग करते हैं:

 library(binom) binom.confint(sum(x1), n, conf.level = 0.95, methods = "exact") binom.confint(sum(x2), n, conf.level = 0.95, methods = "exact") 

पहले से ही, हम यह निष्कर्ष निकाल सकते हैं कि हालांकि औसत मूल्यों में अंतर महत्वपूर्ण है, आत्मविश्वास अंतराल अंतर है, जो आमतौर पर ऐसे छोटे नमूनों के लिए अपेक्षित था। मैं यह भी ध्यान देता हूं कि यदि आपने उपरोक्त सूत्र के बारे में सोचा है, तो आपको अन्य परिणाम मिलेंगे। इस गणना में, सटीक विधि का उपयोग किया जाता है, जबकि सूत्र अनुमानित है। बढ़ते नमूने के साथ अंतर कम हो जाता है।

ची-स्क्वायर परीक्षण का उपयोग कई द्विपद नमूनों का विश्लेषण करने के लिए किया जाता है। यह आम है क्योंकि अपने हाथों से पकड़ना आसान है।

 chisq.test(x1,x2) 

हमें चेतावनी दी गई थी। तथ्य यह है कि ची-स्क्वायर परीक्षण अनुमानित है (हालांकि यहां भी आर अतिरिक्त सुधार का उपयोग करता है, यदि आवश्यक हो तो इसे बंद कर दिया जा सकता है)। छोटे नमूनों के लिए, यह एक त्रुटि देता है। एक और अधिक जटिल, लेकिन बिल्कुल सटीक परीक्षण है, कुछ मापदंडों की अज्ञातता को ध्यान में रखते हुए, ची-स्क्वायर परीक्षण के लिए बेहिसाब। यह फिशर टेस्ट है।

 fisher.test(x1, x2) 

P मान 9.915% है, जो 5% से अधिक है। इसलिए, हम परिकल्पना H0 को छोड़ देते हैं - मात्राओं के बीच कोई अंतर नहीं है।

आप इन परीक्षणों के लिए कई समूह ले सकते हैं। इस मामले में, H1 दूसरों से कम से कम एक समूह के अंतर को प्रतिबिंबित करेगा।

परिणाम

इससे यह लेख समाप्त होता है। आज मैंने परीक्षण का उपयोग करने के तरीके, एक उपयुक्त परीक्षण का चयन कैसे करें, और गुणात्मक डेटा के विश्लेषण, ची-स्क्वायर परीक्षण और फ़िशर परीक्षण के उपयोग के बारे में विस्तार से जांच की। R से अधिक पाठ था, लेकिन आसपास कोई नहीं था। अगले में, मैं मात्रात्मक नमूनों के विश्लेषण पर आगे बढ़ूंगा।

नमूना फ़ाइलें

PS मुझे टिप्पणियों में संपादन, परिवर्धन और वैकल्पिक बिंदुओं की प्रतीक्षा है।