चलो एनएएस को ठीक करते हैं

अक्सर, अपूर्ण डेटा सेट पाए जाते हैं जिसमें कुछ चर परिभाषित नहीं होते हैं। आर में, ऐसे चरों की सामग्री को "उपलब्ध नहीं है," या संक्षेप में NA के रूप में परिभाषित किया गया है। तदनुसार, सवाल उठता है, अनिश्चित मूल्यों के साथ क्या करना है: क्या किसी भी तरह से इसे अनदेखा या समायोजित करने के लिए लायक है?

आइए इस समस्या के कुछ पहलुओं की जाँच करें एक डेटा सेट के उदाहरण का उपयोग करके जो लगभग एक क्लासिक बन गया है, जिसे टाइटैनिक: मशीन लर्निंग से डिजास्टर प्रतियोगिता से लिया गया है। आवश्यक डेटा को कागले वेबसाइट से या आर टूल्स (लिनक्स के तहत काम करता है) का उपयोग करके मैन्युअल रूप से डाउनलोड किया जा सकता है:

आइए देखें कि फाइल की सामग्री क्या है:

सेट में 891 लाइनें और 866 अपरिभाषित चर हैं, जो स्पष्ट रूप से निम्नलिखित ग्राफ को दर्शाता है:

दो सरल उपाय

पहला समाधान आलसी के लिए है: व्यावहारिक रूप से कुछ भी नहीं करना है, क्योंकि R में कई कार्यों के पास तर्क है na.rm, जो TRUE के मान को सेट करता है, हम डेटा के साथ कुछ करने से पहले R को केवल NA हटाते हैं। अन्य कार्यों में na.action पैरामीटर है, जो ऐसे मान ले सकता है:
यदि डेटा में NA मौजूद है तो na.fail - एक त्रुटि लौटाएँ।
na.omit, na.exclude - मान NA के साथ सभी चर हटाएं।
na.pass - डेटा को वैसे ही छोड़ दें।
वास्तव में, यदि हमें टाइटैनिक के यात्रियों की औसत आयु की गणना करने की आवश्यकता है, तो हम यह कर सकते हैं:

 median(train$Age, na.rm=T) [1] 28 

दूसरा समाधान, सामान्य रूप से, पहले से निम्नानुसार है - सभी अनिश्चित मूल्यों से डेटा को पहले से साफ़ करने के लिए और अब उनके बारे में न सोचें:

 train.nopain <- na.omit(train) nrow(train.nopain) [1] 183 sum(is.na(train.nopain)) [1] 0 median(train.nopain$Age) [1] 36 

जैसा कि आप देख सकते हैं, NA के साथ, 708 लाइनें भी वाष्पित हो गई हैं। यह डरावना नहीं है अगर हम विशेष रूप से परिणाम में रुचि नहीं रखते हैं, लेकिन यह अन्य विकल्पों पर विचार करने के लायक है।

हम उपलब्ध साधनों का उपयोग करते हैं

एक स्वीकार्य विकल्प एनए को कुछ पूर्व-चयनित मूल्य के साथ बदलना है; यह आमतौर पर औसत या मंझला है। ऐसा करने के लिए, हम एक सरल कार्य लिखते हैं:

 simpleFix <- function(x, imputeFn=mean){ return(ifelse(is.na(x), imputeFn(x, na.rm=TRUE), x)) } train.median <- train nas.idx <- which(is.na(train.median$Age)) train.median$Age <- simpleFix(train.median$Age, median) 

 head(train.median$Age[nas.idx]) [1] 28 28 28 28 28 28 

सभी अपरिभाषित आयु मानों को अब माध्यिका द्वारा बदल दिया जाता है। कभी-कभी यह औसत या औसतन कुछ स्थिति के साथ गणना करने के लिए समझ में आता है। उदाहरण के लिए, यदि हम पहली श्रेणी के केबिन में रहने वाले पुरुष यात्री के लिए आयु के NA क्षेत्र को समायोजित करते हैं, तो इस परिस्थिति को ध्यान में रखते हुए औसत की गणना की जानी चाहिए:

 fixAge <- function(tdf, imputeFn=mean) { tdf$Age[is.na(tdf$Age)] <- sapply(which(is.na(tdf$Age)), function(i) imputeFn(tdf$Age[tdf$Pclass == tdf$Pclass[i] & tdf$Sex == tdf$Sex[i]], na.rm=T)) return(tdf) } nas.idx <- which(is.na(train$Age)) train.cond <- fixAge(train, median) 

 head(train.cond$Age[nas.idx]) [1] 25.0 30.0 21.5 25.0 21.5 25.0 

यह ध्यान देने योग्य है कि किसी माध्य या माध्य के साथ अनिश्चित मानों को प्रतिस्थापित करने से डेटा विचरण में कमी आती है। इस विधि को थोड़ा कम (और जटिल) विलक्षण अपघटन (एसवीडी) का उपयोग करके और निम्न रैंक के मैट्रिक्स द्वारा सन्निकटन किया जा सकता है । इस स्थिति में, अनिश्चित मानों को पहले साधनों से बदल दिया जाता है, फिर मूल मैट्रिक्स को निम्न श्रेणी के मैट्रिक्स द्वारा अनुमानित किया जाता है, और अनिश्चित मानों को प्रतिस्थापित किया गया जो अपघटन से लिए गए मानों द्वारा प्रतिस्थापित किए जाते हैं। सन्निकटन प्रक्रिया को कई बार दोहराया जाता है; ऐसा करने के लिए, हमें अनुमानित रैंक और अग्रिम में चरणों की संख्या निर्धारित करने की आवश्यकता है। 15 अपरिभाषित मूल्यों के साथ 10x10 यादृच्छिक मैट्रिक्स के साथ कुछ गोलाकार उदाहरण पर विचार करें।

 k <- 6 #    n.iters <- 10 nrows <- 10 set.seed(100500) train.mat <- runif(nrows * nrows) train.mat[sample(1:length(train.mat), 15)] <- NA train.mat <- matrix(train.mat, nrows) #     15 NA  nas.idx <- which(is.na(train.mat)) train.svd <- train.mat train.svd <- apply(train.svd, 2, simpleFix) #  NA     for (i in 1:n.iters){ s <- svd(train.svd, k, k) train.svd[nas.idx] <- (s$u %*% diag(s$d[1:k], nrow=k, ncol=k) %*% t(s$v))[nas.idx] } 

 head(train.svd[nas.idx]) [1] 0.3020229 0.4475467 0.3114711 0.7161445 0.4379184 0.6734933 

गैर-संख्यात्मक मूल्यों के साथ क्या करना है

यदि आप ध्यान से Embarked क्षेत्र पर विचार करते हैं, तो आपको 2 अपरिभाषित मान मिलेंगे। एक प्रसंस्करण विकल्प नमूने पर आधारित है:

 fixSample <- function(x) { x[is.na(x)] <- sample(x, sum(is.na(x)), replace = T) return(x) } set.seed(111) nas.idx <- which(is.na(train.cond$Embarked)) train.cond$Embarked <- fixSample(train.cond$Embarked) 

 train.cond$Embarked[nas.idx] [1] SC Levels: CQS sum(is.na(train.cond$Embarked)) [1] 0 

दरअसल, नमूना एक काफी सामान्य तरीका है, और आधुनिक सांख्यिकीविदों के साथ बहुत लोकप्रिय है।

अधिक सार्वभौमिक दृष्टिकोण

आर ने विभिन्न मॉडलों के निर्माण के लिए उपकरण विकसित किए हैं - साधारण रैखिक प्रतिगमन से 3 बी तकनीक (बैगिंग, बूस्टिंग, सम्मिश्रण) के लिए। आइए एक फ़ंक्शन लिखें जो अपरिभाषित चर की गणना करने के लिए रैंडम फ़ॉरेस्ट का उपयोग करता है; हम कुछ पैसेंजरआईड, नाम, टिकट, केबिन चर भी हटा देंगे (ईमानदार होने के लिए, मुझे उनके लिए एक अच्छा उपयोग नहीं मिला है, और केबिन क्षेत्र में बहुत सारे अस्पष्ट मान हैं कि "जोड़ने" का कोई मतलब नहीं है)। यदि randomForest पैकेज स्थापित नहीं है, तो install.packages("randomForest") R इसे CRAN से स्थापित करेगा।

 fixNA <- function(y, x) { require(randomForest) fixer <- randomForest(x[!is.na(y), ], y[!is.na(y)]) y[is.na(y)] <- predict(fixer, x[is.na(y), ]) return(y) } set.seed(111) train.rf <- subset(train, select=-c(PassengerId, Name, Ticket, Cabin)) ageNA.idx <- which(is.na(train.rf$Age)) embNA.idx <- which(is.na(train.rf$Embarked)) sum(is.na(train.rf)) train.rf$Age <- fixNA(train.rf$Age, cbind(train.rf$Pclass, train.rf$Sex, train.rf$Parch)) train.rf$Embarked <- fixNA(train.rf$Embarked, cbind(train.rf$Pclass, train.rf$Sex, train.rf$Parch)) 

 head(train.rf$Age[ageNA.idx]) [1] 29.65873 31.67546 26.64918 29.65873 26.64918 29.65873 head(train.rf$Embarked[embNA.idx]) [1] SS sum(is.na(train.rf)) [1] 0 

इस रूप में, डेटा अधिक विस्तृत विश्लेषण के लिए लगभग तैयार है।

निष्कर्ष

अपूर्ण डेटा के साथ काम करते समय कई दृष्टिकोण और विधियां हैं - समस्या तुच्छ से दूर है। सीआरएएन में, विशेष रूप से, एनए मूल्यों (उदाहरण के लिए, Amelia , imputation ) के प्रसंस्करण के लिए विशेष पैकेज हैं, और अन्य चीजों के अलावा, एनए को हेरफेर करने की अनुमति देते हैं ( Hmisc पैकेज में काम करते हैं, rfImpute से randomForest )। एक्सपेक्टेशन मैक्सिमाइजेशन एल्गोरिथ्म पर आधारित एक विधि द्वारा एक अलग विचार की आवश्यकता है।

सन्दर्भ और साहित्य

1. लापता डेटा के साथ काम करना
2. डेटा प्रतिष्ठा
3. गुम डेटा और लघु-क्षेत्र का अनुमान: सर्वेक्षण सांख्यिकीविद् के लिए आधुनिक विश्लेषणात्मक उपकरण। निकोलस टी। लॉन्गफोर्ड।