🤶🏽 👓 🤙🏻 डेटा प्रीप्रोसेसिंग और मॉडल विश्लेषण 📇 🗺️ 🤽🏼

सभी को नमस्कार। पिछली पोस्ट में, मैंने कुछ बुनियादी वर्गीकरण विधियों के बारे में बात की थी। आज, अंतिम होमवर्क की बारीकियों के कारण, पद स्वयं विधियों के बारे में नहीं होगा, बल्कि डेटा प्रसंस्करण और परिणामस्वरूप मॉडल के विश्लेषण के बारे में होगा।

कार्य

सांख्यिकी विभाग, म्यूनिख विश्वविद्यालय द्वारा डेटा प्रदान किया गया था। यहां आप स्वयं डेटासेट ले सकते हैं, साथ ही डेटा का विवरण (फ़ील्ड नाम जर्मन में दिए गए हैं)। डेटा में ऋण अनुप्रयोग शामिल हैं, जहाँ प्रत्येक अनुप्रयोग 20 चर द्वारा वर्णित है। इसके अलावा, प्रत्येक आवेदन इस बात से मेल खाता है कि आवेदक को ऋण दिया गया था या नहीं। यहां आप विस्तार से देख सकते हैं कि किस चर का क्या मतलब है।

हमारा कार्य एक मॉडल का निर्माण करना था जो उस निर्णय की भविष्यवाणी करेगा जो एक या किसी अन्य आवेदक द्वारा किया जाएगा।

काश, हमारे मॉडलों के परीक्षण के लिए कोई परीक्षण डेटा और सिस्टम नहीं थे, जैसा कि यह था, उदाहरण के लिए, MNIST में किया गया। इस संबंध में, हमारे पास अपने मॉडलों को मान्य करने के संदर्भ में कल्पना की कुछ गुंजाइश थी।

डेटा पूर्व प्रसंस्करण

सबसे पहले, डेटा पर एक नज़र डालते हैं। निम्नलिखित ग्राफ हमारी उपस्थिति में उपलब्ध सभी चर के वितरण के हिस्टोग्राम को दर्शाता है। जिस क्रम में चर दिखाई देते हैं उसे स्पष्टता के लिए विशेष रूप से बदल दिया जाता है।

इन ग्राफों को देखते हुए, कई निष्कर्ष निकाले जा सकते हैं। सबसे पहले, हमारे पास अधिकांश चर व्यावहारिक रूप से श्रेणीबद्ध हैं, अर्थात, वे केवल एक जोड़ी (मान) लेते हैं। दूसरे, केवल दो (अच्छी तरह से, शायद तीन) सशर्त रूप से निरंतर चर, अर्थात् hoehe और बदल रहे हैं । तीसरा, स्पष्ट रूप से कोई उत्सर्जन नहीं है।

निरंतर चर के साथ काम करते समय, आम तौर पर बोलते हुए, उनके वितरण के प्रकार के लिए काफी क्षमा किया जा सकता है। उदाहरण के लिए, बहुमूत्रता, जब घनत्व में एक विचित्र पहाड़ी आकार होता है, जिसमें कई चोटियाँ होती हैं। चर लॉफज़िट के घनत्व के ग्राफ पर कुछ समान देखा जा सकता है। लेकिन वितरण मॉडल के फैला हुआ पूंछ निर्माण मॉडल में मुख्य सिरदर्द हैं, क्योंकि वे उनके गुणों और उपस्थिति को बहुत प्रभावित करते हैं। उत्सर्जन भी निर्मित मॉडल की गुणवत्ता को बहुत प्रभावित करते हैं, लेकिन जब से हम भाग्यशाली हैं और हमारे पास उन्हें नहीं है, मैं कुछ समय बाद उत्सर्जन के बारे में बात करूंगा।

हमारी पूंछ में लौटकर, चर और ह्वेह में परिवर्तन की एक विशेषता है: वे सामान्य नहीं हैं। यही है, वे मजबूत दाहिनी पूंछ के मद्देनजर, लॉगानॉर्मल के समान हैं। उपरोक्त सभी को देखते हुए, हमारे पास इन पूंछों को प्रीलोड करने के लिए इन चरों को प्रचारित करने का कुछ कारण है।

क्या ताकत है भाई? या ये सभी लोग चर कौन हैं?

अक्सर, एक विश्लेषण का संचालन करते समय, कुछ चर अनावश्यक होते हैं। वह, ठीक है, बिल्कुल। इसका मतलब यह है कि अगर हम उन्हें विश्लेषण से बाहर कर देते हैं, तो हमारी समस्या को हल करने में, यहां तक कि सबसे खराब स्थिति में, हम लगभग कुछ भी नहीं खो देंगे। क्रेडिट स्कोरिंग के हमारे मामले में, नुकसान से हमारा मतलब है कि वर्गीकरण में थोड़ी कमी आई है।

सबसे खराब स्थिति में यही होगा। हालांकि, अभ्यास से पता चलता है कि चर के सावधानीपूर्वक चयन के साथ, जिसे लोकप्रिय रूप से फीचर चयन के रूप में जाना जाता है, आप वास्तव में जीत सकते हैं। महत्वहीन चर मॉडल में विशेष रूप से शोर का परिचय देते हैं, परिणाम पर लगभग कोई प्रभाव नहीं पड़ता है। और जब वे बहुत कुछ करने जा रहे हैं, तो आपको अनाज को चफ से अलग करना होगा।

व्यवहार में, यह समस्या इस तथ्य के कारण उत्पन्न होती है कि जब तक डेटा एकत्र नहीं किया जाता है, तब तक विशेषज्ञ अभी भी नहीं जानते हैं कि विश्लेषण में कौन से चर सबसे महत्वपूर्ण होंगे। उसी समय, प्रयोग के दौरान और डेटा संग्रह के दौरान, कोई भी प्रयोग करने वालों को सभी चर इकट्ठा करने के लिए परेशान नहीं करता है जो कि सभी एकत्र किए जा सकते हैं। जैसे, हम वह सब कुछ एकत्र करेंगे, और विश्लेषक इसे किसी न किसी तरह से निकाल लेंगे।

आपको समझदारी से चर काटने की जरूरत है। यदि हम उदाहरण के लिए, चर गैस्टर्ब के मामले में, केवल लक्षण की उपस्थिति की आवृत्ति पर डेटा काटते हैं, तो हम जानबूझकर गारंटी नहीं दे सकते हैं कि हम एक बहुत महत्वपूर्ण विशेषता को बाहर नहीं फेंकेंगे। कुछ शाब्दिक या जैविक आंकड़ों में, यह समस्या और भी अधिक स्पष्ट है, क्योंकि आम तौर पर बहुत दुर्लभ हैं जो चर गैर-शून्य मान लेते हैं।

संकेतों के चयन के साथ समस्या यह है कि डेटा पर खींचे गए प्रत्येक मॉडल के लिए, इस मॉडल के लिए विशेष रूप से निर्मित संकेतों के चयन की कसौटी अलग-अलग होगी। उदाहरण के लिए, रैखिक मॉडल के लिए, टी-सांख्यिकी का उपयोग गुणांक के महत्व के लिए किया जाता है , और यादृच्छिक वन के लिए, पेड़ों के झरने में चर के सापेक्ष महत्व । और कभी-कभी सामान्य रूप से सुविधा का चयन मॉडल में स्पष्ट रूप से बनाया जा सकता है।

सरलता के लिए, हम एक रैखिक मॉडल में केवल चर के महत्व पर विचार करते हैं। हम बस एक सामान्यीकृत रैखिक मॉडल, जीएलएम का निर्माण करते हैं। चूंकि हमारा लक्ष्य चर एक वर्ग लेबल है, इसलिए इसका एक (सशर्त) द्विपद वितरण है। आर में glm फ़ंक्शन का उपयोग करते हुए, हम इस मॉडल का निर्माण करते हैं और इसके लिए हुड के नीचे देखते हैं, इसके लिए सारांश कहते हैं। परिणामस्वरूप, हमें निम्नलिखित प्लेट मिलती है:

हम बहुत अंतिम कॉलम में रुचि रखते हैं। यह कॉलम इस संभावना को इंगित करता है कि हमारा गुणांक शून्य है, अर्थात यह अंतिम मॉडल में कोई भूमिका नहीं निभाता है। यहाँ तारांकन गुणांक के सापेक्ष महत्व को इंगित करता है। तालिका से हम देखते हैं कि, आम तौर पर बोलना, हम बेरहमी से लगभग सभी चर को काट सकते हैं सिवाय लॉफकॉन्ट , लॉफज़िट , नैतिक और स्पार्कॉन्ट ( अवरोधन एक शिफ्ट पैरामीटर है, हमें इसकी आवश्यकता भी है)। हमने उन्हें प्राप्त आँकड़ों के आधार पर चुना, अर्थात्, ये ऐसे चर हैं जिनके लिए "टेक-ऑफ पर" आँकड़े 0.01 से कम या इसके बराबर हैं।

यदि हम मॉडल के सत्यापन के लिए अपनी आँखें बंद करते हैं, तो यह मानते हुए कि रैखिक मॉडल हमारे डेटा की निगरानी नहीं करता है, हम अपनी परिकल्पना की वैधता को सत्यापित कर सकते हैं। अर्थात्, हम सभी डेटा पर दो मॉडलों की सटीकता का परीक्षण करते हैं: 4 चर वाला मॉडल और 20 वाला मॉडल। 20 चर के लिए, वर्गीकरण सटीकता 77.1% होगी, जबकि 4 चर, 76.1% के साथ एक मॉडल के लिए। जाहिर है, बहुत खेद नहीं है।

यह दिलचस्प है कि हमने जिन चरों को प्रचारित किया था, वे मॉडल को प्रभावित नहीं करते थे। कभी भी प्रोलेगैरिथिक होने के साथ-साथ प्रोलेगैरिथमिक डेज़हेड्स, महत्व में भी 0.1 तक नहीं पहुंचे।

के विश्लेषण

हमने स्किकिट का उपयोग करते हुए पायथन में खुद को क्लासिफायर बनाने का फैसला किया। विश्लेषण में, हमने उन सभी मुख्य क्लासिफायर का उपयोग करने का फैसला किया जो स्किटिट प्रदान करता है, किसी तरह अपने हाइपरपैरमीटर के साथ खेल रहा है। यहाँ क्या शुरू किया गया था की एक सूची है:

लेख के अंत में - इन एल्गोरिदम को लागू करने वाले वर्गों पर प्रलेखन के लिए लिंक।

चूंकि हमारे पास आउटपुट को स्पष्ट रूप से परीक्षण करने की क्षमता नहीं थी, इसलिए हमने क्रॉस-वैरिफिकेशन विधि का उपयोग किया। हमने गुनाओं की संख्या के रूप में 10 लिया। नतीजतन, हम सभी 10 सिलवटों से वर्गीकरण सटीकता का औसत मूल्य प्राप्त करते हैं।
कार्यान्वयन बहुत पारदर्शी है।

कोड देखें

from sklearn.externals import joblib from sklearn import cross_validation from sklearn import svm from sklearn import neighbors from sklearn.ensemble import GradientBoostingClassifier from sklearn.ensemble import RandomForestClassifier from sklearn.linear_model import LogisticRegression import numpy as np def avg(x): s = 0.0 for t in x: s += t return (s/len(x))*100.0 dataset = joblib.load('kredit.pkl') #   ,    target = [x[0] for x in dataset] target = np.array(target) train = [x[1:] for x in dataset] numcv = 10 #  glm = LogisticRegression(penalty='l1', tol=1) scores = cross_validation.cross_val_score(glm, train, target, cv = numcv) print("Logistic Regression with L1 metric - " + ' avg = ' + ('%2.1f'%avg(scores))) linSVM = svm.SVC(kernel='linear', C=1) scores = cross_validation.cross_val_score(linSVM, train, target, cv = numcv) print("SVM with linear kernel - " + ' avg = ' + ('%2.1f'%avg(scores))) poly2SVM = svm.SVC(kernel='poly', degree=2, C=1) scores = cross_validation.cross_val_score(poly2SVM, train, target, cv = numcv) print("SVM with polynomial kernel degree 2 - " + ' avg = ' + ('%2.1f' % avg(scores))) rbfSVM = svm.SVC(kernel='rbf', C=1) scores = cross_validation.cross_val_score(rbfSVM, train, target, cv = numcv) print("SVM with rbf kernel - " + ' avg = ' + ('%2.1f'%avg(scores))) knn = neighbors.KNeighborsClassifier(n_neighbors = 1, weights='uniform') scores = cross_validation.cross_val_score(knn, train, target, cv = numcv) print("kNN 1 neighbour - " + ' avg = ' + ('%2.1f'%avg(scores))) knn = neighbors.KNeighborsClassifier(n_neighbors = 5, weights='uniform') scores = cross_validation.cross_val_score(knn, train, target, cv = numcv) print("kNN 5 neighbours - " + ' avg = ' + ('%2.1f'%avg(scores))) knn = neighbors.KNeighborsClassifier(n_neighbors = 11, weights='uniform') scores = cross_validation.cross_val_score(knn, train, target, cv = numcv) print("kNN 11 neighbours - " + ' avg = ' + ('%2.1f'%avg(scores))) gbm = GradientBoostingClassifier(learning_rate = 0.001, n_estimators = 5000) scores = cross_validation.cross_val_score(gbm, train, target, cv = numcv) print("Gradient Boosting 5000 trees, shrinkage 0.001 - " + ' avg = ' + ('%2.1f'%avg(scores))) gbm = GradientBoostingClassifier(learning_rate = 0.001, n_estimators = 10000) scores = cross_validation.cross_val_score(gbm, train, target, cv = numcv) print("Gradient Boosting 10000 trees, shrinkage 0.001 - " + ' avg = ' + ('%2.1f'%avg(scores))) gbm = GradientBoostingClassifier(learning_rate = 0.001, n_estimators = 15000) scores = cross_validation.cross_val_score(gbm, train, target, cv = numcv) print("Gradient Boosting 15000 trees, shrinkage 0.001 - " + ' avg = ' + ('%2.1f'%avg(scores))) #     -  forest = RandomForestClassifier(n_estimators = 10, n_jobs = 1) scores = cross_validation.cross_val_score(forest, train, target, cv=numcv) print("Random Forest 10 - " +' avg = ' + ('%2.1f'%avg(scores))) forest = RandomForestClassifier(n_estimators = 50, n_jobs = 1) scores = cross_validation.cross_val_score(forest, train, target, cv=numcv) print("Random Forest 50 - " +' avg = ' + ('%2.1f'%avg(scores))) forest = RandomForestClassifier(n_estimators = 100, n_jobs = 1) scores = cross_validation.cross_val_score(forest, train, target, cv=numcv) print("Random Forest 100 - " +' avg = '+ ('%2.1f'%avg(scores))) forest = RandomForestClassifier(n_estimators = 200, n_jobs = 1) scores = cross_validation.cross_val_score(forest, train, target, cv=numcv) print("Random Forest 200 - " +' avg = ' + ('%2.1f'%avg(scores))) forest = RandomForestClassifier(n_estimators = 300, n_jobs = 1) scores = cross_validation.cross_val_score(forest, train, target, cv=numcv) print("Random Forest 300 - " +' avg = '+ ('%2.1f'%avg(scores))) forest = RandomForestClassifier(n_estimators = 400, n_jobs = 1) scores = cross_validation.cross_val_score(forest, train, target, cv=numcv) print("Random Forest 400 - " +' avg = '+ ('%2.1f'%avg(scores))) forest = RandomForestClassifier(n_estimators = 500, n_jobs = 1) scores = cross_validation.cross_val_score(forest, train, target, cv=numcv) print("Random Forest 500 - " +' avg = '+ ('%2.1f'%avg(scores)))

अपनी स्क्रिप्ट लॉन्च करने के बाद, हमें निम्नलिखित परिणाम मिले:

मापदंडों के साथ विधि	4 चर पर औसत सटीकता	20 चर पर औसत सटीकता
लॉजिस्टिक रिग्रेशन, एल 1 मैट्रिक	75.5	75.2
रैखिक कर्नेल के साथ एसवीएम	73.9	74.4
बहुपद कर्नेल के साथ एसवीएम	72.6	74.9
Rbf कर्नेल के साथ एसवीएम	74.3	74.7
केएनएन 1 पड़ोसी	68.8	61.4
kNN 5 पड़ोसी	72.1	65.1
kNN 11 पड़ोसी	72.3	68.7
ग्रेडिएंट बूस्टिंग 5000 पेड़ 0.001 सिकुड़ते हैं	75.0	77.6
ग्रेडिएंट बूस्टिंग 10000 पेड़ सिकुड़ते 0.001	73.8	77.2
15000 पेड़ों के सिकुड़ने को धीरे-धीरे कम करते हुए 0.001	73.7	76.5
बेतरतीब जंगल १०	72.0	71.2
यादृच्छिक वन 50	72.1	75.5
बेतरतीब जंगल 100	71.6	75.9
यादृच्छिक वन २००	71.8	76.1
रेडोम वन 300	72.4	75.9
बेतरतीब जंगल 400	71.9	76.7
बेतरतीब जंगल 500	72.6	76.2

अधिक स्पष्ट रूप से, उन्हें निम्नलिखित चार्ट के साथ कल्पना की जा सकती है:

4 चर पर सभी मॉडलों के लिए औसत सटीकता 72.7 है
सभी-सभी चरों पर सभी मॉडलों के लिए औसत सटीकता 73.7 है
लेख की शुरुआत में भविष्यवाणी की गई विसंगति को इस तथ्य से समझाया जाता है कि उन परीक्षणों को एक अलग ढांचे पर किया गया था।

निष्कर्ष

हमारे मॉडलों के सटीकता परिणामों को देखते हुए, हम कुछ दिलचस्प निष्कर्ष निकाल सकते हैं। हमने विभिन्न मॉडल, रैखिक और गैर-रेखीय का एक पैकेट बनाया। नतीजतन, ये सभी मॉडल डेटा पर लगभग समान सटीकता दिखाते हैं। यही है, रैखिक मॉडल की तुलना में आरएफ और एसवीएम जैसे मॉडल सटीकता में महत्वपूर्ण लाभ नहीं देते थे। यह इस तथ्य के कारण सबसे अधिक संभावना है कि प्रारंभिक डेटा लगभग निश्चित रूप से कुछ प्रकार के रैखिक निर्भरता द्वारा उत्पन्न किया गया था।

इसका नतीजा यह है कि इस डेटा का सटीकता के लिए जटिल विशाल तरीकों जैसे कि रैंडम फॉरेस्ट, एसवीएम या ग्रैडिएंट बूस्टिंग से कोई मतलब नहीं है। यही है, इस डेटा में पकड़ा जा सकता है कि सब कुछ पहले से ही रैखिक मॉडल द्वारा पकड़ा गया था। अन्यथा, यदि डेटा में स्पष्ट गैर-निर्भरताएं थीं, तो सटीकता में यह अंतर अधिक महत्वपूर्ण होगा।

यह हमें बताता है कि कभी-कभी डेटा उतना जटिल नहीं है जितना लगता है, और बहुत जल्दी आप वास्तविक अधिकतम पर आ सकते हैं जो आप इसे से बाहर निकाल सकते हैं।

इसके अलावा, लक्षणों के चयन का उपयोग करके बहुत कम डेटा से, हमारी सटीकता व्यावहारिक रूप से प्रभावित नहीं हुई थी। यही है, इस डेटा के लिए हमारा समाधान न केवल सरल (सस्ता-हंसमुख) था, बल्कि कॉम्पैक्ट भी था।

प्रलेखन

लॉजिस्टिक रिग्रेशन (हमारा GLM केस)
SVM
KNN
बेतरतीब जंगल
धीरे-धीरे बढ़ाने वाला

इसके अलावा, यहां क्रॉस-वैलिडेशन के साथ काम करने का एक उदाहरण है ।

इस लेख को लिखने में मदद के लिए, गेमचैंगर्स से डेटा माइनिंग ट्रैक के लिए धन्यवाद, साथ ही साथ अलेक्सई नैटकिन को भी।

डेटा प्रीप्रोसेसिंग और मॉडल विश्लेषण