पायथन और स्किटिट का उपयोग करते हुए लिखावट की पहचान

नमस्कार। निश्चित रूप से कई मशीन सीखने के तरीकों में रुचि रखते हैं और विभिन्न समस्याओं को हल करते हैं जो पारंपरिक दृष्टिकोण से हल नहीं होते हैं। हाल ही में, मैं भाग्यशाली था कि मैं डाटा माइनिंग कोर्स में भाग लेने के लिए आया , जो गेमचैन्जर्स कार्यक्रम के हिस्से के रूप में आयोजित किया गया था। डिजिट रिकॉग्निज़र की समस्या को हल करने के लिए पहला होमवर्क काग्ले को प्रस्तुत करना था।

संक्षेप में डेटा के बारे में

प्रशिक्षण डेटा एक सीएसवी-टेबल है, जिसके पहले कॉलम में लिखित संख्याओं के संख्यात्मक मान हैं, बाकी में व्यक्तिगत पिक्सल (काले और सफेद चित्रों) के 784 संतृप्ति मूल्य हैं। परीक्षण डेटा एक ही तालिका है, लेकिन पहले से ही जवाब के बिना।

तरीकों

• बेतरतीब जंगल
• kNN विधि
• द्विघात कोर एसवीएम
• घन कोर एसवीएम
• विधि पहनावा

पाइकॉन में सभी गणना स्कैचिट लाइब्रेरी का उपयोग करके की गई थी , वितरण और ट्यूटोरियल के लिंक नीचे संलग्न हैं।

मैं यहां जानबूझकर उन अनुकूलन के बारे में नहीं बता रहा हूं जो कि इस्तेमाल किए गए एल्गोरिदम पर किए जाने चाहिए थे, क्योंकि अन्यथा होमवर्क के बारे में पोस्ट एक सार तक बढ़ जाएगी।

बेतरतीब जंगल

एल्गोरिदम का आइडिया

रैंडम फ़ॉरेस्ट निर्णायक पेड़ों का एक समूह का उपयोग करता है। निर्णय वृक्ष स्वयं इस कार्य के लिए पर्याप्त सटीकता प्रदान नहीं करता है, लेकिन निर्माण की गति में भिन्न होता है। आरएफ एल्गोरिथ्म प्रत्येक पेड़ (हमारे मामले में, पैरामीटर अलग-अलग पिक्सेल की चमक हैं) के लिए यादृच्छिक रूप से चुने गए मापदंडों पर कश्मीर निर्णय पेड़ों को प्रशिक्षित करता है, जिसके बाद प्रत्येक परीक्षण प्रशिक्षित पहनावा के बीच मतदान किया जाता है। इस एल्गोरिथ्म के निर्माण का आधार यह विचार है कि यदि आप बड़ी संख्या में विभिन्न कमजोर एल्गोरिदम से डेटा एकत्र करते हैं, उन्हें एक ही उत्तर में कम करते हैं, तो परिणाम एक शक्तिशाली एल्गोरिदम से बेहतर होने की संभावना है।

कार्यान्वयन

from numpy import savetxt, loadtxt # - csv- from sklearn.ensemble import RandomForestClassifier #      from sklearn.externals import joblib #   #         dataset = loadtxt(open('train.csv', 'r'), dtype='f8', delimiter=',', skiprows=1) joblib.dump(dataset, 'training_set.pkl') dataset = joblib.load('training_set.pkl') #     test = loadtxt(open('test.csv', 'r'), dtype='f8', delimiter=',', skiprows=1) joblib.dump(test, 'test_set.pkl') test = joblib.load('test_set.pkl') # n_estimators -    , n_jobs -  ,     forest = RandomForestClassifier(n_estimators = 1000, n_jobs = 4) #        target = [x[0] for x in dataset] # train = [x[1:] for x in dataset] forest.fit(train, target) #  # predict()    (   numpy),    -  1x28000,      csv- savetxt('answer.csv', forest.predict(test), delimiter=',', fmt='%d') 

सारांश

चार कोर पर, प्रशिक्षण + समाधान में एक या दो घंटे लगे, यह सबसे धीमा एल्गोरिथम माना जाता है। हालांकि, यह दूसरा सबसे सटीक एल्गोरिथम है, जो कागले को सबमिट करते समय 96% से अधिक सटीकता प्राप्त करता है।
पेड़ों की संख्या के इष्टतम विकल्प की समस्या उत्पन्न होती है: इस कार्य के लिए, n_estimators के विभिन्न मूल्यों के साथ कई रन बनाए गए, 1000 ने सबसे अच्छा परिणाम दिया।

केएनएन - विधि

एल्गोरिदम का आइडिया

सबसे तेज़ वर्गीकरण एल्गोरिदम में से एक। संक्षेप में: प्रशिक्षण में उपयोग की जाने वाली सभी इकाइयां मापदंडों की संख्या के बराबर आयाम के मीट्रिक स्थान में संचालित होती हैं। फिर, एक व्यक्तिगत वेक्टर को वर्गीकृत करते समय, प्रशिक्षण सेट से वैक्टर जो विषय के सबसे करीब हैं, पर विचार किया जाता है।
इस एल्गोरिथ्म का उपयोग करते समय मुख्य प्रश्न नंबर k का विकल्प है। K = 1 पर, एल्गोरिथ्म स्थिरता खो देता है और शोर के प्रकट होने पर अनुचित रूप से व्यवहार करना शुरू कर देता है, प्रशिक्षण नमूने के वैक्टर की संख्या के करीब, सटीकता बेमानी हो जाती है और एल्गोरिथ्म पतित हो जाता है।

मैंने अलग-अलग k के लिए एल्गोरिथ्म चलाया और शुरू में सुझाए गए k = 10 पर ध्यान केंद्रित करते हुए समाप्त हुआ

कार्यान्वयन

यहां, सब कुछ पिछले स्रोत के समान है, इसके अलावा, रैंडम फ़ॉरेस्ट के काम के दौरान प्राप्त डंप का उपयोग किया जाता है।

 from sklearn import neighbors from sklearn.externals import joblib #    ,      dataset = joblib.load('training_set.pkl') target = [x[0] for x in dataset] #    train = [x[1:] for x in dataset] # - clf = neighbors.KNeighborsClassifier(n_neighbors = 10, weights='uniform') clf.fit(train, target) # # test = joblib.load('test_set.pkl') savetxt('knn_answer.csv', clf.predict(test), delimiter=',', fmt='%d') 

सारांश

केएनएन ने छोटे रनटाइम के साथ 96% से अधिक सटीकता भी दिखाई।

SVM

SVM (सपोर्ट वेक्टर मशीन) सबसे सार्वभौमिक वर्गीकरण विधियों में से एक है, जो गति और उच्च विश्वसनीयता की विशेषता है। आगे देखते हुए, मैं कहूंगा कि इसके उपयोग के साथ, उपयोग किए गए सभी एल्गोरिदम में उच्चतम सटीकता 97.7 थी।

एल्गोरिदम का आइडिया

एसवीएम वैमानिक अंतरिक्ष में स्थित वैक्टरों को वर्गीकृत करता है जो कि kNN में उपयोग किए जाने वाले आयाम n-1 के हाइपरप्लेन से विभाजित होने के समान है, जहां n स्रोत स्थान का आयाम है।

कर्नेल

एसवीएम विधि में एक प्रमुख हाइपरपैरामीटर है, जिसे कर्नेल कहा जाता है। परिमित पुस्तकालय उपयोग किए जाने वाले सभी मुख्य गुठली का समर्थन करता है: रैखिक, रेडियल और बहुपद। यहां लेबल किए गए डेटा के छोटे नमूनों पर परीक्षणों के आंकड़े दिए गए हैं:

रैखिक सटीकता = 0.9131
रेडियल कोर के साथ परिशुद्धता = 0.1265
द्विघात बहुपद के साथ सटीकता = 0.9635
क्यूबिक बहुपद के साथ सटीकता = 0.9595

इन परीक्षणों के बाद, मैंने रैखिक और रेडियल कर्नेल के साथ विकल्पों को गिरा दिया और द्विघात और क्यूबिक कर्नेल का उपयोग करके सबसे बड़े संभव डेटा सेट पर एल्गोरिथ्म चलाया। द्विघात ने अधिक सटीकता दी, इसका उपयोग करते हुए, अंत में, और अंतिम समाधान प्राप्त किया।

Relizatsiya

 from sklearn.externals import joblib from numpy import savetxt from sklearn import svm #       dataset = joblib.load('training_set.pkl') target = [x[0] for x in dataset] train = [x[1:] for x in dataset] # .  kernel   , degree -   .  , ,  3. clf_poly2 = svm.SVC(kernel = "poly", degree = 2) clf_poly2.fit(train, target) # test = joblib.load('test_set.pkl') #  savetxt('svm_answer.csv', clf_poly2.predict(test), delimiter=',', fmt='%d') 

सारांश

यह काफी तेज़ी से काम करता है, किसी भी कोर के साथ रैंडम फ़ॉरेस्ट से आगे निकल जाता है, सामान्यीकृत डेटा पर सटीकता उत्कृष्ट है।

विधि पहनावा

पाठ्यक्रमों ने हमें एक अतिरिक्त कार्य दिया - यह देखने के लिए कि एक ही समय में कई एल्गोरिदम का उपयोग करते समय समाधान की सटीकता कैसे बदल जाएगी।
मैं सुपरपिक्सल द्वारा प्रशिक्षण के नमूने को बंद करना चाहता था और देखता हूं कि क्या हुआ था, लेकिन मैं समय सीमा को पूरा नहीं करता था, मुझे एक सरल विकल्प पास करना था - आरएफ, एसवीएम और केएनएन एल्गोरिदम द्वारा दिए गए उत्तर पढ़े गए थे, जिसके बाद एक सीधा वोट लिया गया था। यदि विचारों को विभाजित किया गया था, तो एसवीएम को अधिक सटीक रूप में पसंद किया गया था। हालांकि, इस एसेंबली ने शुद्ध एसवीएम की तुलना में आधे प्रतिशत से भी अधिक समाधान दिया, इसलिए मैं समाधान में सुधार नहीं कर सका।

संदर्भ

पुस्तकालय का उपयोग किया
एल्गोरिदम के विस्तृत विवरण के साथ विकी
रैंडम वन श्रेणी के प्रलेखन
एक छोटे से उदाहरण के साथ एसवीएम का विवरण
अधिक जानकारी एसवीएम पर
सभी के बारे में के.एन.एन.

वह सब है। अगली पोस्ट में, हम एल्गोरिदम के मापदंडों के अनुकूलन के लिए तरीकों पर विचार करेंगे।