डेटा माइनिंग: एक DBMS का उपयोग करके प्राथमिक डेटा प्रोसेसिंग। भाग 1

लेख किस बारे में है

डेटा के बड़े संस्करणों के शोध के कार्यों में, कई सूक्ष्मताएं और नुकसान हैं। विशेष रूप से उन लोगों के लिए जो सूचना के सरणियों के अंदर छिपे हुए निर्भरता और आंतरिक संबंधों का पता लगाने के लिए शुरू कर रहे हैं। यदि कोई व्यक्ति अपने दम पर ऐसा करता है, तो यह उन उदाहरणों को चुनने के लिए एक अतिरिक्त कठिनाई बन जाता है जिनसे आप एक समुदाय के लिए राय का आदान-प्रदान और खोज कर सकते हैं और अपनी सफलता का मूल्यांकन कर सकते हैं। उदाहरण बहुत जटिल नहीं होना चाहिए, लेकिन साथ ही यह उन मुख्य समस्याओं को कवर करना चाहिए जो वास्तविकता के करीब होने वाली समस्याओं को हल करते समय उत्पन्न होती हैं, ताकि कार्य इस तरह से न हो:

इस दृष्टिकोण से, कागले संसाधन [ 1 ], जो डेटा खनन को एक खेल में बदल देता है, बहुत दिलचस्प होगा। डेटा विश्लेषण पर प्रतियोगिताएं हैं। कुछ प्रतियोगिताओं प्रशिक्षण सामग्री के साथ हैं और शुरुआती के लिए अभिप्रेत हैं। यह डेटा विश्लेषण में सटीक प्रशिक्षण है, प्रशिक्षण समस्याओं में से एक को हल करने के उदाहरण का उपयोग करके, जो लेखों की एक श्रृंखला के लिए समर्पित होगा। पहला लेख डेटा तैयार करने और इस उद्देश्य के लिए एक डीबीएमएस का उपयोग करने के बारे में होगा। वास्तव में, कैसे और कहाँ से शुरू करें। पाठक SQL को समझने वाला है।

कार्य: "टाइटैनिक: आपदाओं में मशीन सीखना।"

शुरुआती के लिए दो प्रतियोगिताओं में से एक टाइटैनिक [ 2 ] है। नौकरी अनुवाद:
“टाइटैनिक की मौत इतिहास में सबसे अधिक जटिल जहाजों में से एक है। 15 अप्रैल, 1912 को अपनी पहली यात्रा के दौरान, टाइटैनिक हिमखंड से टकराने के बाद डूब गया, जिससे 2,224 यात्रियों और चालक दल के 1,502 मारे गए। इस सनसनीखेज त्रासदी ने अंतर्राष्ट्रीय समुदाय को झकझोर दिया और जहाजों पर सुरक्षा नियमों की आवश्यकताओं में सुधार किया। जहाजों के दुर्घटनाग्रस्त होने का एक कारण यात्रियों और चालक दल के लिए जीवनरक्षक नौकाओं की कमी थी। वहाँ भी भाग्यशाली संयोग का एक तत्व था, जो डूबने से मुक्ति को प्रभावित करता था। साथ ही, लोगों के कुछ समूहों में दूसरों की तुलना में जीवित रहने की अधिक संभावना थी, जैसे कि महिलाएं, बच्चे और उच्च वर्ग। इस प्रतियोगिता में, हम आपको एक विश्लेषण पूरा करने के लिए आमंत्रित करेंगे कि किस प्रकार के लोगों को सबसे अधिक बचाया जा सकता है। विशेष रूप से, हम आपको यह निर्धारित करने के लिए मशीन लर्निंग टूल्स का उपयोग करने के लिए कहेंगे कि कौन से यात्री इस त्रासदी में बच जाएँगे। ”

डेटा

प्रतियोगिता के लिए दो फाइलें दी गई हैं: train.csv और test.csv। पाठ डेटा कॉमा द्वारा अलग किए गए। एक पंक्ति - एक यात्री रिकॉर्ड। रिकॉर्डिंग के लिए कुछ डेटा अज्ञात और छोड़ दिया जा सकता है।
वारिसियों का विवरण:

चर नाम	इसका क्या मतलब है?
उत्तरजीविता	मोक्ष (0 = नहीं; 1 = हां)
pclass	यात्री वर्ग (1 = 1; 2 = 2; 3 = 3)
नाम	पहला नाम
लिंग	पॉल
आयु	आयु
sibsp	भाइयों (बहनों) की संख्या / बोर्ड पर पति / पत्नी
सूखना	बोर्ड पर माता-पिता / बच्चों की संख्या
टिकट	टिकट नंबर
किराया	यात्री किराया
केबिन	केबिन
शुरू	पोर्ट ऑफ लैंडिंग (C = चेरबर्ग; Q = क्वीन्सटाउन; S = साउथम्पटन)

नोट:
Pclass सामाजिक आर्थिक स्थिति (SES) का एक संकेतक है
पहला ~ ऊपरी; 2 ~ मध्य; तीसरा ~ निचला
वर्षों में आयु; भिन्नात्मक यदि आयु एक से कम है (1)
यदि आयु का अनुमान है, तो यह xx.5 के रूप में है
निम्नांकित परिभाषाएँ sibsp और parch के लिए उपयोग की जाती हैं।
भाई (बहनें): भाई, बहन, सौतेला भाई, या टाइटैनिक यात्रियों में सौतेली बहन
पति या पत्नी: टाइटैनिक यात्रियों (पति और दूल्हे की अनदेखी कर रहे हैं) के बीच पति या पत्नी
माता-पिता: टाइटैनिक यात्रियों के बीच माता या पिता।
बच्चे: बेटा, बेटी, सौतेला बेटा या सौतेली बेटी टाइटैनिक के यात्रियों के बीच।
परिवार के अन्य सदस्यों को निष्कासित कर दिया जाता है, जिनमें चचेरे भाई, चचेरे भाई, चाचा, चाची, पुत्रवधू, दामाद शामिल हैं।
बेबीसिटर्स के साथ यात्रा करने वाले बच्चों के पास पर्च = 0 था।
इसी तरह, करीबी दोस्तों, पड़ोसियों के साथ यात्रा करना, भाई-बहनों में नहीं गिना जाता है।

यह कार्य, जैसा कि हम देखते हैं, अच्छी तरह से संरचित है और खेतों को व्यावहारिक रूप से परिभाषित किया गया है। दरअसल, पहला चरण मशीन सीखने के लिए डेटा जमा करना है। खेतों, विभाजन, विलय, वर्गीकरण को चुनने और पुनर्परिभाषित करने के मुद्दे - डेटा की आपूर्ति पर निर्भर करते हैं। द्वारा और बड़े, सवाल कोडिंग और सामान्यीकरण पर टिकी हुई है। मशीन सीखने के तरीकों का उपयोग करने से पहले गुणवत्ता सुविधाओं का कोडिंग (कई दृष्टिकोण हैं) और डेटा प्रीप्रोसेसिंग है। इस कार्य में वास्तव में बड़ी मात्रा में डेटा शामिल नहीं है। लेकिन अधिकांश कार्य (उदाहरण के लिए हेरिटेज हेल्थ पीआर, यांडेक्स इंटरनेट गणित) इतने संरचित नहीं हैं और आपको लाखों रिकॉर्ड के साथ काम करना होगा। DBMS का उपयोग करके ऐसा करना अधिक सुविधाजनक है। मैंने PostgreSQL DBMS को चुना। सभी SQL कोड इस DBMS के लिए लिखे गए थे, लेकिन मामूली बदलाव के साथ यह MySQL, Oracle और MS SQL सर्वर के लिए उपयुक्त है।

डेटा डाउनलोड करें

दो फाइलें डाउनलोड करें - train.csv और test.csv।
हम डेटा स्टोरेज के लिए टेबल बनाते हैं:

--     DROP TABLE IF EXISTS titanik_train; --  CREATE TABLE titanik_train ( survived int, pclass int, name varchar(255), sex varchar(255), age float, sibsp int, parch int, ticket varchar(255), fare float, cabin varchar(255), embarked varchar(255) ); --   CSV  '/home/andrew/titanik/train.csv'. -- HEADER    CSV    c  . COPY titanik_train FROM '/home/andrew/titanik/train.csv' CSV HEADER; DROP TABLE IF EXISTS titanik_test; CREATE TABLE titanik_test ( pclass int, name varchar(255), sex varchar(255), age float, sibsp int, parch int, ticket varchar(255), fare float, cabin varchar(255), embarked varchar(255) ); COPY titanik_test FROM '/home/andrew/titanik/test.csv' CSV HEADER; 

नतीजतन, हमें दो टेबल मिलते हैं: प्रशिक्षण और परीक्षण डेटा के साथ।
इस मामले में, डेटा लोडिंग त्रुटियां नहीं थीं। यानी सभी डेटा हमारे द्वारा निर्धारित प्रकारों के अनुरूप हैं। यदि त्रुटियां दिखाई देती हैं, तो दो तरीके हैं: पहला, इसे नियमित अभिव्यक्तियों के साथ ठीक करें और एक संपादक जैसे sed (या perl -e पर आधारित कमांड के साथ) या टेक्स्ट डेटा के रूप में सब कुछ पहले लोड करें, और DBMS का उपयोग करके इसे नियमित अभिव्यक्तियों और प्रश्नों के साथ ठीक करें।
प्राथमिक कुंजी जोड़ें:

 --  CREATE SEQUENCE titanik_train_seq; --     select nextval('titanik_train_seq') as id, a.* into titanik_train_pk from titanik_train a; 

डाटा माइनिंग

DBMS टेबल सिर्फ एक उपकरण है। उपकरण अधिक आसानी से अध्ययन और डेटा को बदलने में मदद करता है। शुरुआत से ही, प्रत्येक यात्री के लिए रिकॉर्ड फ़ील्ड को संख्यात्मक और टेक्स्ट फ़ील्ड में विभाजित करना सुविधाजनक है - डेटा प्रकार द्वारा। मशीन लर्निंग एल्गोरिदम का उपयोग करने के लिए, आपको अभी भी सब कुछ एक संख्यात्मक प्रतिनिधित्व में बदलना होगा। और हमारे द्वारा चुनी गई विधियों की गुणवत्ता इस बात पर बहुत निर्भर करेगी कि हम इसे कितने पर्याप्त रूप से करते हैं।

संख्यात्मक डेटा:
बचे हुए, पक्लैस, उम्र, भाई-बहन, पर्च, किराया
पाठ डेटा:
नाम, सेक्स, टिकट, केबिन, तैयार

चलिए उस डेटा से शुरू करते हैं जो टेक्स्ट फॉर्म में प्रस्तुत किया गया है। वास्तव में, यह जानकारी एन्कोडिंग की समस्या है। और यहां, जरूरी नहीं कि सबसे सरल दृष्टिकोण सबसे सही होगा। उदाहरण के लिए, यदि हम इस उदाहरण को अनदेखा करते हैं, और कल्पना करते हैं कि हमारे पास एक क्षेत्र है जो स्थिति को परिभाषित करता है:

• सीईओ;
• विभागाध्यक्ष
• सुपरवाइज़र;
• एक क्लीनर;
• प्रशिक्षु;

उन्हें इस तरह एनकोड करना तर्कसंगत है:

महाप्रबंधक	5	1
विभाग प्रमुख	4	0.75
सुपरवाइज़र	3	0.5
क्लीनर	2	0.25
प्रशिक्षु	1	0

यानी इस तरह हमने वास्तविकता के ऐसे तत्व को गणितीय प्रतिनिधित्व में स्थान देने की कोशिश की। यह इस तरह की जानकारी प्रस्तुत करने के लिए एक (सबसे सरल) विकल्प है। यह प्रदान किया जाता है कि पदों के बीच "दूरी" (जो वास्तविकता के अनुरूप नहीं है) को समान माना जाता है। यानी यहाँ सवाल उठता है, लेकिन "पदों के बीच की दूरी" क्या है? महत्व? अधिकार का दायरा? जिम्मेदारी का दायरा? प्रसार? पदानुक्रम में रखें? या उद्यम में ऐसी स्थिति में कर्मचारियों की संख्या? बहुत सारे सवाल जिनके लिए वास्तविकता से तलाक के कार्य के लिए कोई जवाब नहीं होगा। लेकिन वास्तव में उत्तर हैं। और ऐसे तरीके हैं जो गणितीय प्रतिनिधित्व को वास्तविकता के करीब लाने में मदद करते हैं। लेकिन यह एक अलग और जटिल लेख के लिए एक विषय है, लेकिन अभी के लिए, हम मानेंगे कि हम 0 से 1 (कोड 2) तक की सीमा में डेटा को एन्कोड करने का प्रयास करेंगे।
इसलिए, जिन डेटा की तुलना की जा सकती है, उनके बारे में कम से कम कुछ स्पष्टीकरण है कि हमने ऐसा क्यों किया, जिसमें कम और अधिक एन्कोडेड डेटा की परिभाषा है।
आखिरकार, संख्याएँ मात्रात्मक जानकारी ले जाती हैं! कुछ ज्यादा, और कुछ कम!
और अगर हमारे पास वर्णनात्मक जानकारी के रूप में "नाम" है। क्या हमारे पास इस तरह से उदाहरण के लिए डेटा को एनकोड करने का अधिकार है:

पहला नाम	rc2
निकोलस	0
पीटर	0.5
पॉल	1

ऐसा लगता है कि हम इस तरह से सांकेतिक शब्दों में बदलना कर सकते हैं, लेकिन यह पता चलता है कि हम डेटा को एक घटक में जोड़ते हैं जो कि नहीं है - एक अज्ञात विशेषता द्वारा नामों की संख्या (संख्या: अधिक या कम)। डेटा को थोड़ा अलग तरीके से पेश करना अधिक तर्कसंगत होगा (इसे बैग-ऑफ-वर्ड भी कहा जाता है):

रिकॉर्ड संख्या	निकोलस	पीटर	पॉल
15,602	0	1	0
15,603	0	0	1
15,604	1	0	0

और इतने नाम होंगे - इतने सारे क्षेत्र होंगे। और मान हैं: 0 या 1. नुकसान स्पष्ट है - अगर हमारे पास एक लाख अलग-अलग नाम हैं तो क्या होगा? क्या करें? हमारे सरल कार्य में ऐसी कोई परेशानी नहीं है, लेकिन मैं जवाब दूंगा - यह कंप्यूटर विज्ञान और गणित की एक तेजी से बढ़ती शाखा है - इनपुट डेटा का संपीड़न। कीवर्ड में से एक "विरल मैट्रिक्स" है। इसके अलावा - "ऑटोएन्कोडर", "वोवपाल वैबिट" [ 3 ], "फ़ीचर हैशिंग"। फिर, यह लेख के लिए एक विषय है। इसके अलावा, इस विषय पर सामग्री एक हबल पर चढ़ी हुई है। लेकिन हमारे काम के लिए, हम इस समस्या से अभी के लिए पचा लेंगे। और सवाल पर वापस:
क्या पहले विचार में जीवन का अधिकार है?
उत्तर इस बात पर बहुत अधिक निर्भर करता है कि क्या हम उस घटक की उपेक्षा कर सकते हैं जिसे हमने "एक अज्ञात विशेषता जिसके बारे में हमने नामों की तुलना की है" रैंकिंग के बारे में जोड़ा था। बहुत बार आपको उपेक्षा करना पड़ता है - जब कोई अन्य संभावना नहीं होती है।

और यदि आप नामों के बजाय डालते हैं, उदाहरण के लिए, टिकटों की संख्या-अक्षर संख्या (जो हमारे कार्य के करीब है)। टिकट के साथ यह आसान है - एक श्रृंखला है और एक संख्या है। हम संख्या को वैसे ही छोड़ सकते हैं। शायद यह लैंडिंग साइट को निर्धारित करता है, और तदनुसार प्रवेश द्वार से दूरी, आदि। लेकिन श्रृंखला की कोडिंग पहले से ही अधिक जटिल है। सबसे पहले, आपको प्रश्न का उत्तर देने की आवश्यकता है: क्या वास्तव में डेटा में विभिन्न लाइनों के रूप में एक एकल मूल्य का प्रतिनिधित्व किया जा सकता है? उत्तर असमान है - शायद। यानी इसे जांचने की जरूरत है। सबसे आसान विकल्प एक टाइपो है। एक्स्ट्रा डॉट, कॉमा, स्पेस या डैश।
इस तरह के डेटा की उपस्थिति पहले से ही विकृतियों को बढ़ाती है, और "खराब" जानकारी पर निर्मित मॉडल एक अच्छा परिणाम नहीं दिखाएगा (केवल अगर यह मॉडल के सामान्यीकरण गुण को बेहतर बनाने के लिए नियंत्रित तरीके से नहीं किया गया था)।
सबसे पहले, टिकट संख्या को श्रृंखला (प्रकार, ब्रांड, आदि) से अलग करें।
ऐसा करने के लिए, डेटा देखें, नाम से पूर्व-सॉर्ट किया गया। डेटा समूहों का चयन करें:

• एक श्रृंखला के बिना टिकट
• श्रृंखला टिकट

अगला, हम यह करेंगे: एक तालिका बनाएं जहां श्रृंखला को एक अलग क्षेत्र में हाइलाइट किया गया है। जहां कोई श्रृंखला नहीं है - अभी के लिए, एक खाली मान डालें। ऐसा करने के लिए, अनुरोध का उपयोग करें:

 select id,survived,pclass,"name",sex,age,sibsp,parch,ticket,fare,cabin,embarked, m[1] as ticket_type, m[2] as ticket_number into titanik_train_1 from (select id, survived,pclass,"name",sex,age,sibsp,parch,ticket,fare,cabin,embarked, regexp_matches(ticket, '^\s*?(.*?)\s*?(\d*?)$') as m from titanik_train_pk ) as a; 

जहाँ '^ \ s *? ((। *?) \ s *? (\ d *?) $' एक नियमित अभिव्यक्ति है जो आपको टिकट फ़ील्ड में भागों का चयन करने की अनुमति देता है - एक श्रृंखला और एक सरणी में एक संख्या।
हम संख्याओं को छोड़ देंगे जैसे वे हैं, आप गैर-डिजिटल पात्रों की उपस्थिति के लिए एक नियमित अभिव्यक्ति के साथ जांच कर सकते हैं। एक समान नियमित अभिव्यक्ति का उपयोग करना।

युगल की समस्या

यदि एक ही वास्तविकता वस्तु को अलग नाम दिया जाता है, तो हमें जुड़वा बच्चों की समस्या होती है। हमें केवल युगल के पता लगाने के एक पहलू पर ध्यान दें: शीर्षक में टाइपोस। यह देखते हुए कि हमारे डेटा की मात्रा छोटी है, और सरल देखने के अधीन है, हम ऐसा करेंगे - हम तालिका से क्षेत्र के सभी अद्वितीय मूल्यों को प्राप्त करेंगे।

प्रश्न:

 select ticket_type, count(ticket_type) from titanik_train_1 group by 1 order by 2 desc; 

और यहां परिणाम है, जहां मैंने कथित तौर पर समान मूल्यों को नोट किया है, जो विभिन्न लाइनों द्वारा इंगित किए गए हैं। 45 प्रविष्टियाँ।

काफी संयोग हैं। यदि आप कार्य में गहराई से उतरते हैं और यह पता लगाते हैं कि किस सिद्धांत के टिकट चिह्नित किए गए थे - तब भी आप मदों की संख्या कम कर सकते हैं। लेकिन, कार्य की शर्तों में से एक इस प्रसिद्ध त्रासदी पर अतिरिक्त जानकारी का उपयोग नहीं करना था। इसलिए, हम केवल इस पर ध्यान केन्द्रित करते हैं।

डेटा परिवर्तन के लिए अनुरोध इस प्रकार हैं:

 update titanik_train_1 set ticket_type='A.5.' where ticket_type = 'A./5.'; update titanik_train_1 set ticket_type='A.5.' where ticket_type = 'A/5'; update titanik_train_1 set ticket_type='A.5.' where ticket_type = 'A/5.'; update titanik_train_1 set ticket_type='A.5.' where ticket_type = 'A/S'; update titanik_train_1 set ticket_type='A/4' where ticket_type = 'A/4.'; update titanik_train_1 set ticket_type='A/4' where ticket_type = 'A4.'; update titanik_train_1 set ticket_type='CA' where ticket_type = 'CA'; update titanik_train_1 set ticket_type='CA' where ticket_type = 'CA.'; update titanik_train_1 set ticket_type='SW/PP' where ticket_type = 'SW/PP'; update titanik_train_1 set ticket_type='SC/PARIS' where ticket_type = 'SC/Paris'; update titanik_train_1 set ticket_type='SOTON/OQ' where ticket_type = 'SOTON/OQ'; update titanik_train_1 set ticket_type='SOTON/O2' where ticket_type = 'STON/O 2.'; update titanik_train_1 set ticket_type='SOTON/O2' where ticket_type = 'STON/O2.'; update titanik_train_1 set ticket_type='W/C' where ticket_type = 'W./C.'; update titanik_train_1 set ticket_type='WEP' where ticket_type = 'WE/P'; 

अब 30 प्रविष्टियाँ।
अधिक जटिल कार्यों में, प्रसंस्करण काफी भिन्न होता है। खासकर अगर सब कुछ देखना संभव नहीं है। फिर आप लेवेंशेटिन फ़ंक्शन का उपयोग कर सकते हैं - यह आपको उन शब्दों को खोजने की अनुमति देगा जो वर्तनी में करीब हैं। आप इसे थोड़ा ठीक कर सकते हैं और ऐसे शब्द बना सकते हैं जो विराम चिह्नों में भी भिन्न हों। फिर, हम उपायों और मैट्रिक्स की अवधारणा पर लौटते हैं - लेकिन शब्दों के बीच की दूरी का क्या मतलब है? वर्ण जो B और 8 के समान दिखाई देते हैं? या वे जो समान ध्वनि करते हैं?
सिद्धांत रूप में, ऐसे सरल तरीके से आपको प्रशिक्षण और परीक्षण तालिकाओं में सभी प्रतीक क्षेत्रों से गुजरने की आवश्यकता होती है। एक और सुधार युगल की तलाश से पहले इन तालिकाओं से स्तंभ डेटा का संयोजन है।
वितरण के बारे में । इस स्तर पर, डेटा प्रोसेसिंग कार्य को विशेष ज्ञान की आवश्यकता नहीं होती है और एक निश्चित संख्या में कलाकारों के बीच आसानी से समानांतर किया जा सकता है। यहां, उदाहरण के लिए, इस स्तर पर, टीम बहुत ही एकल प्रतिद्वंद्वी को बाईपास करेगी।

यह पोस्ट काफी बड़ा निकला, क्योंकि अगले भाग में निरंतरता है।

संदर्भ:

1. www.kaggle.com
2. www.kaggle.com/c/titanic-gettingStarted
3.http : //hunch.net/~vw/

अद्यतन:
भाग दो: habrahabr.ru/post/165281
भाग तीन: habrahabr.ru/post/165283
भाग चार: habrahabr.ru/post/173819