🈂️ 💖 🏻 डेटा माइनिंग: एक DBMS का उपयोग करके प्राथमिक डेटा प्रोसेसिंग। भाग २ 🕌 👄 ✅

हर आधे घंटे में, एक नया लेख चिल्लाते हुए नारा दिया जाता है बिग डेटा - "न्यू ऑयल"! । विपणन ग्रंथों के लिए सिर्फ एक देवी। बिग डेटा = बड़ा तेल = लाभ। यह बयान कहां से आया? आइए स्टैंप से आगे जाएं और थोड़ा गहरा खुदाई करें:
2006 में इसका उपयोग करने वाले सबसे पहले में से एक माइकल पामर था [ 1 ]:

डेटा सिर्फ कच्चा तेल है। यह मूल्यवान है, लेकिन प्रसंस्करण के बिना इसे वास्तव में उपयोग नहीं किया जा सकता है। मूल्यवर्धक लाभप्रदता बनाने के लिए इसे गैस, प्लास्टिक, रसायन आदि में बदलना चाहिए; इसलिए डेटा का विश्लेषण और "काट" करने की आवश्यकता है ताकि वे मूल्यवान हो जाएं।

ट्रेंड की ऐसी समझ "बिग डेटा - न्यू ऑयल!" मार्केटिंग की तुलना में वास्तविकता के करीब है। और Disraeli के बयानों को रद्द नहीं करता है:
"तीन तरह के झूठ हैं: झूठ, झूठ और आँकड़े हैं । "
यह आलेख डेटा माइनिंग विषय का एक निरंतरता है : DBMS का उपयोग करके प्राथमिक डेटा प्रोसेसिंग। भाग 1
चलो उत्पादन जारी रखें!

युगल निकालना जारी रखें

पिछले लेख में, कोड का एक छोटा सा उदाहरण दिया गया था जो आपको "डबल्स" से छुटकारा पाने की अनुमति देता है। हम उसी दिशा में आगे बढ़ते रहे। सफल काम के लिए, परीक्षण डेटा के साथ तालिका को बदलना भी आवश्यक है:

--    --     select nextval('titanik_train_seq') as id, a.* into titanik_test_pk from titanik_test a; --          select id,pclass,"name",sex,age,sibsp,parch,ticket,fare,cabin,embarked, m[1] as ticket_type, m[2] as ticket_number into titanik_test_1 from (select id,pclass,"name",sex,age,sibsp,parch,ticket,fare,cabin,embarked, regexp_matches(ticket, '^\s*?(.*?)\s*?(\d*?)$') as m from titanik_test_pk ) as a;

इस कोड उदाहरण में, मैंने पिछली तालिका से अनुक्रम का उपयोग करने का निर्णय लिया, ताकि बाद में यदि आवश्यक हो तो डेटा को संयोजित करना आसान हो सके। टिकट के नाम का पाठ और श्रृंखला में विभाजन उसी तरह से किया जाता है।

हम परीक्षण तालिका में समान अपडेट ऑपरेटर लागू करते हैं (साथ ही प्रशिक्षण तालिका में नहीं थे तत्वों को बदलने के लिए अंत में दो और जोड़ते हैं):

 update titanik_test_1 set ticket_type='A.5.' where ticket_type = 'A./5.'; update titanik_test_1 set ticket_type='A.5.' where ticket_type = 'A/5'; update titanik_test_1 set ticket_type='A.5.' where ticket_type = 'A/5.'; update titanik_test_1 set ticket_type='A.5.' where ticket_type = 'A/S'; update titanik_test_1 set ticket_type='A/4' where ticket_type = 'A/4.'; update titanik_test_1 set ticket_type='A/4' where ticket_type = 'A4.'; update titanik_test_1 set ticket_type='CA' where ticket_type = 'CA'; update titanik_test_1 set ticket_type='CA' where ticket_type = 'CA.'; update titanik_test_1 set ticket_type='SW/PP' where ticket_type = 'SW/PP'; update titanik_test_1 set ticket_type='SC/PARIS' where ticket_type = 'SC/Paris'; update titanik_test_1 set ticket_type='SOTON/OQ' where ticket_type = 'SOTON/OQ'; update titanik_test_1 set ticket_type='SOTON/O2' where ticket_type = 'STON/O 2.'; update titanik_test_1 set ticket_type='SOTON/O2' where ticket_type = 'STON/O2.'; update titanik_test_1 set ticket_type='W/C' where ticket_type = 'W./C.'; update titanik_test_1 set ticket_type='WEP' where ticket_type = 'WE/P'; update titanik_test_1 set ticket_type='SOTON/OQ' where ticket_type = 'STON/OQ.'; update titanik_test_1 set ticket_type='SC/PARIS' where ticket_type = 'SC/PARIS';

टिकट डेटा - संसाधित। अब शेष पाठ डेटा को उसी तरह संसाधित करना आवश्यक है:
सेक्स - कोई युगल नहीं मिला, इसे विभाजित करने की आवश्यकता नहीं है:

 select sex, count(sex) from titanik_train_1 group by 1 order by 1 asc;

लिंग	गिनती
महिला	314
नर	577

 select sex, count(sex) from titanik_test_1 group by 1 order by 1 asc;

लिंग	गिनती
महिला	152
नर	266

केबिन - यहाँ और अधिक दिलचस्प है:

 -- ! -- select cabin, count(cabin) from titanik_train_1 group by 1 order by 1 asc; select cabin, count(id) from titanik_train_1 group by 1 order by 1 asc;

यदि हम पहले अनुरोध को निष्पादित करते हैं (टिप्पणी की जाती है), तो हमें एक अजीब मूल्य मिलता है - 0 प्रविष्टियां जिसके लिए केबिन को संकेत नहीं दिया गया है। यह एकत्रीकरण कार्यों के कार्य की विशेषताओं के कारण है। खाली मानों को सही तरीके से ढेर नहीं कर सकता। इसलिए, हम गिनती (आईडी) लिखते हैं। और हमें इसका परिणाम मिलता है: एक अनिर्दिष्ट केबिन वाले 687 यात्री। यह माना जा सकता है कि यह एक "सामान्य" कम्पार्टमेंट है। और सबसे अधिक संभावना है कि इन प्रविष्टियों के लिए एक टिकट वर्ग निर्दिष्ट नहीं है।
चलो हमारी धारणा की जाँच करें:

 select id, cabin, ticket_type from titanik_train_1 where cabin ISNULL; select id, cabin, ticket_type from titanik_train_1 where cabin NOTNULL;

पुष्टि नहीं हुई। कई पंक्तियों को मुद्रित किया गया है जिसके लिए टिकट का प्रकार इंगित किया गया है। और इसके विपरीत (प्रश्न संख्या 2)? इसकी भी पुष्टि नहीं हुई। हम यह निष्कर्ष निकालते हैं कि या तो टिकटों की श्रृंखला एक निश्चित संख्या में लोगों के लिए खो जाती है, या यह कुछ और दिखाता है, न कि केबिन में व्यक्ति का स्थान या नहीं। यही है, अतिरिक्त जानकारी वहन करती है। हम पिछले अनुरोध पर लौटते हैं।
कैब के लिए क्वेरी आउटपुट और समूहीकरण के साथ रिकॉर्ड की संख्या में, दिलचस्प लाइनें हैं:

केबिन	गिनती
C23 C25 C27	4
C30	1
एफ जी 73	2
टी	1

सबसे पहले, केबिन के प्रकार (संख्याओं के सामने पहला अक्षर) के बारे में जानकारी।
दूसरे, एक टिकट के लिए - कई केबिन। और बहुत बार, टिकट वाले एक ही केबिन में कई लोग, जो कई केबिनों (स्थानों को पढ़ते हैं) का संकेत देते हैं। यह काफी दिलचस्प डेटा देता है जिसे अनदेखा नहीं किया जा सकता है। वास्तव में, यह डेटा डुप्लिकेट रिश्तेदार है, लेकिन उदाहरण के लिए, दोस्तों या परिचितों, या काम के सहयोगियों को ध्यान में रखते हुए - यानी। परिचित लोग एक दूसरे की मदद करने को तैयार हैं। साथ ही, केबिन में कितने लोग थे, इसकी भी जानकारी हमें मिलती है।
निष्कर्ष - कैब टाइप फ़ील्ड जोड़ें। और टिकट पर केबिन की संख्या जोड़ें। हम केबिन क्षेत्र में लोगों की संख्या भी जोड़ते हैं।
यानी 4 का परिवार 2 केबिनों में रहता है। या उदाहरण के लिए, दो अलग-अलग लोग एक ही केबिन में रहते हैं। डेटा की मात्रा बढ़ रही है!
इसे लागू करने वाले प्रश्न काफी जटिल हैं और यह समझने की आवश्यकता है कि PREG अभिव्यक्तियाँ PostgreSQL में नियमित रूप से कैसे काम करती हैं।
आप एक विशाल अनुरोध में सब कुछ फिट कर सकते हैं, लेकिन मैंने इसे दो भागों में विभाजित करने का फैसला किया। भाग एक केबिन के प्रकार और प्रति टिकट केबिनों की संख्या को निर्धारित करता है, और दूसरा अनुरोध टिकट पर एक ही केबिन (केबिन के सेट) वाले लोगों की संख्या निर्धारित करता है।

 select id,survived,pclass,"name",sex,age,sibsp,parch,ticket,fare,cabin,embarked, cnt as cabin_cnt, cabin_type, ticket_type, ticket_number into titanik_train_2 from ( select id, survived, pclass,"name",sex,age,sibsp,parch,ticket,fare,cabin,embarked, ticket_type, ticket_number, regexp_matches(cabin, '^\s*?([AZ]\d*)\s*?([AZ]\d*)\s*?([AZ]\d*)\s*?([AZ]\d*)\s*?.*?$') as m, 4 as cnt, substring(cabin, 1, 1) as cabin_type from titanik_train_1 UNION select id, survived, pclass,"name",sex,age,sibsp,parch,ticket,fare,cabin,embarked, ticket_type, ticket_number, regexp_matches(cabin, '^\s*?([AZ]\d*)\s*?([AZ]\d*)\s*?([AZ]\d*)\s*?$') as m, 3 as cnt, substring(cabin, 1, 1) as cabin_type from titanik_train_1 UNION select id, survived, pclass,"name",sex,age,sibsp,parch,ticket,fare,cabin,embarked, ticket_type, ticket_number, regexp_matches(cabin, '^\s*?([AZ]\d*)\s*?([AZ]\d*)\s*?$') as m, 2 as cnt, substring(cabin, 1, 1) as cabin_type from titanik_train_1 UNION select id, survived, pclass,"name",sex,age,sibsp,parch,ticket,fare,cabin,embarked, ticket_type, ticket_number, regexp_matches(cabin, '^\s*?([AZ]\d*)\s*?$') as m, 1 as cnt, substring(cabin, 1, 1) as cabin_type from titanik_train_1 UNION select id, survived, pclass,"name",sex,age,sibsp,parch,ticket,fare,cabin,embarked, ticket_type, ticket_number, NULL as m, 0 as cnt, NULL as cabin_type from titanik_train_1 where cabin ISNULL) as a;

सिद्धांत रूप में, यहां एकमात्र मुश्किल बिंदु नियमित अभिव्यक्ति है। मैंने इसे कैसे बनाया:
F C82 C45 - उस नाम का एक उदाहरण जिसे आपको हथियाने की आवश्यकता है। यह अनुरोध मुख्य ब्लॉक से बनाया गया है:
((AZ] \ d *) - [AZ] का अर्थ है कि कम से कम एक वर्णनात्मक पूंजी वर्ण, \ d * होना चाहिए - 0 की कोई भी संख्या ... अंक।

और दूसरा अनुरोध, जो कि केबिनों में लोगों की संख्या को गिनता है।

 select a.*, b.cnt as cabin_people_cnt into titanik_train_3 from titanik_train_2 a, ( select cabin as cabid, count(id) as cnt from titanik_train_1 group by 1) as b where a.cabin = b.cabid OR (a.cabin ISNULL AND b.cabid ISNULL); --.     -     687. update titanik_train_3 set cabin_people_cnt=0 where cabin ISNULL;

नतीजतन, हमें तीन अतिरिक्त क्षेत्र मिलते हैं: केबिन का प्रकार, प्रति टिकट केबिन की संख्या और केबिन में लोगों की संख्या।

इसी तरह, हम परीक्षण डेटा के लिए करते हैं:

 select id,pclass,"name",sex,age,sibsp,parch,ticket,fare,cabin,embarked, cnt as cabin_cnt, cabin_type, ticket_type, ticket_number into titanik_test_2 from ( select id, pclass,"name",sex,age,sibsp,parch,ticket,fare,cabin,embarked, ticket_type, ticket_number, regexp_matches(cabin, '^\s*?([AZ]\d*)\s*?([AZ]\d*)\s*?([AZ]\d*)\s*?([AZ]\d*)\s*?.*?$') as m, 4 as cnt, substring(cabin, 1, 1) as cabin_type from titanik_test_1 UNION select id, pclass,"name",sex,age,sibsp,parch,ticket,fare,cabin,embarked, ticket_type, ticket_number, regexp_matches(cabin, '^\s*?([AZ]\d*)\s*?([AZ]\d*)\s*?([AZ]\d*)\s*?$') as m, 3 as cnt, substring(cabin, 1, 1) as cabin_type from titanik_test_1 UNION select id, pclass,"name",sex,age,sibsp,parch,ticket,fare,cabin,embarked, ticket_type, ticket_number, regexp_matches(cabin, '^\s*?([AZ]\d*)\s*?([AZ]\d*)\s*?$') as m, 2 as cnt, substring(cabin, 1, 1) as cabin_type from titanik_test_1 UNION select id, pclass,"name",sex,age,sibsp,parch,ticket,fare,cabin,embarked, ticket_type, ticket_number, regexp_matches(cabin, '^\s*?([AZ]\d*)\s*?$') as m, 1 as cnt, substring(cabin, 1, 1) as cabin_type from titanik_test_1 UNION select id, pclass,"name",sex,age,sibsp,parch,ticket,fare,cabin,embarked, ticket_type, ticket_number, NULL as m, 0 as cnt, NULL as cabin_type from titanik_test_1 where cabin ISNULL) as a;

और दूसरा भाग:

 select a.*, b.cnt as cabin_people_cnt into titanik_test_3 from titanik_test_2 a, ( select cabin as cabid, count(id) as cnt from titanik_test_1 group by 1) as b where a.cabin = b.cabid OR (a.cabin ISNULL AND b.cabid ISNULL);

एक फ़ील्ड छोड़ दिया गया: पोर्ट प्रारंभ किया गया:

 select embarked, count(id) from titanik_train_3 group by 1 order by 1 asc; select embarked, count(id) from titanik_test_3 group by 1 order by 1 asc;

परिणाम यह है - कोई डबल्स नहीं मिला, जुदाई की जरूरत नहीं है:

शुरू	गिनती
सी	168
क्यू	77
एस	644
	2

दो रिकॉर्ड के साथ क्या करना है जहां कोई डेटा नहीं है? आप यादृच्छिक मूल्यों के साथ बदल सकते हैं, आप त्याग कर सकते हैं, आप औसत डाल सकते हैं। से चुनने के लिए।

निष्कर्ष

इस भाग में, हमने प्रशिक्षण और परीक्षण नमूनों में पहले से तैयार टेक्स्ट डेटा को कम कर दिया। समय में, इस काम में लगभग तीन घंटे लग गए। डेटा डाउनलोड करने से लेकर वर्तमान क्षण तक।

यह हिस्सा मात्रा में काफी प्रभावशाली निकला, इसलिए, अगले पोस्ट में जारी रहा। अगली पोस्ट में, हम स्ट्रिंग के बजाय संख्यात्मक मानों के साथ एक तालिका बनाने का प्रयास करेंगे। यदि अचानक कोई मेरे साथ इसे करने का फैसला करता है, तो इस ट्यूटोरियल पर प्रश्नों और प्रोसेसिंग डेटा का उपयोग करके, मैं टिप्पणियों में प्रश्नों का उत्तर दूंगा। आलोचना की प्रतीक्षा है।

अद्यतन
भाग तीन: habrahabr.ru/post/165283
भाग चार: habrahabr.ru/post/173819

डेटा माइनिंग: एक DBMS का उपयोग करके प्राथमिक डेटा प्रोसेसिंग। भाग २

युगल निकालना जारी रखें

निष्कर्ष

More articles: