🏳️‍🌈 🌑 🚶🏿 हाबरा-ट्यूटोरियल का पोर्ट्रेट 🚿 🧜🏻 🍾

हमारे युग में, केवल बेकार चीजें ही मनुष्य के लिए आवश्यक हैं। ऑस्कर वाइल्ड, डोरियन ग्रे का पोर्ट्रेट ( स्रोत )

क्या आपने कभी सोचा है कि Habré (नियमित ^TM पाउडर) पर एक नियमित पोस्ट ट्यूटोरियल से कैसे भिन्न है? और यह "भिन्न" कैसे मापा जा सकता है? क्या यहां कोई पैटर्न है और क्या उनसे लेबल की भविष्यवाणी करना संभव है:

इस लेख में हम हाबराब्र के लेखों के संबंध में तथाकथित खोजपूर्ण डेटा विश्लेषण या संक्षेप में EDA ( शोध डेटा विश्लेषण ) पर चर्चा करेंगे और विशेष रूप से हम ट्यूटोरियल पर विशेष ध्यान देंगे। सबसे पहले, EDA का उद्देश्य डेटा का विस्तृत अध्ययन करना है, और यह समझना आवश्यक है कि हम वास्तव में किसके साथ काम कर रहे हैं। एक महत्वपूर्ण हिस्सा डेटा का संग्रह और सफाई है और यह पसंद कि कौन सा डेटा एकत्र करना है। विधि की एक विशेषता विज़ुअलाइज़ेशन है और महत्वपूर्ण विशेषताओं और रुझानों की खोज है।

व्याख्यात्मक डेटा विश्लेषण डेटा के अध्ययन और समझ में पहला कदम है, इसके बिना हम लेख में लेखक द्वारा पहले वर्णित कई जालों में खुद को ड्राइव कर सकते हैं: " सांख्यिकी का उपयोग कैसे करें ।"

एक नियमित हब्र-ट्यूटोरियल कैसा दिखता है

एक साधारण प्रदर्शन के रूप में, हम तीन मापदंडों की सबसे सरल तस्वीर मानते हैं: विचार, पसंदीदा (पसंदीदा) और रेटिंग (प्लसस की संख्या), तीन वर्गों के लिए: सभी लेख एक साथ, नियमित पोस्ट (गैर-ट्यूटोरियल) और ट्यूटोरियल।

इस तरह के सरलीकृत चित्र में भी, कक्षाओं के बीच का अंतर ध्यान देने योग्य है। हमारा अंतर्ज्ञान और सामान्य ज्ञान हमें बताता है कि औसत ट्यूटोरियल अक्सर पसंदीदा में जोड़े जाते हैं, लेकिन अंतर्ज्ञान यह नहीं कहता कि कितनी बार, और यह कि वे कम प्लसस और विचार प्राप्त करते हैं। हम इन और कई अन्य दिलचस्प सवालों पर लेख में बाद में विचार करेंगे।

लेख संरचना

डेटा एकत्र करना

अनुसंधान और प्रयोग के सबसे महत्वपूर्ण गुणों में से एक इसकी प्रजनन क्षमता और पारदर्शिता है। इसलिए, काम के साथ आने वाले सभी स्रोत सामग्री - डेटा, उन्हें इकट्ठा करने के लिए एल्गोरिथ्म, गणना एल्गोरिथ्म, कार्यान्वयन, दृश्य और आउटपुट विशेषताओं को प्रदान करना अविश्वसनीय रूप से महत्वपूर्ण है। विश्लेषण और विज़ुअलाइज़ेशन के लिए सभी कोड, डेटा और स्क्रिप्ट इस लेख से जुड़े हुए हैं - वे गिटब के माध्यम से उपलब्ध हैं। आलेख और लिपियों के लिए अलग-अलग लिंक दिए गए हैं, कोड के सबसे महत्वपूर्ण और दिलचस्प हिस्से लेख में ड्रॉप-डाउन पाठ ("बिगाड़ने") के रूप में भी उपलब्ध हैं।

यह आपको डेटा की प्रामाणिकता, विज़ुअलाइज़ेशन और गणना की शुद्धता की जांच करने की अनुमति देता है। उदाहरण के लिए, लेख की शुरुआत में हिस्टोग्राम्स की प्रारंभिक छवि histograms_into.R स्क्रिप्ट का उपयोग करके बनाई गई थी। all.csv डेटासेट पर (विवरण नीचे दिया गया है)।

चलिए हैबर-लेखों पर डेटा एकत्र करने के लिए एल्गोरिथ्म के एक उच्च-स्तरीय विवरण के साथ शुरू करते हैं

हम बस क्रमिक रूप से प्रत्येक लिंक के माध्यम से जाते हैं और पृष्ठ को पार्स करते हैं।

आईडी द्वारा लेखों की गणना करने के संभावित कार्यान्वयनों में से एक (साथ ही सर्वोत्तम से लेख एकत्र करना) यहां दिया गया है, पूरे एल्गोरिथ्म में तीन घटक होते हैं: लेखों के पृष्ठों की गणना करना (छद्म कोड के रूप में ऊपर दिखाया गया है), पार्स पृष्ठ ( processPage पेज) और रिकॉर्ड (वर्ग) हाबरा लेख ( हैबरा-लेख )।

पायथन एन्यूमरेशन कार्यान्वयन

 from __future__ import print_function import time from habraPageParser import HabraPageParser from article import HabraArticle class HabraPageGenerator: @staticmethod def generatePages(rooturl): articles = [] suffix = "page" for i in range(1,101): if i > 1: url = rooturl+suffix+str(i) else: url = rooturl print(url) pageArticles = HabraPageParser.parse(url) if pageArticles is not None: articles = articles + pageArticles else: break return articles @staticmethod def generateTops(): WEEK_URL = 'http://habrahabr.ru/posts/top/weekly/' MONTH_URL = 'http://habrahabr.ru/posts/top/monthly/' ALLTIME_URL = 'http://habrahabr.ru/posts/top/alltime/' articles = [] articles = articles + HabraPageGenerator.generatePages(ALLTIME_URL) articles = articles + HabraPageGenerator.generatePages(MONTH_URL) articles = articles + HabraPageGenerator.generatePages(WEEK_URL) return articles @staticmethod def generateDataset(dataset_name): FIRST_TUTORIAL = 152563 LAST_INDEX = 219000 BASE_URL = 'http://habrahabr.ru/post/' logname = "log-test-alive.txt" logfile = open(logname, "w") datafile = HabraArticle.init_file(dataset_name) print("generate all pages", file=logfile) print(time.strftime("%H:%M:%S"), file=logfile) logfile.flush() for postIndex in range(FIRST_TUTORIAL, LAST_INDEX): url = BASE_URL + str(postIndex) print("test: "+url, file=logfile) try: article = HabraPageParser.parse(url) if article: print("alive: "+url, file=logfile) assert(len(article) == 1) article[0].write_to_file(datafile) except: continue logfile.flush() logfile.close() datafile.close()

कोड हैबरा-लेख :

हाबरा लेख वर्ग कार्यान्वयन

 from __future__ import print_function class HabraArticle: def __init__(self,post_id,title,author,score,views,favors,isTutorial): self.post_id = post_id self.title = title self.author = author self.score = score self.views = views self.favors = favors if isTutorial: self.isTutorial = 1 else: self.isTutorial = 0 def printall(self): print("id: ", self.post_id ) print("title: ", self.title) print("author: ", self.author ) print("score: ", self.score ) print("views: ", self.views ) print("favors: ", self.favors ) print("isTutorial: ", self.isTutorial) def get_csv_line(self): return self.post_id+","+self.title+","+self.author+","+ self.score+","+self.views+","+self.favors+","+str(self.isTutorial) +"\n" @staticmethod def printCSVHeader(): return "id, title, author, score, views, favors, isTutorial" @staticmethod def init_file(filename): datafile = open(filename, 'w') datafile.close() datafile = open(filename, 'a') print(HabraArticle.printCSVHeader(), file=datafile) return datafile def write_to_file(self,datafile): csv_line = self.get_csv_line() datafile.write(csv_line.encode('utf-8')) datafile.flush()

फंक्शन कोड (beautifulsoup): processPage :

processPage

 import urllib2 from bs4 import BeautifulSoup import re from article import HabraArticle class HabraPageParser: @staticmethod def parse(url): try: response = urllib2.urlopen(url) except urllib2.HTTPError, err: if err.code == 404: return None else: raise html = response.read().decode("utf-8") soup = BeautifulSoup(html) #print(soup.decode('utf-8')) #if the post is closed, return None cyrillicPostIsClosed = '\xd0\xa5\xd0\xb0\xd0\xb1\xd1\x80\xd0\xb0\xd1\x85\xd0\xb0\xd0\xb1\xd1\x80 \xe2\x80\x94 \xd0\x94\xd0\xbe\xd1\x81\xd1\x82\xd1\x83\xd0\xbf \xd0\xba \xd1\x81\xd1\x82\xd1\x80\xd0\xb0\xd0\xbd\xd0\xb8\xd1\x86\xd0\xb5 \xd0\xbe\xd0\xb3\xd1\x80\xd0\xb0\xd0\xbd\xd0\xb8\xd1\x87\xd0\xb5\xd0\xbd' if soup.title.text == cyrillicPostIsClosed.decode('utf-8'): return None articles = soup.find_all(class_="post shortcuts_item") habraArticles = [] for article in articles: isScoreShown = article.find(class_="mark positive ") #if the score is published already, then article is in, otherwise we go on to next one if not isScoreShown: continue post_id = article["id"] author = article.find(class_="author") if author: author = author.a.text title = article.find(class_="post_title").text score = article.find(class_="score" ).text views = article.find(class_="pageviews" ).text favors = article.find(class_="favs_count").text tutorial = article.find(class_="flag flag_tutorial") #we need to escape the symbols in the title, it might contain commas title = re.sub(r',', " comma ", title) #if something went wrong skip this article if not post_id or not author or not title: return None habraArticle = HabraArticle(post_id,title,author,score,views,favors,tutorial) habraArticles.append(habraArticle) return habraArticles

( script_id.R . ज़िंदा_test_id.csv डेटासेट के पहले 6.5k बिंदुओं का उपयोग करके प्राप्त किया गया)

आपको ग्राफ़ को निम्नानुसार पढ़ने की आवश्यकता है: 250 लगातार आईडी मान लें और उन्हें पंक्ति में लिखें, यदि पृष्ठ लाइव है, तो हम इसे लाल, अन्यथा नीले रंग में चिह्नित करते हैं। अगले 250 मान लें और उन्हें अगली पंक्ति पर लिखें, आदि।

पहले ट्यूटोरियल (27 सितंबर, 2012) के प्रकाशन के बाद से लाइव लिंक का वास्तविक घनत्व 23% है। यदि हम मानते हैं कि आईडी प्रत्येक मसौदे के लिए क्रमिक रूप से जारी की जाती है, तो तीन-चौथाई हब्र-लेख या तो छिपे हुए हैं या जोड़े नहीं गए हैं।

लेकिन (!) सबसे अधिक संभावना है कि माप में वास्तविक घनत्व को कम करके आंका गया है। यह लेखों को इकट्ठा करने के लिए एक विधि की कमी के कारण है: लिंकिंग, पृष्ठों के पार्सिंग या एक हब्बर के अल्पकालिक दुर्गमता के साथ समस्याएं। डेटा की एक मैन्युअल जाँच (all.csv पर) यह दिखाती है कि कुछ मामलों में <= 5-10%, वास्तविक-जीवन के पृष्ठों को संसाधित नहीं किया गया था। इस त्रुटि को देखते हुए, यह मानना तर्कसंगत है कि वास्तविक घनत्व 30 + -5% की सीमा में है। हम अगली श्रृंखला में त्रुटि को कम करने पर काम करेंगे।

अतिरिक्त डेटा

आईडी द्वारा (निर्दिष्ट अवधि के लिए) सभी लेखों की गणना करने के अलावा, निम्नलिखित डेटा भी एकत्र किया गया था:

सभी समय का सबसे अच्छा
महीने के सर्वश्रेष्ठ
सप्ताह का सर्वश्रेष्ठ

संग्रह के लिए, ऊपर वर्णित एल्गोरिथ्म वास्तव में उपयोग किया गया था, जो लिंक को बायपास करता था:
habrahabr.ru/posts/top/alltime/page $ i
habrahabr.ru/posts/top/monthly/page $ i
habrahabr.ru/posts/top/weekly/page $ i
$ i से 1 से 100 के लिए

हाबरा डेटा

एकत्रित डेटा सीएसवी ( अल्पविराम से अलग किए गए मान ) प्रारूप में संग्रहीत किया गया है और इसके निम्न रूप हैं:

कुल मिलाकर, डेटासेट लेख के साथ उपलब्ध हैं (7 अप्रैल 2014 को डाउनलोड किए गए):

सभी लेख: all.csv
सभी समय के लिए सर्वश्रेष्ठ: डेटासेट_टॉप_अल् ल
महीने का सर्वश्रेष्ठ: habra_dataset_monthly.csv
सप्ताह का सर्वश्रेष्ठ: habra_dataset_weekly.csv
लाइव पेज आईडी से लॉग इन करें: live_test_id.csv

लेख में प्रस्तुत सभी रेखांकन और परिणाम उपरोक्त डेटा पर आधारित हैं। अधिकतर हम all.csv फ़ाइल के साथ काम करेंगे।

ट्यूटोरियल तलाश रहे हैं

आइए मुख्य रूप से एकत्रित मापदंडों द्वारा लेखों के वितरण पर दो वर्गों के लिए अलग-अलग विचार करें: ट्यूटोरियल और नियमित पोस्ट (गैर-ट्यूटोरियल)। वाई अक्ष पर, एक्स अक्ष पर संबंधित पैरामीटर के लिए मानों वाले लेखों का अनुपात। हमारे पास तीन मुख्य पैरामीटर हैं: विचार, पसंदीदा और पसंदीदा में प्रविष्टियों की संख्या।

(सभी पर histograms_tutorial_vs_normal.R स्क्रिप्ट का उपयोग करके प्राप्त की गई )

यदि आपने हमेशा जिपफ लॉ के बारे में पढ़ने के लिए एक सुविधाजनक पल का इंतजार किया है, तो यह आ गया है। दाईं ओर, हम कुछ अच्छी तरह से इस वितरण की याद ताजा करते हैं (और मुझे लगता है कि हम इसे भविष्य में एक से अधिक बार देखेंगे)।

सामान्य तौर पर, हम देखते हैं कि ट्यूटोरियल में वोट (प्लसस) और विचारों का वितरण बाईं ओर स्थानांतरित कर दिया गया है - सामान्य पदों के वितरण के सापेक्ष और जिपफ के कानून के समान है, हालांकि यह ध्यान देने योग्य है कि यहां पत्राचार स्पष्ट नहीं है। तो औसतन, नियमित रूप से पोस्ट अधिक धन और विचार प्राप्त करते हैं। और पसंदीदा का वितरण पहले से ही ट्यूटोरियल के दाईं ओर स्थानांतरित कर दिया गया है और यह जिपफ के नियम के समान नहीं है। औसतन, हम देखते हैं कि पाठक अपने पसंदीदा में अधिक सक्रिय रूप से ट्यूटोरियल जोड़ रहे हैं। लगभग पूरे वितरण में, ट्यूटोरियल सामान्य पदों पर दो बार हावी होता है, हम दो वितरणों की मात्राओं की एक छोटी तालिका प्रस्तुत करते हैं:

तालिका निम्नानुसार पढ़ी जाती है: यदि किसी नियमित पद का 20%-भाग 16 है, तो इसका मतलब है कि नियमित पदों के सभी पदों के 20% पसंदीदा में 16 से अधिक प्रविष्टियां नहीं एकत्र करते हैं। माध्य एक 50% मात्रात्मक है, ट्यूटोरियल के लिए यह 109 है, और नियमित पदों के लिए 49 है।

यह एक साथ मापदंडों को वितरित करने पर भी विचार करने योग्य है। ऊपर दिए गए ग्राफ़ से, हम देखते हैं कि पसंदीदा शैक्षिक सामग्री के लिए एक विशेष भूमिका निभाते हैं और इसलिए हम लेख में उन पर विशेष ध्यान देंगे।

( All.csv पर स्क्रिप्ट संयुक्त_फॉवर्स_स्कोर_व्यू .R का उपयोग करके प्राप्त किया गया)

ऊपर दिए गए ग्राफ़ से आप डेटा के सामान्य रुझान को ट्यूटोरियल में देख सकते हैं, एक प्लस में कई पसंदीदा हैं, ट्यूटोरियल के लिए औसत अनुपात एक नियमित पोस्ट की तुलना में 2.6 गुना अधिक है, और एक दृश्य का औसत (औसत) 2.7 गुना अधिक पसंदीदा है। एक नियमित पोस्ट पर।

यह हमें रुचि के क्षेत्र को रेखांकित करने की अनुमति देता है, जहां लेबल के बिना प्रशिक्षण सामग्री के अधिकांश लाल क्षेत्र की ऊपरी सीमा में नीले डॉट्स स्थित होने की संभावना है। हम अपने डेटा के लिए अनुरोध तैयार कर सकते हैं और इस अनुमान को सत्यापित कर सकते हैं। और कुछ नियमों को प्राप्त करना संभव है जो हमें इस लेबल के लेखकों को स्वचालित रूप से "सही" या याद दिलाने की अनुमति देंगे।

(वितरण की पूंछ रेखांकन पर काट दी जाती हैं; बहुत कम संख्या में अंक निर्दिष्ट सीमाओं से बाहर हो जाते हैं। लेकिन इन बिंदुओं के शामिल होने से पैमाने में वृद्धि होगी और शेष अंक लगभग अप्रभेद्य और अपठनीय हो जाएंगे।)

हम दिलचस्प उदाहरणों का विश्लेषण करते हैं

इस भाग में, हम कुछ विशिष्ट उदाहरणों के बारे में बात करेंगे जो डेटा में पाए जाते हैं और जो हमें लेखों और उनके गुणों में मौजूदा संभावित पैटर्न को बेहतर ढंग से समझने में मदद करेंगे।

कई पसंदीदा - कुछ प्लस

प्रश्न:

आर भाषा क्वेरी

query1 <- subset(data, favors > 1000 & score < 50 & isTutorial == FALSE)

परिणाम:

जैसा कि हम देख सकते हैं, पहला लेख शुद्ध, अप्रशिक्षित प्रशिक्षण सामग्री है, जबकि दूसरा भी शिक्षण सामग्री होने का दावा कर सकता है। हम ऊपर दिए गए ग्राफ़ से निम्न प्रवृत्ति को नोटिस कर सकते हैं: सभी वितरण बताते हैं कि औसतन एक ट्यूटोरियल नियमित लेख की तुलना में कम प्लसस और बहुत अधिक पसंदीदा प्राप्त कर रहा है। इस तथ्य के साथ कि किसी कारण से बड़ी संख्या में ट्यूटोरियल का टैग नहीं है, हम मानते हैं कि सामान्य डेटा रुझानों के अनुसार लेख, जिसमें प्लसस की एक छोटी संख्या और पसंदीदा की एक बड़ी संख्या है, के पास शैक्षिक सामग्री होने का एक अच्छा मौका है।

पसंदीदा प्लसस से 10 गुना अधिक (और कम से कम 25 प्लस) हैं

प्रश्न:

आर भाषा क्वेरी

query2 <- subset(data, favors > 10*score & score > 25)

परिणाम:

पिछली क्वेरी का थोड़ा जटिल संस्करण, हम उन लेखों की तलाश कर रहे हैं जहां पसंदीदा प्लसस से दस गुना अधिक हैं और प्लसस की संख्या कम से कम 25 है। ऐसी स्थितियों के तहत, हमें ऐसे लेख मिलते हैं जिन्होंने बड़ी संख्या में लोगों को बनाए रखा है, जो कुछ संकेतक के रूप में काम कर सकते हैं: लेख भविष्य में उपयोगी होगा, जिसका अर्थ है कि यह प्रशिक्षण सामग्री के लिए एक अच्छा उम्मीदवार है।

इस अनुरोध का माइनस यह है कि ट्यूटोरियल का आधा भाग 18 या उससे कम प्लस प्राप्त कर रहा है, जिसका अर्थ है कि यह नियम बड़ी संख्या में संभावित ट्यूटोरियल लेखों को काट देता है।

क्वेरीज़ के साथ स्क्रिप्ट। क्वेरीज़, डेटासेट all.csv ।

प्रीडिक्ट ट्यूटोरियल लेबल

आलेख में ट्यूटोरियल लेबल बाइनरी विशेषता isTutorial से मेल खाती है। इसलिए हम स्कोर , व्यू और पसंदीदा मापदंडों द्वारा एक ट्यूटोरियल लेबल को परिभाषित करने के कार्य को तैयार कर सकते हैं, क्योंकि कुछ विधेय के लिए खोज (एक फ़ंक्शन जो 1 या 0 लौटाता है) च ऐसा है कि पूरे डेटा सेट के लिए यह सच है कि

(लेखक स्वीकार करते हैं कि वह अब सब कुछ काफी सरल कर देते हैं और आम तौर पर सक्रिय रूप से अपने हाथों को लहरते हैं - लेकिन यह सामान्य पाठक को देना चाहिए कि क्या करना है)

वास्तव में, शास्त्रीय मशीन सीखने के तरीके (जैसे एसवीएम, रैंडम फ़ॉरेस्ट, रिकर्सिव ट्रीज़ आदि) निम्नलिखित कारणों से एकत्रित डेटा पर गुणात्मक परिणाम नहीं दिखाएंगे:

अविश्वसनीय रूप से खराब फ़ीचर स्पेस यानी केवल तीन पैरामीटर हैं जो ट्यूटोरियल को एक नियमित पोस्ट से अच्छी तरह से अलग नहीं करते हैं - यह नीचे वर्णित है
लेखों की एक महत्वपूर्ण संख्या को ट्यूटोरियल के रूप में चिह्नित नहीं किया जाता है, लेकिन वास्तव में वे हैं - पहला अनुरोध और लेख देखें: "घर पर Nginx + LAMP सर्वर को कॉन्फ़िगर करना" - यह एक क्लासिक ट्यूटोरियल है, लेकिन यह एक नियमित पोस्ट के रूप में चिह्नित है!
लेबल की विषयवस्तु, उपस्थिति और / या उसकी अनुपस्थिति मोटे तौर पर केवल लेखक की राय से निर्धारित होती है

इस स्थिति में हम क्या कर सकते हैं? मौजूदा डेटा के आधार पर, हम कुछ पर्याप्त शर्तों को प्राप्त करने की कोशिश कर सकते हैं और मौजूदा डेटा पर उनकी व्यवहार्यता देख सकते हैं। यदि नियम डेटा से मेल खाते हैं, तो प्रेरण द्वारा हम कुछ नियम बना सकते हैं जो हमें एक लेबल के बिना ट्यूटोरियल को खोजने और चिह्नित करने की अनुमति देगा। सरल, व्याख्यात्मक और स्वादिष्ट।

उदाहरण के लिए, निम्नलिखित नियम डेटा के साथ अच्छे समझौते में है और आपको कुछ लेबल संशोधित करने की अनुमति देता है (उदाहरण के लिए पूरी तरह से दिया गया):

और उत्तर में पहली प्रविष्टियाँ:

आर भाषा क्वेरी

query3 <- subset(data, favors >= 10*score, favors >= views/100)

जैसा कि आप देख सकते हैं, इस तथ्य के बावजूद कि अधिकांश प्रविष्टियों में एक ट्यूटोरियल लेबल नहीं है, लेख वास्तव में उनके हैं (पहले 6 प्रविष्टियों में छोटे स्कोर मूल्यों के बावजूद; हालांकि ट्यूटोरियल के आधे से अधिक में 18 से कम प्लस हैं)। इस प्रकार, हम तथाकथित सह-प्रशिक्षण का संचालन कर सकते हैं, अर्थात् लेबल के साथ डेटा की एक छोटी राशि के लिए, नियमों को प्राप्त करें जो हमें शेष डेटा को चिह्नित करने और शास्त्रीय मशीन सीखने के तरीकों के आवेदन की स्थिति बनाने की अनुमति देते हैं।

लेकिन कोई फर्क नहीं पड़ता कि हम किस स्मार्ट प्रशिक्षण एल्गोरिदम का उपयोग करते हैं, ट्यूटोरियल के वर्गीकरण में सबसे महत्वपूर्ण समस्या विशेषता स्थान का उचित निर्माण है, अर्थात। संख्यात्मक या नाममात्र के एक निश्चित वेक्टर में एक लेख का मानचित्रण करना (कई परिमित मूल्य हैं, उदाहरण के लिए, रंग नीला, लाल या हरा हो सकता है) चर।

डेटा सेट को बेहतर कैसे बनाया जाए

एकत्रित डेटा सेट आदर्श से बहुत दूर है, इसलिए दूसरों द्वारा किए जाने से पहले स्वयं इसकी आलोचना करना शुरू कर दें। बेशक, केवल एक पैरामीटर, विचार, रेटिंग से, पसंदीदा को स्पष्ट रूप से भविष्यवाणी नहीं की जा सकती है कि यह लेख एक ट्यूटोरियल है या नहीं। हालांकि, हमें एक नियम, या एक क्लासिफायरियर की आवश्यकता है, जो काफी सटीक रूप से काम करेगा। ऐसा करने के लिए, लेखों की कुछ और विशिष्ट विशेषताओं पर विचार करें जो काम में आ सकती हैं।

पहले उदाहरण पर विचार करें:

आंख क्या पकड़ती है कि कई ट्यूटोरियल में, छवियां होती हैं, अक्सर बड़ी मात्रा में - हां, उन्हें नियमित पदों पर भी पाया जा सकता है, लेकिन अन्य मापदंडों के साथ संयोजन में यह एक मूल्यवान विशेषता हो सकती है। इसके अलावा, इस तथ्य पर छूट न दें कि कई हब शैक्षिक सामग्री दूसरों की तुलना में बेहतर हैं - शायद यह भी विचार करने योग्य है।

दूसरे उदाहरण पर विचार करें:

यहां सबसे महत्वपूर्ण बात कोड और संरचना की उपस्थिति है, यह मानना स्वाभाविक है कि ये कारक कक्षाओं के बीच अच्छी तरह से भेदभाव कर सकते हैं और इसका मतलब है कि, सिद्धांत रूप में, उन्हें मॉडल में ध्यान में रखा जा सकता है। हम इस तरह के एक पैरामीटर को समान पदों के बीच प्रशिक्षण सामग्री की उपलब्धता के रूप में भी पेश कर सकते हैं।

Hypothetically, यह हमें एक नया डेटासेट (और वर्गीकरण के लिए एक नया पैरामीटर स्थान) देगा जो आलेख कक्षाओं के बीच बेहतर अंतर कर सकता है।

वर्गीकरण के लिए सुविधाओं का स्थान वास्तव में बहुत बड़ा हो सकता है: टिप्पणियों की संख्या, वीडियो की उपस्थिति, शीर्षक में कीवर्ड और कई अन्य। अंतरिक्ष का चुनाव एक सफल क्लासिफायरफायर के निर्माण की कुंजी है।

आपको लेखों के वर्तमान स्लाइस का उपयोग क्यों करना चाहिए

मूल्यांकन के लिए Habr से सभी उपलब्ध लेखों का उपयोग क्यों नहीं किया गया? क्या इससे क्लासिफायर की सटीकता नहीं बढ़ेगी? हम केवल वर्तमान स्लाइस क्यों लेते हैं? खिड़की की चौड़ाई, वास्तव में, यथोचित रूप से चुनी जानी चाहिए और इसके लिए अतिरिक्त विश्लेषण की आवश्यकता हो सकती है।

लेकिन आप निम्नलिखित कारणों से संसाधन के अस्तित्व की पूरी अवधि के लिए सामान्य रूप से सभी लेखों का एक नमूना नहीं ले सकते हैं: संसाधन लगातार विकसित हो रहा है और तदनुसार लेखों की विशेषताओं में परिवर्तन होता है: यदि हम बहुत पहले लेखों जैसे 171 , 2120 , 18709 को देखते हैं, तो हम देखेंगे कि उनकी विशेषताओं में काफी बदलाव आया है और वे पहले से ही हैं। आधुनिक लेखों के प्रतिनिधि नमूने में शामिल नहीं होना चाहिए, क्योंकि औसतन हम नए लेखों के लिए ऐसे मापदंडों की अपेक्षा नहीं करते हैं। शायद ही इसलिए कि दर्शक बदल गए हैं, लेख खुद बदल गए हैं और इंटरनेट पर लेखों के वितरण चैनल बदल गए हैं।

निष्कर्ष

हमने हबर लेख के सबसे बुनियादी मापदंडों की समीक्षा और विश्लेषण किया। यह विचार कि "ट्यूटोरियल" लेबल की स्वचालित रूप से भविष्यवाणी की जा सकती है, हमें यह समझने में मदद करता है कि डेटा सेटों का विस्तार कैसे किया जाए और यह किस दिशा में देखने योग्य है। हमने विचारों, पसंदीदा और रेटिंग के संदर्भ में नियमित पोस्ट और प्रशिक्षण सामग्री के बीच मुख्य अंतर को भी देखा। उन्होंने बताया कि मुख्य अंतर पसंदीदा में पर्याप्त रूप से बड़ी प्रविष्टियों की उपस्थिति और इस अंतर का संख्यात्मक अनुमान निर्धारित करना है।

शीर्ष में केवल 2.8% के पास लेबल "शिक्षण सामग्री" है, इसके परिचय के बाद से पूरे समय के लिए 9.1% की कुल हिस्सेदारी के साथ (27 सितंबर 2012), यह संभवतः इस तथ्य के कारण है कि लेबल से पहले पर्याप्त सामग्री शीर्ष पर आई थी या "ट्यूटोरियल" लेबल का उपयोग इसके परिचय के तुरंत बाद उपयोग में नहीं आया है। इस परिकल्पना के पक्ष में, उनका कहना है कि सप्ताह और महीने के लिए सर्वश्रेष्ठ में ट्यूटोरियल का कुल हिस्सा व्यावहारिक रूप से सभी पदों के बीच के हिस्से से अलग नहीं है (प्रति माह 8.1% और प्रति सप्ताह 7.8%;

शायद एक विस्तारित डाटासेट का उपयोग करते हुए, हम काफी प्रभावी ढंग से (विभिन्न मशीन सीखने के तरीकों का उपयोग करके) भविष्यवाणी कर सकते हैं और लेखक को बता सकते हैं: "आप ट्यूटोरियल लेबल भूल गए होंगे।" यह कार्य मुख्य रूप से दिलचस्प होगा क्योंकि यह आपको दिलचस्प प्रशिक्षण सामग्री के चयन के साथ एक पूरी सूची को संकलित करने की अनुमति देगा जो कि प्लसस के अलावा अन्य मापदंडों द्वारा क्रमबद्ध या मूल्यांकन किया जा सकता है, उदाहरण के लिए, इस लेख को अपने पसंदीदा में जोड़ने वाले लोगों की संख्या।

आगे पढ़ रहे हैं

यदि डेटा विश्लेषण का विषय दिलचस्प लग रहा था, तो नीचे उपयोगी सामग्री की एक सूची है

उदारण - व्याख्यात्मक डेटा विश्लेषण और डेटा विज्ञान
कैलटेक - डेटा से सीखना
कौरसेरा - डेटा साइंस ट्रैक (अभी शुरू!)
यदि आप सेंट पीटर्सबर्ग में रहते हैं, तो आप DMLabs में पाठ्यक्रम ले सकते हैं
यदि आप मास्को में रहते हैं, तो आपने शायद पहले ही SHAD के बारे में सुना होगा

हाबरा-ट्यूटोरियल का पोर्ट्रेट

एक नियमित हब्र-ट्यूटोरियल कैसा दिखता है

डेटा एकत्र करना

अतिरिक्त डेटा

हाबरा डेटा

ट्यूटोरियल तलाश रहे हैं

हम दिलचस्प उदाहरणों का विश्लेषण करते हैं

कई पसंदीदा - कुछ प्लस

पसंदीदा प्लसस से 10 गुना अधिक (और कम से कम 25 प्लस) हैं

प्रीडिक्ट ट्यूटोरियल लेबल

डेटा सेट को बेहतर कैसे बनाया जाए

आपको लेखों के वर्तमान स्लाइस का उपयोग क्यों करना चाहिए

निष्कर्ष

आगे पढ़ रहे हैं

More articles: