Apache Hadoop और Hive के साथ क्लाउड में Twitter डेटा का विश्लेषण करें

यह मार्गदर्शिका Windows Azure के लिए Apache Hadoop- आधारित सेवाओं, साथ ही Excel में हाइव अनुरोध का उपयोग करके ट्विटर डेटा को क्वेरी, अध्ययन और विश्लेषण करने के तरीके का वर्णन करती है। सामाजिक नेटवर्क बड़े डेटा का मुख्य स्रोत हैं। इसलिए, सोशल मीडिया के सार्वजनिक एपीआई जैसे ट्विटर उपयोगी जानकारी के स्रोत के रूप में काम करते हैं और नेटवर्क के रुझानों को बेहतर ढंग से समझने में मदद करते हैं।

मैनुअल में निम्नलिखित भाग होते हैं।

1. Twitter के लिए Microsoft Analytics खोज, डाउनलोड, इंस्टॉल और उपयोग करें
2. CURL और Twitter स्ट्रीमिंग एपीआई का उपयोग करके ट्विटर फीड प्राप्त करना
3. Windows Azure क्लस्टर पर एक नया Hadoop अनुरोध करें और कॉन्फ़िगर करें
4. Hadoop पर Windows क्लस्टर में Hive के साथ Twitter डेटा संसाधित करना
5. Hive डेटा प्राप्त करने के लिए Hive ODBC और Hive डैशबोर्ड को Excel में कॉन्फ़िगर करें

Twitter के लिए Microsoft Analytics खोज, डाउनलोड, इंस्टॉल और उपयोग करें

ट्विटर के लिए Microsoft Analytics निम्न पते पर डाउनलोड के लिए उपलब्ध है: http://www.microsoft.com/download/en/details.aspx?id=26213 ।

काम के लिए, एक्सेल 2010 एप्लिकेशन और पावरपॉइंट ऐड-इन की आवश्यकता है, जिसे http://www.microsoft.com/download/en/details.aspx?id=29074 ) पर डाउनलोड किया जा सकता है।



निम्नलिखित मूवी टैग और खातों को क्वेरी विंडो में पेस्ट करें:

#moneyball, @MoneyballMovie, @helpmovie, @BridesmaidsSay, @ContAGionMmovie

बटन दबाएं



और ऑनस्क्रीन निर्देशों का पालन करें।

नोट। इस अनुभाग में Hadoop का उपयोग नहीं किया गया है। यहाँ एक्सेल और पॉवरपिव ​​में ट्विटर सर्च एपीआई और सेल्फ सर्विस बिजनेस इंटेलिजेंस के साथ काम करना है।

CURL और Twitter स्ट्रीमिंग एपीआई का उपयोग करके ट्विटर फ़ीड प्राप्त करें

इस बिंदु पर, curl.exe आवश्यक है। अपने OS के लिए कर्ल फ़ाइल डाउनलोड करें (उदाहरण के लिए, 64-बिट विंडोज के लिए बाइनरी बाइनरी एसएसएल फ़ाइल) http://curl.haxx.se/download.html पर



और एक उपयुक्त फ़ोल्डर में कर्ल को अनज़िप करें (उदाहरण के लिए, C: \ twitterdata )।

दो फ़ाइलों को कॉपी करें - Twitter स्ट्रीम प्राप्त करें। cmd और twitter_params.txt - Step2GetTwitterFeedUsingCURLAndTwitterStreamingAPI फ़ोल्डर से curl.exe युक्त फ़ोल्डर में:



Tweets को ट्रैक करने के लिए twitter_params.txt फ़ाइल को निम्नानुसार संशोधित करें:

track = मनीबॉल, मनीबॉलमूवी, हेल्पमूवी, ब्राइड्समेड्ससे, CONTAGION_movie

निम्न क्रमांक पर PASSWORD के बजाय USER और पासवर्ड के बजाय अपना Twitter उपयोगकर्ता नाम डालकर, twitter stream.cmd कमांड स्क्रिप्ट बदलें।

curl -d @ twitter_params.txt -k stream.twitter.com/1/statuses/filter.json -uUSER: PASSWORD >> twitter_stream_seq.txt

निम्नानुसार कमांड लाइन से ट्विटर स्ट्रीम.cmd स्क्रिप्ट प्राप्त करें:



निम्न जानकारी स्क्रीन पर दिखाई देगी:



स्क्रिप्ट को समाप्त करने के लिए, Ctrl + C दबाएं। तब आप फ़ाइल का नाम बदल सकते हैं और स्क्रिप्ट को फिर से चला सकते हैं।

Windows Azure क्लस्टर पर एक नया Hadoop अनुरोध करें और कॉन्फ़िगर करें

इस बिंदु पर, Windows Azure पर Apache Hadoop- आधारित सेवा के लिए CTP पहुँच आवश्यक है। Https://www.hadooponazure.com/ पर जाएं और आमंत्रण लिंक पर क्लिक करें। यदि आपके पास पहुंच है, तो साइन इन बटन पर क्लिक करें।



एक नए क्लस्टर का अनुरोध करें। निम्न मेलबॉक्स मेलबॉक्स नाम के एक बड़े क्लस्टर का एक उदाहरण है। अपना उपयोगकर्ता नाम और पासवर्ड दर्ज करें, और फिर अनुरोध क्लस्टर पर क्लिक करें। सभी प्रश्नों के लिए, अपाचे Hadoop को Windows Azure बेस्ड सर्विस और FAQ गाइड के लिए देखें।



सर्वर तक पहुंचने के लिए FTPS और ODBC पोर्ट खोलें।





इंटरएक्टिव कंसोल आइकन पर क्लिक करें।



निम्नलिखित जावास्क्रिप्ट आदेश का उपयोग करके एचडीएफएस पर ट्विटर टेक्स्ट फ़ाइल के लिए एक निर्देशिका बनाएं:

js> #mkdir / उदाहरण / डेटा

परीक्षण पाठ फ़ाइलों को डाउनलोड करने के लिए, निम्नलिखित कमांड चलाएं:

js> # राजपूत
स्रोत: C: \ hadoop \ example \ data \ Sample.txt
गंतव्य: / उदाहरण / डेटा

एचडीएफएस के लिए बड़ी (असम्पीडित) टेक्स्ट फ़ाइलों को सीधे डाउनलोड करने के लिए, आपको कर्ल। Exe फ़ाइल की आवश्यकता है। यदि यह फ़ाइल मौजूद नहीं है, तो चरण 2 के निर्देशों के अनुसार इसे डाउनलोड करें और इसे उपयुक्त फ़ोल्डर में अनज़िप करें, उदाहरण के लिए, यहां: C: \ hadoop \ example \ data। फिर PowerShell खोलें, C: \ hadoop \ example \ data पर जाएं और FTPS के लिए निम्न PowerShell स्क्रिप्ट को SampleData पाठ फ़ाइल ( नमूनाData.txt) में पेस्ट करें:

C: \ hadoop \ example \ data>

# ----- azure शक्तियाँ उदाहरण के लिए हडोप से कर्ल फ़ुट शुरू करें -
# ------ XXXXXXX को उचित सर्वरनेम / उपयोगकर्ता नाम / पासवर्ड से बदलें

$ serverName = "XXX.cloudapp.net"; $ उपयोगकर्ता नाम = "XXXX";
$ पासवर्ड = "XXXXXXXX";
$ fileToUpload = "SampleData.txt"; $ गंतव्य = "/ उदाहरण / डेटा /";
$ Md5Hasher = [System.Security.Cryptography.MD5] :: बनाएँ ();
$ हैशबाइट्स = $ Md5Hasher.ComputeHash ($ ([चार []] $ पासवर्ड))
foreach ($ hashBytes में $ बाइट) {$ passwordHash + = "{0: x2}" -f $ byte}
$ curlCmd = "। \ _ कर्ल -k --ftp-create-dirs -T $ fileToUpload -u $ userName"
$ curlCmd + = ": $ पासवर्ड हैश फीट: // $ सर्वरनाम" + ": 2226 गंतव्य"
आह्वान-अभिव्यक्ति $ curlCmd

# ----- azure शक्तियाँ उदाहरण के लिए कर्ल फ़ुट को हडोप करें



डाउनलोड करने से पहले बहुत बड़ी फ़ाइलों को संपीड़ित किया जाना चाहिए। एक संपीड़ित फ़ाइल (एक्सटेंशन .gz, आदि के साथ) आपके विंडोज एज़्योर स्टोरेज खाते में अपलोड की जा सकती है। CloudXplorer प्रोग्राम ( http://clumsyleaf.com/products/cloudxplorer ) का उपयोग करके, फ़ाइल को इस प्रकार डाउनलोड किया जाता है:

अपना Windows Azure संग्रहण खाता सेट करने और CloudXplorer को स्थापित करने के बाद, Windows Azure पोर्टल पर जाएं और दाएं कॉलम में व्यू बटन पर क्लिक करके अपने संग्रहण खाते के प्राथमिक पासक को कॉपी करें।



फिर CloudXplorer खोलें और फ़ाइल -> खातों का प्रबंधन करें । एक नया डायलॉग बॉक्स खुलेगा। नया क्लिक करें और Windows Azure खाता चुनें ।



अगले डायलॉग बॉक्स में, वॉल्ट अकाउंट सेट करते समय आपके द्वारा निर्दिष्ट वॉल्ट अकाउंट का नाम पेस्ट करें (उदाहरण के लिए, हडपडेमो), और कॉपी की गई एक्सेस कुंजी।



नए भंडारण खाते में, एक कंटेनर बनाएं (विंडोज एज़्योर में, निर्देशिका को कंटेनर कहा जाता है)।



कंटेनर में ज़िप संग्रह डाउनलोड करें (कॉपी करें) (हमारे मामले में, कंटेनर को डेटा कहा जाता है )।



डेटा प्रबंधित करें आइकन पर क्लिक करके अपना Windows Azure BLOB संग्रहण खाता सेट करें



ASV सेट करने के लिए अगला।



अब आपको Windows Azure Storage Account Name (हमारे मामले में यह hadoptmo था) और मुख्य एक्सेस कुंजी का नाम चाहिए।



Windows Azure संग्रहण खाते और प्राथमिक पासकी का नाम दर्ज करें, और फिर सेटिंग्स सहेजें पर क्लिक करें ।

Hadoop पर Windows क्लस्टर में Hive के साथ Twitter डेटा संसाधित करना

Https://www.hadooponazure.com/ पर जाएं । रिमोट डेस्कटॉप पर क्लिक करके Hadoop हेड नोड से कनेक्ट करें।



ओपन बटन पर क्लिक करें।



चरण 3 में क्लस्टर बनाते समय आपके द्वारा उपयोग किए गए नाम और पासवर्ड के साथ दूरस्थ सर्वर में लॉग इन करें।

एक निर्देशिका बनाएँ (उदाहरण के लिए, c: \ Apps \ dist \ example \ data ) दूरस्थ Hadoop हेड नोड सर्वर पर (NTFS पक्ष पर) एक्सप्लोरर या कमांड लाइन का उपयोग करके, और फिर उस पर नेविगेट करें।

CopyToHeadnode फ़ोल्डर की संपूर्ण सामग्री को नई निर्देशिका में कॉपी करें। इसमें HiveUDFs.jar फ़ाइल (हाइव क्वेरीज़ के लिए उपयोगकर्ता-परिभाषित फ़ंक्शंस), गज़िप , साथ ही हाइव टेक्स्ट क्वेरी फ़ाइलें भी शामिल हैं। इसके अलावा, फ़ाइल की प्रतिलिपि बनाएँ इस चरण के अंतिम भाग को सरल बनाने के लिए Hadoop Command Shell.txt से चलने के लिए सभी चरण।



RDP होस्ट और रिमोट डेस्कटॉप के बीच कॉपी करने का समर्थन करता है। कभी-कभी Hadoop gzip फाइल को डिकम्प्रेस करता है जबकि इसे HDFS में कॉपी किया जा रहा है।

रिमोट डेस्कटॉप पर Hadoop कमांड शेल खोलें।



C: \ Apps \ dist \ example \ data पर जाएं ।



Windows Azure संग्रहण से c: \ Apps \ dist \ example \ data फ़ोल्डर (NTFS पक्ष पर) के लिए ट्विटर स्ट्रीम seq8.gz फ़ाइल की प्रतिलिपि बनाएँ। भंडारण खाते में फ़ाइल का स्थान चरण 3 में निर्दिष्ट विंडोज एज़्योर भंडारण संघों पर निर्भर करता है। हमारे मामले में, कंटेनर को डेटा कहा जाता है और यह asv: // के तहत लाइन में प्रदर्शित किया जाता है:

c: \ Apps \ dist \ example \ data> hadoop fs -copyToLocal asv: //data/twitter_stream_seq8.txt.gz twitter_stream_seq8.txt.gz

ट्विटर स्ट्रीम seq8.gz आर्काइव को c: \ Apps \ dist \ example \ data फ़ोल्डर में अनज़िप करें, जैसा कि नीचे दिखाया गया है (आपको gzip.exe प्रोग्राम की आवश्यकता होगी, जिसे आपको http://www.gzip.org/ से डाउनलोड करना होगा और जगह चाहिए वह निर्देशिका जहां कमांड को निष्पादित किया जाता है):

c: \ Apps \ dist \ example \ data> gzip -d -N twitter_stream_seq8.txt.gz

नोट। कभी-कभी Hadoop फ़ाइल को HDFS में कॉपी करते समय अनपैक कर देता है, हालाँकि यह केवल .bz2 (bzip2) http://bzip.org/ अभिलेखागार के लिए काम करता है:

hadoop fs -copyFromLocal twitter_stream_seq8.txt.gz /example/data/twitter_stream_seq8.txt

निम्न आदेश के साथ HDFS में ट्विटर स्ट्रीम seq8.txt की प्रतिलिपि बनाएँ : \ Apps \ dist \ example \ data फ़ोल्डर

c: \ Apps \ dist \ example \ data>

hadoop fs -copyFromLocal twitter_stream_seq8.txt /example/data/twitter_stream_seq8.txt

1. सुनिश्चित करें कि एचडीएफएस पर फ़ाइल अपडेट की गई है। ऐसा करने के लिए, खोलें



और / उदाहरण / डेटा फ़ोल्डर में जाएं।



Hadoop कमांड Shell.txt फ़ाइल से चलाने के लिए सभी चरणों में निम्न कुछ चरण समाहित हैं जो आपने हेड नोड में कॉपी किए हैं।

निम्नलिखित कमांड के साथ twitter_raw बनाएं और अपलोड करें:

c: \ apps \ dist \ example \ data> hive -v -f load_twitter_raw.txt



तालिका को एचटीएफएस की ओर / हाइव / वेयरहाउस निर्देशिका में बनाया जाएगा:



इसे हाइव का उपयोग करके सत्यापित किया जा सकता है : c: \ Apps \ dist \ example \ data> हाइव और हाइव> शो टेबल; जैसा कि नीचे दिखाया गया है।



हाइव से बाहर निकलने के लिए, हाइव> कमांड छोड़ें का उपयोग करें ; । निम्नानुसार twitter_temp बनाएं और अपलोड करें:

c: \ apps \ dist \ example \ data> hive -v -f create_twitter_temp.txt

यदि 4 नोड हैं, तो यह ऑपरेशन 20 मिनट से अधिक समय लेगा, और यदि 8 नोड हैं, तो 8 मिनट 55 सेकंड लगेंगे। निम्न विंडो में प्रगति की जाँच करें:



विवरण और प्रगति देखने के लिए किसी कार्य पर क्लिक करें। ऑपरेशन में 20 मिनट से अधिक लग सकते हैं।



आप Hadoop कमांड शेल का उपयोग करके कार्य निष्पादन की निगरानी भी कर सकते हैं:



इसे C: \ Apps \ dist \ example \ data> hive और Hive> शो टेबल पर टाइप करके हाइव का उपयोग करके सत्यापित किया जा सकता है:



निम्नानुसार twitter_stream बनाएं और अपलोड करें:

c: \ apps \ dist \ example \ data> hive -v -f create_twitter_stream.txt

यदि 4 नोड हैं, तो यह ऑपरेशन 60 मिनट से अधिक समय लेगा, और यदि 8 नोड हैं, तो 31 मिनट 54 सेकंड लगेंगे। ऊपर बताए अनुसार प्रगति को ट्रैक करें। निम्नलिखित कमांड के साथ ट्विटर स्ट्रीम नमूना बनाएं और डाउनलोड करें:

c: \ apps \ dist \ example \ data> hive -v -f create_twitter_stream_sample.txt

ऊपर बताए अनुसार प्रगति को ट्रैक करें। निम्नानुसार twitter_movies बनाएं और अपलोड करें:

c: \ apps \ dist \ example \ data> hive -v -f create_twitter_movies.txt

ऊपर बताए अनुसार प्रगति को ट्रैक करें। कमांड के साथ vw ट्विटर मूवीज बनाएं और डाउनलोड करें:

c: \ apps \ dist \ example \ data> hive -v -f create_twitter_movies_vw.txt

ऊपर बताए अनुसार प्रगति को ट्रैक करें।

Hive डेटा प्राप्त करने के लिए Hive ODBC और Hive डैशबोर्ड को Excel में कॉन्फ़िगर करें

यह अनुभाग विंडोज अज़ूर सर्विस इंस्ट्रक्शंस और डाउनलोड टाइल पर स्थित अक्सर पूछे जाने वाले प्रश्न दस्तावेज़ के लिए अपाचे हडोप से लिया गया है ।



Windows Azure पोर्टल पर Hadoop में।





वहां से, आप 64-बिट और एक्सेल के 32-बिट संस्करणों के लिए HiveODBCSetup डाउनलोड कर सकते हैं।

HiveODBC का उपयोग करके Windows Azure प्लेटफ़ॉर्म पर Hadoop में Excel के लिए Hive ऐड-इन से कैसे कनेक्ट करें

Microsoft के बड़े डेटा समाधान की सबसे महत्वपूर्ण विशेषता है, Microsoft व्यवसाय खुफिया घटकों के साथ Hadoop का एकीकरण। एक अच्छा उदाहरण एक Hadoop क्लस्टर में Hive डेटा वेयरहाउस ढांचे में Excel का कनेक्शन है। यह खंड दिखाता है कि हाइव ODBC ड्राइवर के माध्यम से एक्सेल का उपयोग कैसे करें।

हाइव ODBC ड्राइवर स्थापित करना

स्थापना शुरू करने के लिए, Hado OD से Windows Azure पोर्टल में Hive ODBC ड्राइवर (.msi फ़ाइल) के 64-बिट संस्करण को डाउनलोड करें। स्थापना शुरू करने के लिए HiveODBCSetupx64.msi पर डबल-क्लिक करें। लाइसेंस समझौता पढ़ें। यदि आप इसकी शर्तों से सहमत हैं, तो मुझे स्वीकार है और फिर इंस्टॉल करें पर क्लिक करें ।



स्थापना पूर्ण होने के बाद, विज़ार्ड से बाहर निकलने के लिए समाप्त पर क्लिक करें ।

एक्सेल के लिए हाइव ऐड-इन स्थापित करें

इस ऐड-इन को इंस्टॉल करने के लिए हाइव ODBC ड्राइवर और Excel 2010 एप्लिकेशन के 64-बिट संस्करणों की आवश्यकता होती है। Excel 2010 के 64-बिट संस्करण को चलाएं। सिस्टम आपको HiveExcel एक्सटेंशन को स्थापित करने के लिए संकेत देगा। इंस्टॉल पर क्लिक करें । एक्सटेंशन स्थापित होने पर, Microsoft Excel 2010 में डेटा टैब पर क्लिक करें। हाइव पैनल खुलता है, जैसा कि निम्नलिखित स्क्रीनशॉट में दिखाया गया है:

एक्सेल के लिए एक हाइव ODBC डेटा स्रोत बनाना

Microsoft Windows कंट्रोल पैनल लॉन्च करने के लिए स्टार्ट -> कंट्रोल पैनल का चयन करें । नियंत्रण कक्ष विंडो में, सिस्टम और सुरक्षा -> प्रशासनिक उपकरण -> डेटा स्रोत (ODBC) का चयन करें । ODBC डेटा स्रोत व्यवस्थापक संवाद बॉक्स प्रकट होता है ।



ODBC डेटा स्रोत व्यवस्थापक संवाद बॉक्स में, सिस्टम DSN टैब का चयन करें। डेटा स्रोत बनाने के लिए Add पर क्लिक करें। ODBC ड्राइवर सूची में HIVE ड्राइवर का चयन करें।



समाप्त पर क्लिक करें । ODBC Hive सेटअप संवाद बॉक्स खुलता है, जैसा कि नीचे स्क्रीनशॉट में दिखाया गया है।



डेटा स्रोत नाम फ़ील्ड में एक नाम दर्ज करें। उदाहरण के लिए, MyHiveData । होस्ट फ़ील्ड में, पोर्टल पर बनाए गए क्लस्टर नोड का नाम दर्ज करें। उदाहरण के लिए, myhadoopcluster.cloudapp.net । पोर्टल पर प्रमाणीकरण के लिए उपयोगकर्ता नाम दर्ज करें

हाइव डेटा स्रोत को बचाने के लिए ठीक क्लिक करें। ODBC डेटा स्रोत व्यवस्थापक संवाद बॉक्स बंद करने के लिए ठीक क्लिक करें।

एक्सेल में हाइव डेटा प्राप्त करना

Excel 2010 का 64-बिट संस्करण चलाएँ। फिर, डेटा टैब पर क्लिक करें। एक्सेल में हाइव पैनल खोलने के लिए हाइव पैनल पर क्लिक करें। हाइव कनेक्शन ड्रॉप-डाउन सूची का चयन करें या दर्ज करें , आपके द्वारा पहले बनाए गए डेटा स्रोत का नाम निर्दिष्ट करें।

सिस्टम आपको पोर्टल पर क्लस्टर में प्रमाणीकरण के लिए एक पासवर्ड दर्ज करने के लिए कहेगा। अपना पासवर्ड और उपयोगकर्ता नाम दर्ज करें। हाइव ऑब्जेक्ट को क्वेरी ड्रॉप-डाउन सूची में से चुनें, hivesampletable [टेबल] का चयन करें। तालिका के सभी कॉलम देखें। हाइव क्वेरी पैनल कुछ इस तरह दिखना चाहिए:



Execute Query पर क्लिक करें।



हमारे उदाहरण से डेटा को संसाधित करने के लिए, आपको निम्नलिखित फ़ॉर्म की एक क्वेरी निष्पादित करनी होगी:

ट्विटर फिल्मों से चुनें * vw सीमा 20

निष्कर्ष

इस गाइड में, हमने देखा कि विंडोज एज़्योर पर हैडोप और एक्सेल पर क्वेरी हाइव का उपयोग करके ट्विटर से डेटा का क्वेरी, अध्ययन और विश्लेषण कैसे किया जाए।