बिग डेटा के साथ काम करने वाले हर प्रोग्रामर को 12 टूल्स की जानकारी होनी चाहिए

चाहे आप बिग डेटा विश्लेषण के लिए एक सिस्टम डिज़ाइन कर रहे हों या सिर्फ अपने मोबाइल एप्लिकेशन के डेटा को इकट्ठा करने और संसाधित करने की कोशिश कर रहे हों, आप गुणवत्ता विश्लेषण उपकरण के बिना नहीं कर सकते। अच्छी खबर यह है कि कई कंपनियां वर्तमान में बाजार पर उपकरण लॉन्च कर रही हैं जो डेवलपर्स की जरूरतों और उनके कौशल को ध्यान में रखते हैं।

पिछले एक साल में, मुझे कई स्टार्टअप, प्रोजेक्ट और टूल मिले हैं जो प्रोग्रामरों को उन्नत विश्लेषण उपकरण प्रदान करने के लिए डिज़ाइन किए गए हैं। कुछ मामलों में, यह सरल लिपियों के रूप में लागू किया गया था जो काफी शक्तिशाली समाधानों का गठन करते थे। और दूसरों में, इन उपकरणों ने केवल डेवलपर्स को विश्लेषण के लिए अधिक उपयुक्त रूप में डेटा वितरण प्रदान किया, जिसने उन्हें गंदे काम के शेर के हिस्से से बदले में मुक्त कर दिया और आगे के काम की सुविधा प्रदान की। मुझे लगता है कि यह इस क्षेत्र में एक महत्वपूर्ण प्रवृत्ति है।

मोबाइल अनुप्रयोगों और क्लाउड प्रौद्योगिकी की आज की दुनिया में, यह काफी सरल अनुप्रयोग के साथ व्यापार करना पहले से कहीं अधिक आसान है। यहां तक ​​कि बड़ी कंपनियों में, डेवलपर्स को उद्यम के संसाधनों के लिए लड़ना पड़ता है, जिससे उनके अनुप्रयोगों के महान आकर्षण साबित होते हैं या इसे मुद्रीकृत करने के लिए अधिक लाभदायक तरीके मिलते हैं। कभी-कभी यह एप्लिकेशन में कुछ डेटा प्रोसेसिंग प्रक्रियाओं के कार्यान्वयन की ओर भी ले जाता है।
किसी भी स्थिति में, यदि आपके काम में कोड लिखना है, न कि डेटा स्ट्रीम, तो आपको शायद थोड़ी मदद चाहिए। फिर मैं इस मुश्किल काम में आपकी मदद करने के लिए डिज़ाइन किए गए 12 टूल (वर्णमाला क्रम में) लाया। जैसा कि अक्सर इस तरह के संग्रह के साथ होता है, मैं कुछ अच्छे उदाहरणों को याद कर सकता था, इसलिए मैं आपको टिप्पणियों में सक्रिय चर्चा के लिए आमंत्रित करता हूं।

1. बिटडेली

बिटडेली , नवंबर में लॉन्च किया गया एक स्टार्टअप है, जो प्रोग्रामर को पाइथन लिपियों का उपयोग करके विभिन्न प्रकार के मैट्रिक्स के साथ कुछ भी मूल्यांकन करने की अनुमति देता है। सह-संस्थापक और सीईओ विले ट्यूलोस ने कहा कि स्क्रिप्ट सरल या जटिल हो सकती हैं, जो जरूरतों पर निर्भर करती हैं, यहां तक ​​कि स्व-शिक्षा भी। हेवीवेट हैडॉप के विपरीत, बिटडेली एक हल्के समाधान के रूप में खुद को पोजिशन कर रहा है, रूबी फ्रेम पर रूबी की तुलना में, लेकिन केवल एनालिटिक्स के लिए।

2. निरंतरता

याहू के पूर्व मुख्य क्लाउड वास्तुकार, टॉड पापायोन्नौ के दिमाग की उपज और फेसबुक के HBase डेटाबेस इंजीनियर, जोनाथन ग्रे, कॉन्टिन्युइटी को सभी व्यवसायों को उच्च स्तर पर चलाने में मदद करने के लिए डिज़ाइन किया गया है। उपर्युक्त फर्मों में। टीम ने एक डेटा संरचना बनाई है, जो कि Hadoop और HBase समूहों के लिए जटिल कनेक्शन पर अमूर्तता के एक नए स्तर को लागू करती है, और इसमें विकास उपकरण का एक पूरा सेट भी शामिल है। परियोजना का मुख्य लक्ष्य बड़े डेटा अनुप्रयोगों को बनाने की प्रक्रिया को सरल बनाना है जो आंतरिक और बाहरी दोनों दर्शकों के साथ काम करते हैं।

3. हड़बड़ाहट

फ्लुर्री प्रोजेक्ट, एक एकल ऐप स्टोर के रूप में, वास्तव में अपने रचनाकारों को प्रति वर्ष लगभग 100 मिलियन डॉलर लाता है, क्योंकि यह इसे सौंपे गए कार्यों से मुकाबला करता है। कंपनी डेवलपर्स को न केवल मोबाइल एप्लिकेशन बनाने में मदद करती है, बल्कि इन अनुप्रयोगों को बेहतर बनाने के लिए उनके द्वारा उत्पन्न सभी डेटा का विश्लेषण भी करती है। इसके अलावा, यह डेटा एक विज्ञापन अभियान का आधार बना सकता है, विज्ञापनदाताओं और उनके लक्षित दर्शकों को एक साथ ला सकता है।

4. गूगल प्रिडिक्शन एपीआई

Google के सभी विकास उपकरणों में से, Google प्रीडिक्शन एपीआई सबसे अच्छे होने का दावा करता है। यदि आप प्रिडिक्शन एपीआई के प्रशिक्षण के लिए सही डेटा पाते हैं, तो यह इंटरफ़ेस किसी भी संख्या में टेम्पलेट्स को पहचानने में सक्षम होगा और आपके आवेदन का सही उत्तर देगा। स्वयं कंपनी द्वारा उद्धृत उदाहरणों में, एक स्पैम डिटेक्शन इंजन, एक विश्‍लेषण विश्लेषण इंजन और एक इंजन जो सिफारिशें देने में सक्षम है, जैसे हैं और Google इन मॉडलों के निर्माण के लिए चरण-दर-चरण निर्देश भी देता है।

5. जानकारी

हालाँकि Infochimps खुद को एक आईटी कंपनी बनाने की कोशिश कर रहा है (और पैसे के करीब हो गया है), उसी नाम का मंच, फिर भी, डेवलपर्स के लिए वास्तविक मूल्य है। और उनके बड़े डेटा कॉन्फ़िगरेशन और प्रबंधन प्रौद्योगिकियों का शिखर Wukong फ्रेमवर्क है, जिसे रूबी लिपियों का उपयोग करके Hadoop और इसके डेटा स्ट्रीम के साथ काम करने के लिए डिज़ाइन किया गया है।

6. कीन IO

इस परियोजना ने हमारी संरचना 2012 लॉन्चपैड प्रतियोगिता में पहला स्थान प्राप्त किया, जो मोबाइल ऐप डेवलपर्स के लिए सबसे शक्तिशाली एनालिटिक्स टूल है। स्रोत कोड में सिर्फ एक पंक्ति डाली गई और यह इंगित करने के लिए कि क्या ट्रैक करना है, प्रोग्रामर उन सभी चीज़ों पर नज़र रख सकते हैं जो उनके अनुप्रयोगों में उनकी रुचि रखते हैं। इस मामले में, डेटा को विश्लेषण के लिए उपयुक्त रूप में लाना एक सुविधाजनक दृश्य पैनल बनाने की बात है।

7. असहनशील

कोंटेगेंट का मुख्य फोकस मोबाइल, सामाजिक और वेब अनुप्रयोगों के विश्लेषण के लिए अपना मंच है, हडॉप के साथ काम करना और वास्तव में भारी मात्रा में जानकारी को संसाधित करने में सक्षम है। इस साल की शुरुआत में, कंपनी ने एक उत्पाद लॉन्च किया, जो उपयोगकर्ताओं को Hadoop के लिए Hive SQL जैसी क्वेरी भाषा का उपयोग करके अपने अनुप्रयोगों से जानकारी एकत्र करने की अनुमति देता है। पूर्वनिर्धारित चर को ट्रैक करने के बजाय, इस उत्पाद के साथ पसंद की स्वतंत्रता दिखाई देती है।

8. मोर्टार डेटा

मोर्टार डेटा डेवलपर्स के लिए Hadoop है, सरल और स्पष्ट। लगभग एक साल पहले, कंपनी ने अपनी क्लाउड सेवा की पेशकश की, जो पिग और पायथन के संयोजन के साथ MapReduce की जगह ले रही है। नवंबर में, मोर्टार खुला ढांचा Hadoop के साथ डेटा और अनुभव साझा करने के लिए एक समुदाय बनाने के लिए जारी किया गया था। मोर्टार डेटा वर्तमान में अमेज़ॅन वेब सेवाओं के शीर्ष पर चलता है और सूचना संसाधनों के रूप में अमेज़ॅन एस 3 और मोंगोबीडी (अमेज़ॅन ईसी 2 पर होस्ट) का समर्थन करता है।

9. रखा हुआ विश्लेषण

रखा स्क्रिप्ट, एपीआई, और अन्य कड़ी मेहनत के साथ दूर है, और बस एक तैयार परिणाम के साथ अपने उपयोगकर्ताओं को प्रदान करता है। इस मामले में, यह विस्तृत जानकारी है कि उपभोक्ताओं ने व्यवसाय के नाम तक मोबाइल एप्लिकेशन या वेबसाइट का उपयोग कहां और कब किया है। यह जानकारी विज्ञापनदाताओं को आकर्षित करने के साथ-साथ एप्लिकेशन की सूचनात्मक कार्यक्षमता बनाने के लिए बहुत उपयोगी हो सकती है (उदाहरण के लिए, ड्राइविंग करते समय एप्लिकेशन का उपयोग करने के लिए वॉइस नोटिफिकेशन एम्बेड करना)।

10. प्रिकोग

Precog पहली नज़र में एक नियमित निजी व्यवसाय की तरह लग सकता है, लेकिन यह करीब से निरीक्षण पर इतना आसान नहीं है। कंपनी Labcoat नामक एक सेवा प्रदान करती है, जो कि Quirrel ओपन क्वेरी लैंग्वेज पर आधारित विश्लेषणात्मक मॉडल के लिए एक इंटरैक्टिव विकास वातावरण है। IDE में एक भाषा अध्ययन गाइड और कुछ जटिल विशेषताएं शामिल हैं, और Precog के कार्यकारी निदेशक, जेफ कार ने कहा कि बिना तकनीकी पृष्ठभूमि के लोग भी आसानी से कुछ घंटों में भाषा सीख सकेंगे।

11. Apache Hadoop के लिए स्प्रिंग

हालांकि Hadoop जावा में लिखा गया है, इसका मतलब यह नहीं है कि जावा डेवलपर्स आसानी से Hadoop के साथ काम करेंगे। यही वजह है कि 2012 की शुरुआत में, स्प्रिंगसोर्स ने अपाचे हडोप के लिए स्प्रिंग जारी करने की घोषणा की। इसका मतलब यह है कि अन्य स्प्रिंग एप्लिकेशन के साथ एकीकरण भी संभव है, साथ ही साथ जेवीएम जैसी भाषाओं में स्क्रिप्टिंग, और इसके अलावा, Hadoop और संबंधित तकनीकों जैसे कि Hive और HBase का उपयोग करके एप्लिकेशन बनाने की प्रक्रिया बहुत सरल है।

12. स्टैट्समिक्स

उसी तरह से BitDeli में Keen IO के साथ अभिनय करते हुए, StatsMix डेवलपर्स को अपने अनुप्रयोगों से आने वाले डेटा की एक बड़ी मात्रा को इकट्ठा करने और संसाधित करने की अनुमति देता है, केवल उन भाषाओं का उपयोग करके जिन्हें वे पहले से जानते हैं। सेवा स्वचालित रूप से कुछ संकेतकों को ट्रैक करती है, लेकिन उनकी सूची को स्टैट्समिक्स एपीआई और मानक पुस्तकालयों के लिए धन्यवाद बढ़ाया जा सकता है। इस टूल के परिणामों को उपयोगकर्ता को विज़ुअल पैनल के रूप में प्रस्तुत किया जाता है, जिसकी उपस्थिति को वह अपनी आवश्यकताओं के अनुसार अनुकूलित कर सकता है, और उन्हें एक दृश्य में जानकारी के कई स्रोतों को लाने के लिए उन्हें साझा या उपयोग भी कर सकता है।



क्या आपके पास प्रस्तुत सेवाओं में से कोई भी अनुभव है? क्या आप जोड़ सकते हैं?