लॉग विश्लेषण के लिए स्प्लंक का उपयोग करने का उदाहरण

स्प्लंक एक लॉग स्टोरेज और एनालिसिस सिस्टम है। संक्षेप में, ऑपरेशन के सिद्धांत को निम्नानुसार वर्णित किया जा सकता है: एक स्प्लंक सर्वर है जो लॉग्स का विश्लेषण करने के लिए स्टोर, इंडेक्स और आपको अनुमति देता है, और वर्किंग मशीन (सर्वर) हैं जो ये लॉग स्प्लंक सर्वर को बनाते और संचारित करते हैं। स्प्लंक सर्वर, बदले में, कई भौतिक मशीनों का एक समूह हो सकता है, जिनके बीच सूचना भंडारण वितरित किया जाता है, और जो MapReduce प्रौद्योगिकी का उपयोग करके इसके प्रसंस्करण के लिए उपयोग किया जाता है। वर्किंग मशीनों से लॉग ट्रांसफर करने के बहुत सारे तरीके हैं: एक विशेष फारवर्डर प्रोग्राम के माध्यम से जो सर्वर में लॉग बदलाव को जल्दी और कुशलता से कर सकता है, जैसे एनएफएस / एसएमबी, या एसएनएमपी जैसी प्रौद्योगिकियों के माध्यम से, आप टीसीपी / आईपी के माध्यम से खुद को स्प्लंक करने के लिए डेटा भेज सकते हैं (उदाहरण के लिए, बजाय एक फ़ाइल को लिखने के लिए)। विंडोज के तहत, स्प्लंक विंडोज इवेंट्स, परफॉर्मेंस काउंटर्स या रजिस्ट्री से डेटा ले सकता है।

स्प्लंक के लिए, लॉग लाइनों में टूटी हुई पाठ जानकारी है। अनुक्रमण प्रक्रिया के दौरान, लॉग लाइनें फ़ील्ड में विभाजित होती हैं, उदाहरण के लिए, "नाम = मान", हालांकि यह अनुकूलन योग्य है। इसके अलावा, विशेष क्वेरी भाषा एसपीएल का उपयोग करके, आप इन फ़ील्ड्स के साथ काम कर सकते हैं: सॉर्ट, एग्रीगेट, परिकलित फ़ील्ड्स बनाएँ, टेबल्स बनाएँ, बाहरी शब्दकोशों तक पहुँचें, उदाहरण के लिए, SQL डेटाबेस से, और, ज़ाहिर है, विभिन्न प्रकार के ग्राफ़ बनाएँ। एसपीएल न केवल एकल लाइनों के साथ काम करता है, बल्कि आपको समूह में, एक लाइन मल्टी-लाइन टुकड़ों में तार्किक रूप से "संपीड़ित" करने की अनुमति देता है।

जैसा कि स्प्लंक स्वयं कहता है, सिस्टम में संग्रहीत सभी लॉग किसी भी समय अनुरोध के लिए उपलब्ध होते हैं, अर्थात संग्रह करने की कोई अवधारणा नहीं है। बेशक, मशीनें (मशीनें) जहां स्पंक स्पिन कर रही हैं उन्हें उचित रूप से संग्रहीत और संसाधित जानकारी की मात्रा को प्रतिबिंबित करना चाहिए।

स्प्लंक खुद को "Google for Logs" भी कहता है, लेकिन इस टिप्पणी को अपनी दया पर टिप्पणी के बिना छोड़ दें।

इंटरफ़ेस स्पंक - वेब। आप अपने खुद के स्प्लंक एप्लिकेशन बनाने के लिए पैनल (डैशबोर्ड) बना सकते हैं। स्प्लंक का एक एप्लिकेशन स्टोर है (हालांकि उनमें से अधिकांश स्वतंत्र हैं), जहां लोकप्रिय प्रणालियों के विश्लेषण के लिए तैयार कॉन्फ़िगरेशन का एक समुद्र है, उदाहरण के लिए, UNIX syslog, Apache लॉग, माइक्रोसॉफ्ट एक्सचेंज, आदि।

स्प्लंक सॉफ्टवेयर को आधिकारिक वेबसाइट से मुफ्त में डाउनलोड किया जा सकता है। लाइसेंसिंग सिस्टम के माध्यम से पंप किए गए लॉग की दैनिक मात्रा पर आधारित है। परिचित के लिए एक न्यूनतम मुक्त मात्रा है जो सिस्टम को माहिर करने के लिए पूरी तरह से पर्याप्त है।

त्वरित संदर्भ के लिए, मैं इस उत्पाद के रचनाकारों से पुस्तक एक्सप्लोरिंग स्प्लंक की सिफारिश करता हूं। इसके माध्यम से स्क्रॉल करने पर, आपको स्प्लंक में क्या कर सकते हैं, एसपीएल क्वेरी भाषा का सार आदि की एक अच्छी प्रारंभिक समझ मिल जाएगी।

इस लेख में, मैं एक वास्तविक उदाहरण दिखाना चाहता हूं जिसे आधे घंटे के भीतर दोहराया जा सकता है। ऐसा करने के लिए, अपने ऑपरेटिंग सिस्टम के लिए स्प्लंक को मुफ्त में डाउनलोड और इंस्टॉल करना पर्याप्त है। तब आप बस मेरे निर्देशों का पालन कर सकते हैं।

एक उदाहरण असामान्य होगा। परंपरागत रूप से, ऐतिहासिक जानकारी का विश्लेषण करने के लिए लॉग का उपयोग किया जाता है। लेकिन कुछ भी इसे अपनी उपस्थिति के दौरान निकालने और इसके आधार पर "लाइव" संकेतक बनाने से रोकता है। मैं सहमत हूं, मेरा उदाहरण थोड़ा कृत्रिम है, लेकिन मैं यह दिखाना चाहता हूं कि आप कितनी जल्दी और आसानी से स्प्लैंक को डेटा "अपलोड" कर सकते हैं, इसे औपचारिक रूप दे सकते हैं और इसके आधार पर एक गतिशील उपयोगकर्ता इंटरफ़ेस का निर्माण कर सकते हैं।

यहां एक सरल स्क्रिप्ट है जो एक मिनट के लिए लॉग में प्रतिशत (0 से 100% तक) वाले संदेशों को रिकॉर्ड करेगा।

require 'date' duration = 60*1 update_period = 0.5 i = 0 while i <= duration do progress = i * 100.0 / duration msg = "%s progress=%05.2f\n" % [DateTime.now, progress] puts msg open("logs/my.log", 'a') { |f| f << msg } i = i + update_period sleep update_period end 

लॉग कुछ इस तरह दिखाई देगा:

 2012-11-23T15:58:54+00:00 progress=45.00 2012-11-23T15:58:55+00:00 progress=45.83 2012-11-23T15:58:55+00:00 progress=46.67 2012-11-23T15:58:56+00:00 progress=47.50 2012-11-23T15:58:56+00:00 progress=48.33 2012-11-23T15:58:57+00:00 progress=49.17 2012-11-23T15:58:57+00:00 progress=50.00 

हमारा लक्ष्य स्प्लान में एक डैशबोर्ड (देखने का पैनल) बनाना है, जो लॉग से डेटा लेते समय एक सुंदर संकेतक के रूप में स्क्रिप्ट निष्पादन प्रक्रिया को प्रदर्शित करेगा।

सरलता के लिए, हम एक मशीन पर सब कुछ करेंगे, और स्प्लैंक लॉग को केवल निर्दिष्ट फ़ाइल से ले जाएगा।

तो, आप पहले से ही Splank इंस्टॉल कर चुके हैं, और यदि आप " http: // localhost: 8000 " पर जाते हैं, तो आपको स्पैनक का कामकाजी पृष्ठ दिखाई देगा, जहां आप उपयोगकर्ता "व्यवस्थापक" के साथ लॉग इन कर सकते हैं।

अगला, मेनू पर जाएं: "प्रबंधक -> डेटा इनपुट -> डेटा जोड़ें -> एक फ़ाइल या निर्देशिका या फ़ाइलें।" यहां हम उस फ़ाइल या निर्देशिका का नाम इंगित करते हैं जहां हमारे लॉग स्थित हैं (इस मामले में यह एक एकल फ़ाइल होगी)।



हम लॉग के तथाकथित स्रोत (स्रोत प्रकार) के निर्माण की पुष्टि करते हैं। जैसा कि मैंने पहले ही कहा, लॉग विभिन्न तरीकों से स्प्लैंक जा सकते हैं। प्रत्येक ऐसे लॉग स्रोत का नाम दिया गया है और इसे स्वतंत्र रूप से संसाधित किया जा सकता है।



तो, लॉग जोड़ा गया है। हम देखते हैं कि स्प्लैंक ने फ़ाइल को "उठाया" और पहले से ही खेतों में लाइनों को पार्स कर दिया। स्प्लंक बहुत बड़ी संख्या में दिनांक और समय स्वरूपों को समझता है, लेकिन यह आग्रहपूर्ण है।



अगला, हम अपने लॉग स्रोत को एक नाम देते हैं - "test_log", और सेटिंग्स को सहेजें।



हम मुख्य पृष्ठ पर लौटते हैं और लाइन में SPL भाषा में अपनी पहली क्वेरी दर्ज करते हैं (लाल रंग में):

sourcetype = "test_log" | फ्लोट के रूप में टेबल की प्रगति

मैं अनुवाद करता हूं: लॉग को "test_log" स्रोत से लेते हैं, एक तालिका बनाते हैं जिसमें फ़ील्ड "प्रगति" से मान के साथ एक स्तंभ जोड़ने के लिए, साथ ही इसे फ्लोट टाइप करने के लिए परिवर्तित करना है। नीचे (नीले रंग में) हम क्वेरी का परिणाम देखते हैं (लॉग में पहले से ही डेटा है)। UNIX पाइप (!) का सिद्धांत एसपीएल में काम करता है, जब एक ऑपरेशन का परिणाम अगले इनपुट के लिए पारित किया जाता है।



तो एक टेबल है। अब हम उसका चित्रमय चित्रण करते हैं। चूंकि हमारे पास 0 से 100 तक पूरा होने का प्रतिशत दिखाने वाला केवल एक क्षेत्र है, उदाहरण के लिए, आप स्पीडोमीटर के प्रकार का उपयोग कर सकते हैं, जिसमें से तीर वर्तमान मूल्य प्रदर्शित करेगा। "स्वरूपण विकल्प" (नीले रंग में) पर क्लिक करें और तत्व के प्रकार (चार्ट प्रकार) "रेडियल गेज" (लाल रंग में) का चयन करें। यहाँ इतना सुंदर स्पीडोमीटर है।



पहला विजेट तैयार है। अब प्रयोग के लिए हम एक और निर्माण करेंगे। यह प्रगति क्षेत्र के मूल्यों को भी दिखाएगा, लेकिन क्षैतिज संकेतक (प्रगति पट्टी) के रूप में, बाएं से दाएं की ओर बढ़ रहा है। इस मामले में अनुरोध इस प्रकार होगा:

sourcetype = "test_log" | तालिका _ समय की प्रगति | सिर 1

इसका क्या अर्थ है: स्रोत "टेस्ट_लॉगिंग" के आंकड़ों के अनुसार दो फ़ील्ड, "_time" और "प्रगति" की एक तालिका बनाएं, जिसमें से केवल पहली पंक्ति लेनी है। अवरोही क्रम में "_time" फ़ील्ड द्वारा डिफ़ॉल्ट छँटाई है। नीचे (हरे रंग में) हम इस क्वेरी का परिणाम देखते हैं।



अगला, "स्वरूपण विकल्प" पर क्लिक करें, "बार" (हरे रंग में) के प्रकार का चयन करें, वाई अक्ष के लिए 0 से 100 तक अंतराल सेट करें। किसी कारण से, एक्स अक्ष लंबवत चला जाता है ("_time" फ़ील्ड वहां प्रदर्शित किया जाएगा), और वाई अक्ष। क्षैतिज रूप से ("प्रगति" फ़ील्ड वहां प्रदर्शित होगी)। चूंकि पिछली तस्वीर में अनुरोध ने 100 का मान दिखाया था, तो हमारा क्षैतिज संकेतक पूरी तरह से भर गया है।



मैंने इसे पहले विजेट, स्पीडोमीटर के लिए छोड़ दिया, लेकिन डिबग किए गए अनुरोध और इसके दृश्य प्रतिनिधित्व को "डैशबोर्ड पैनल" के रूप में सहेजा जा सकता है। ऐसा करने के लिए, "बनाएं" और "डैशबोर्ड पैनल ..." (लाल रंग में) पर क्लिक करें और सेटिंग्स को सहेजें। चलो हमारे पहले विजेट का नाम "स्पीडोमीटर", और दूसरा "प्रगति बार"।



पहला विजेट सहेजते समय, आपको एक डैशबोर्ड बनाने की पेशकश भी की जाएगी, चलो इसे "टेस्ट लॉगिंग" कहते हैं। दूसरे विजेट को सहेजते समय, इसके पहले से बने पैनल को जोड़ें।

पैनल बनाने के बाद, आप "डैशबोर्ड और दृश्य" पर क्लिक कर सकते हैं, इसे "टेस्ट लॉगिंग" नाम से चुनें। उपस्थिति कुछ इस तरह होगी:



अभी तक कोई डेटा नहीं है, इसलिए पैनल खाली हैं। हम पैनल का नाम (लाल रंग में), विजेट्स का नाम (पीले रंग में), पैनल को सक्रिय करने का बटन (हरे रंग में) और "संपादित करें" बटन (नीले रंग में) देखते हैं, जिसके साथ आप मक्खी पर एक क्वेरी या दृश्य प्रस्तुति को छू सकते हैं। स्क्रिप्ट शुरू करने से पहले, आपको "संपादित करें" बटन के माध्यम से प्रत्येक विगेट्स में जाना होगा और एक सेकंड का अपडेट समय अंतराल निर्दिष्ट करना होगा: "rt-1s" (वास्तविक समय - 1 एस) से, "आरटी" (वर्तमान समय)।

तो तुम वहाँ जाओ! "ऑन" पर क्लैंप करें और हमारी स्क्रिप्ट चलाएं।

वीडियो यह कैसे काम करता है:



वह सब है!

निष्कर्ष

बेशक, उदाहरण बहुत सरल है, लेकिन मुझे उम्मीद है कि मैं कम से कम एक न्यूनतम भावना व्यक्त करने में कामयाब रहा कि स्प्लैंक कैसे काम करता है।

मैं यह कहूंगा कि हमने हाल ही में इस उत्पाद का उपयोग शुरू किया है और अब तक संतुष्ट हैं। इस साल, मैं स्प्लंकलाइव कॉन्फ्रेंस में था, जहां बहुत ही प्रतिष्ठित ब्रिटिश टेलीकॉम कंपनियों के लोगों ने प्रदर्शन किया। स्प्लंक के साथ, कुछ प्रक्रियाएं रोजाना लॉग की गीगाबाइट्स करती हैं।

अफसोस, यहां तक ​​कि बड़े कार्यालयों में हमेशा प्रसंस्करण लॉग के लिए एक सबसिस्टम विकसित करने की इच्छा नहीं होती है, इसलिए स्प्लैंक काम में आ सकता है।