लॉगस्टश + इलास्टिसर्च + किबाना का उपयोग करके अपाचे संग्रह लॉग देखें

नमस्ते।

नहीं, तो बहुत पहले मुझे पुराने अपाचे लॉग के माध्यम से भागना पड़ा। SQL इंजेक्शन के कुछ विसंगतियों और प्रयासों का पता लगाने के लिए, कई आईपी पते पर चयन करना आवश्यक था। एक लाख लाइनों के बारे में इतने सारे लॉग नहीं थे, और आप सुरक्षित रूप से ग्रेप-ऑक-यूनीक-डब्ल्यूसी, आदि के मानक सेट के साथ सब कुछ कर सकते थे।

चूँकि मैं विश्लेषण के लिए लॉगस्टैश-एलस्टिक्सर्च-किबाना गुच्छा का उपयोग कर रहा हूं, कुछ (एक वर्ष से अधिक) समय के लिए सभी प्रकार के लॉग देखने के लिए, मैंने इस स्थिति में इसका उपयोग करने का निर्णय लिया।

प्रणाली के मुख्य घटकों का संक्षिप्त विवरण।

लॉगस्टैश लॉग को इकट्ठा करने और सामान्य करने के लिए एक मुक्त ओपन-सोर्स जावा प्रोग्राम है। यह स्थानीय फ़ाइलों से या tcp / udp पोर्ट के माध्यम से लॉग प्राप्त कर सकता है। लेखन के समय, 26 अलग-अलग इनपुट फ़िल्टर होते हैं। यहां तक ​​कि ट्विटर या irc से संदेश एकत्र करने के लिए एक इनपुट मॉड्यूल भी है।

एलेस्टिक्स एक अपाचे ल्यूसीन पर आधारित एक मुक्त ओपन-सोर्स सर्च इंजन है। तेज, आसानी से अनुकूलन और बहुत स्केलेबल।

किबाना एक वेब इंटरफेस है जो माणिक में लिखा गया है ताकि एलिस्टिक्स खोज से डेटा प्रदर्शित किया जा सके। सरल सेटअप, लेकिन कई विशेषताएं - खोज, ग्राफिक्स, स्ट्रीम।

1. एलिटिक्स खोज

१.१ डाउनलोड एलेस्टिक्स खोज (आकार १६ एमबी):
यह ध्यान रखना महत्वपूर्ण है कि लॉगस्टैश संस्करण 1.1.9 के लिए एलेस्टिक्स खोज बिल्कुल 0.20.2 संस्करण होना चाहिए।
# wget download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-0.20.2.tar.gz

1.2 फ़ाइल को अनपैक करें:
# tar -zxf elasticsearch-0.20.2.tar.gz
जो लोग दूसरों को प्रभावित करना चाहते हैं वे कुंजी "v" जोड़ सकते हैं :)

1.3 और बड़े, आप फैक्ट्री सेटिंग्स के साथ एलीटेसर्च को चला सकते हैं। लेकिन मैं अभी भी कुछ मापदंडों को बदलता हूं।
सेटिंग फ़ाइल में अपने पसंदीदा टेक्स्ट एडिटर्स पर जाएं:
# vi elasticsearch-0.20.2/config/elasticsearch.yml

स्टैंडअलोन समाधान के लिए मेरे परिवर्तनों की सूची:

 cluster.name: logs index.number_of_replicas: 0 path.data: /elasticsearch/elasticsearch-0.20.2/data path.work: /elasticsearch/elasticsearch-0.20.2/work path.logs: /elasticsearch/elasticsearch-0.20.2/logs bootstrap.mlockall: true discovery.zen.ping.multicast.enabled: false 

Elasticsearch शुरू करने से पहले, सुनिश्चित करें कि path.data, path.work और path.logs में निर्दिष्ट निर्देशिकाएं मौजूद हैं।

1.4 यह सुनिश्चित करने के लिए कि सर्वर सही तरीके से काम कर रहा है, अग्रभूमि मोड में इलास्टिसर्च चलाएँ:
# ./bin/elasticsearch -f
यदि हम इस तरह से एक लाइन देखते हैं, तो सर्वर शुरू हो गया है

 [2013-01-11 1151:35,160][INFO ][node ] [Virgo] {0.20.2}[17620]: started 

1.5 पृष्ठभूमि (डेमॉन) मोड में एलियस्टिक्स की खोज शुरू करने के लिए, बस " -f " स्विच को हटा दें
# ./bin/elasticsearch

यदि आपके सर्वर पर दो Tcp पोर्ट 9200 और 9300 आपके LISTEN मोड में दिखाई देते हैं, तो इसका मतलब है कि Elasticsearch काम करने के लिए तैयार है।

2. लॉगस्टैश

2.1 लॉगस्टैश 1.1.9 का नवीनतम संस्करण डाउनलोड करें (आकार 60 एमबी)
# wget logstash.objects.dreamhost.com/release/logstash-1.1.9-flatjar.jar

२.२ हम अपाचे आर्काइव लॉग स्वीकार करने, उन्हें सामान्य करने और उन्हें एलिजाबेथ डेटाबेस में दर्ज करने के लिए एक विन्यास फाइल (apache.conf) बनाते हैं:

 input { tcp { type => "apache-access" port => 3338 } } filter { grok { type => "apache-access" pattern => "%{COMBINEDAPACHELOG}" } date { type => "apache-access" timestamp => "dd/MMM/yyyy:HH:mm:ss Z" } } output { elasticsearch { embedded => false cluster => logs host => "172.28.2.2" index => "apache-%{+YYYY.MM}" type => "apache-access" max_inflight_requests => 500 } } 

कुछ मापदंडों का संक्षिप्त विवरण:

 port => 3338 

हमारे मामले में, Logstash tcp पोर्ट 3338 पर सुनेगा। हम इसे netcat'm अपाचे लॉग भेजेंगे।

 cluster => logs 

क्लस्टर का नाम निर्दिष्ट करें, जिसे हमने क्लस्टर में दर्ज किया था

 host => "172.28.2.2" 

IP पता जिस पर Elasticsearch चलता है

 index => "apache-%{+YYYY.MM}" 

मेरे मामले में इतने सारे 40,000 दैनिक अपाचे लॉग नहीं हैं, इसलिए एक मासिक सूचकांक पर्याप्त है। यदि प्रति दिन लॉग 500,000 या अधिक हैं, तो दैनिक इंडेक्स "अपाचे -% {+ YYYY.MM.dd}" बनाना अधिक उपयुक्त है।

२.३ लॉन्च लॉगश
# java -Xmx64m -jar logstash-1.1.9-flatjar.jar agent -f ./apache.conf

जाँच करें कि लॉगस्टैश चल रहा है:
# netstat -nat |grep 3338
यदि पोर्ट 3338 मौजूद है, तो लॉगस्टैश लॉग को स्वीकार करने के लिए तैयार है।

2.4 पुराने लॉग को अपाचे से लोगस्टैश में भेजना शुरू करें
# gunzip -c archived.apache.log.gz |nc 127.0.0.1 3338
कितनी जल्दी सभी लॉग भरे जाते हैं यह कई मापदंडों पर निर्भर करता है - सीपीयू, रैम, लॉग की संख्या।
मेरे मामले में, लॉग में 600 मिनट की 600 लाइनें पूरी तरह से 4 मिनट में अपलोड हो गईं। तो आपका माइलेज अलग हो सकता है।

2.5 जब लॉग को अपलोड करने की प्रक्रिया जारी है, तो आप जांच सकते हैं कि डेटा एलिस्टिक्स खोज डेटाबेस में है या नहीं।
ऐसा करने के लिए, elasticsearch_ip : 9200 / _status दर्ज करें; सुंदर = ब्राउज़र में सत्य यदि आपको इसके लिए लाइनें मिलें :

 "index" : "apache-2011.09" 

फिर सब कुछ आवश्यकतानुसार काम करता है।

3. किबना

3.1 किबाना स्थापित करें:
git clone --branch=kibana-ruby github.com/rashidkpc/Kibana.git
cd Kibana
gem install bundler
bundle install

यदि आप एक प्रॉक्सी सर्वर के पीछे हैं, तो git क्लोन से पहले ... कमांड अपने प्रॉक्सी सर्वर को निर्दिष्ट करें:
git config --global http.proxy proxy.domain.com:3128

3.2 किबाना विन्यास
# vi KibanaConfig.rb
जिन सेटिंग्स को बदलना पड़ सकता है:

 Elasticsearch = "localhost:9200" KibanaPort = 5601 KibanaHost = '172.28.2.2' Smart_index_pattern = 'apache-%Y.%m' Smart_index_step = 2592000 

३.३ किबाना शुरू करना
# ruby kibana.rb

एक सफल प्रक्षेपण के बाद, एक समान पाठ स्क्रीन पर दिखाई देता है:

 == Sinatra/1.3.3 has taken the stage on 5601 for development with backup from Thin >> Thin web server (v1.5.0 codename Knife) >> Maximum connections set to 1024 >> Listening on 172.28.21.21:5601, CTRL+C to stop 

3.4 लॉग देखना शुरू करना
ब्राउज़र में, http://172.28.21.21:5601 पता दर्ज करें और पुराने एपाचे लॉग देखने के लिए एक सुविधाजनक, तेज़ इंटरफ़ेस प्राप्त करें।

जो लोग देखना चाहते हैं कि किबाना + लोगसैट + इलास्टिक्सखोज क्या है, एक डेमो पेज है http://demo.logstash.net/

आपका ध्यान देने के लिए धन्यवाद