Splunk के साथ mod_security और MySQL की निगरानी करना

दिन का अच्छा समय, हब्रोज़िटेली।
मैं वर्चुअल सर्वर के निगरानी कार्यान्वयन को साझा करना चाहता हूं जो मैं समर्थन करता हूं।
ऑपरेटिंग सिस्टम: CentOS 6.3 x64, हालांकि, वर्णित स्थिति अन्य प्लेटफार्मों के लिए उपयुक्त है, जैसे * विन और * निक्स।
समस्या का बयान।
सर्वर पर निम्न सेवाएँ स्थापित की जाती हैं: mod_security पर आधारित apache2, MySQL, postfix और Apache सुरक्षा लागू होती है।
सर्वर का होस्ट एक पाठ संपादक में ssh कंसोल और रीडिंग लॉग के माध्यम से कनेक्ट करने से संतुष्ट नहीं है, इसके अलावा, सर्वर पर लोड की कोई दृश्यता नहीं थी, अनुरोधों की संख्या, सर्वर के अनुरोधों की जटिलता। मैंने Zabbix सर्वर का सुझाव दिया, लेकिन ग्राहक ने कहा कि कोई निश्चित संख्या नहीं है। ठीक है, तो वह और ग्राहक हमेशा सही होते हैं।
सर्वर सुरक्षा से संबंधित वर्तमान स्थिति को जल्दी से खोजना आवश्यक है, और घटना से आगे बढ़ते हुए, समस्या को खत्म करने के लिए उपाय करें।

तुरंत जो हुआ उसका स्क्रीनशॉट दें:




इसलिए, एक प्रश्न पूछकर और उत्तर देकर, मैंने आधिकारिक mod_security वेबसाइट पर सूचीबद्ध सभी इंटरफेस की जटिलता को बढ़ाने की कोशिश की। यह पता चला कि वे सभी 2008 में कहीं समर्थित नहीं थे, जो मुझे शोभा नहीं देता था।
मैंने स्प्लंक को अंत में छोड़ दिया, क्योंकि सबसे पहले इसका भुगतान किया जाता है, और दूसरा मुझे ऐसे कार्यों के लिए सार्वभौमिक उत्पादों का अविश्वास है।
संक्षेप में समाधान के बारे में:
1)। भुगतान और मुफ्त संस्करण हैं;
2)। परीक्षण की अवधि 60 दिन है, और यदि सिस्टम से गुजरने वाले लॉग 500 एमबी से कम हैं, तो आप सुरक्षित रूप से एक मुफ्त लाइसेंस समझौते का समापन कर सकते हैं;
3) मैं मॉड्यूल के एक समूह से खुश था, जिनमें से मैं तुरंत MySQL के लिए मॉड्यूल में रुचि रखने लगा।
4) सूचना एकत्र करने के लिए विभिन्न नोड्स के कनेक्शन के साथ, सर्वर पर और नेटवर्क पर किसी भी अन्य होस्ट पर दोनों को स्थापित करने की क्षमता। यही है, एक एकल केंद्र (उदाहरण के लिए, एक होम सर्वर पर) में कई नोड्स के परिणामों का समेकन।

जो चिंताएं उत्पन्न हुईं:
1)। बहुत बहुमुखी उत्पाद;
2)। एक लाइव सर्वर पर स्थापित करने की जटिलता;
3)। स्प्लंक की सुरक्षा स्वयं।
4)। साइट के मुख्य पृष्ठ पर तकनीकी रूप से संतुष्ट व्यक्ति और न्यूनतम तकनीकी जानकारी।

इसलिए, इसे स्थापित करने का निर्णय लिया गया। मुझे साइट पर एक खाता पंजीकृत करना था, उसके बाद मैंने ubuntu के लिए संबंधित पैकेज डाउनलोड किया (मैंने पहली बार http + MySQL + miniDLNA + फ़ाइल + qBitTorrent को अपने घरेलू मशीन पर परीक्षण किया)। मैंने लंबे समय तक वर्णन नहीं किया, सब कुछ काम किया। उत्पादन में लगाने का निर्णय लिया गया।

चरण दर चरण डाउनलोड करें:
1. स्प्लंक * .rpm।
हमने rpm -i *.rpm, डाला rpm -i *.rpm,
हम splunk start सेवा splunk start
हम निष्कर्ष पढ़ते हैं। डिफ़ॉल्ट पोर्ट 8000 है।
2. से लिंक पर mod_security के लिए मॉड्यूल। साइट। यह लिखा है कि एक पूरी तरह से मुक्त मॉड्यूल।
3. इसके अलावा, पैकेज निर्भरताएँ मॉड्यूल के लिए इंगित की गई थीं: amMap , डाउनलोड मैक्समाइंड पर जाएँ
, डाउनलोड साइड व्यू यूटिल्स , गूगल मैप्स । हमें डाउनलोड करने में कोई आपत्ति नहीं है।
4. स्वयं mod_security स्थापित करना भी काफी सरल है: App-> एप्लिकेशन प्रबंधित करें -> किसी फ़ाइल से ऐप इंस्टॉल करें।
ऐड की स्थापना। मॉड्यूल बदतर हैं, आपको स्प्लंक निर्देशिका में उन्हें मॉड्यूल फ़ोल्डर में अनपैक करने की आवश्यकता है। मेरे लिए सब कुछ दिखाई दिया और स्पार्क रीस्टार्ट होने के बाद सही कमाया
5. MySQL मॉनिटर , एक मॉड्यूल जो मैनेज ऐप्स के माध्यम से भी इंस्टॉल किया गया है, एक बोनस को हिला दिया। हालाँकि, उसका प्रक्षेपण स्प्लंक से अलग एक अन्य स्थान के माध्यम से होता है।

बूट पर स्प्लंक स्टार्टअप जोड़ें:

 echo "$SPLUNK/bin/splunk start" >> /etc/rc.local 

स्थापित करते समय सबसे दिलचस्प बात शुरू हुई, क्योंकि कुछ भी स्पष्ट रूप से कहीं भी नहीं कहा गया है, मॉड्यूल स्थापित करने के न्यूनतम निर्देश पृष्ठों पर दिए गए हैं।
आवश्यक पीछे हटना। स्प्लंक को एक निश्चित डेटाबेस पर एक खोज इंजन के रूप में तैनात किया गया है (जो सर्वर की हार्ड डिस्क पर संग्रहीत है जहां यह स्थापित है)। टीसीपी, यूडीपी, लिपियों (जाहिरा तौर पर लिपियों से डेटा स्थानांतरित करना) के माध्यम से फाइलों (डेटा इनपुट) से जानकारी कनेक्ट करना संभव है। बदले में, इंडेक्स की अवधारणा है, जिसमें शामिल है ... इंडेक्स जो डेटा इनपुट को संदर्भित करता है।
आइए mod_security जानकारी संग्रह मॉड्यूल सेट करने पर वापस जाएं। यह पता चला है कि यह काम करना शुरू कर देना चाहिए, प्रबंधक में फ़ाइल से लॉग का संग्रह दर्ज करना आवश्यक है -> डेटा इनपुट अनुभाग (मेरे पास /var/log/httpd/modsec_audit.log) है, मुझे यह पसंद है:



इसलिए, हमने mod_secur नाम से एक डेटा इनपुट बनाया
मैनेजर -> इंडेक्स पर जाएं और mod_secur इंडेक्स बनाएं, जिसके लिए आपको फाइल सिस्टम में स्प्लंक डेटाबेस का स्थान निर्दिष्ट करना होगा। डाल:

 Home path: $SPLUNK_DB/mod_sec_db/db Cold path: $SPLUNK_DB/mod_sec_db/dbcold Thawed path: $SPLUNK_DB/mod_sec_db/dbthawe 

जब डेटा इनपुट और इंडेक्स बनाया जाता है, तो हम मॉड्यूल सेटिंग्स पर जाते हैं, जो मॉड्यूल अनुभाग के मॉड्यूल सेटिंग्स में नहीं थे। और प्रबंधक में -> उन्नत खोज -> खोज मैक्रोज़।

विंडो के ऊपरी बाएँ भाग में, सुनिश्चित करें कि डेटा Mod_security मॉड्यूल को संदर्भित करता है (अन्यथा मैं अपने मॉड्यूल की तलाश में, वहां किसी अन्य मॉड्यूल के चर का एक गुच्छा के आसपास खड़ा था)।
हम modsec_index को "main" से हमारे इंडेक्स "mod_secur" में बदलते हैं, हम modsec_indrc को नहीं छूते हैं।
इन जोड़तोड़ों के बाद, सिस्टम लॉग को पढ़ना शुरू कर देता है, और कहीं-कहीं एक मिनट के भीतर तीन-दिन की फ़ाइल जानकारी एकत्र करता है। शीर्ष प्रक्रियाओं में, मैंने स्प्लंक को बिल्कुल नहीं देखा, न्यूनतम संसाधनों को खाती है, जिससे मुझे खुशी हुई।
नीचे स्क्रीनशॉट की एक जोड़ी है, और फिर मैं MySQL मॉनिटर के बारे में बात करूंगा।
टाइम्स स्क्रीनशॉट

दो स्क्रीनशॉट


मैं अपने दम पर जोड़ना चाहता हूं कि mod_security के मॉनिटर के रचनाकारों ने पूरी तरह से महत्वपूर्ण जानकारी का ध्यान नहीं रखा - सक्षम और अक्षम नियमों का आउटपुट जिसके द्वारा यह काम करता है।

MySQL मॉनिटर की स्थापना ने मेरे दिमाग को और अधिक कर दिया, यदि केवल इसलिए कि डिजाइन मेरी आँखों को मेरी आत्मा की गहराई तक आँसू देता है।


जब आप मॉनिटर खोलते हैं, तो हम हमेशा रेडीमेड होते हैं, जहां मुझे इसे पुन: व्यवस्थित करने में नहीं मिला।
मॉड्यूल में आंकड़े संग्रह डेमन MySQl के होते हैं, जिसे भी शुरू करने की आवश्यकता होती है।
लेकिन सबसे पहले, मॉड्यूल कॉन्फ़िगरेशन फ़ाइल "$ SPLUNK_HOME / etc / apps / mysqlmonitor / bin / daemon / config.ini) संपादित करें:"

 > cp config.ini.sample config.ini > cat config.ini [mysql] host=localhost port=3306 username=xxx password=xxx [splunk] host=localhost port=9936 [statusvars] interval=10 [slavestatus] interval=10 [tablestats] interval=3600 [processlist] interval=10 

और कनेक्टेड सर्वर $ SPLUNK_HOME / etc / apps / mysqlmonitor / hosts.yaml फ़ाइल

 > cp hosts.yaml.sample hosts.yaml > cat hosts.yaml Databases: db01: host: localhost username: xxx password: xxx 

और आप दानव शुरू कर सकते हैं।

 $SPLUNK_HOME/etc/apps/mysqlmonitor/bin/daemon start echo "$SPLUNK_HOME/etc/apps/mysqlmonitor/bin/daemon start " >> /etc/rc.local 

सिस्टम में स्थापित पर निर्भर करता है
• पायथन 2.6 या 2.7
• पायथन MySQL ड्राइवर

सूचना संग्रह टीसीपी सॉकेट 9936 के माध्यम से काम करता है, जो स्प्लंक में ही बनाया जाएगा: प्रबंधक -> डेटा इनपुट -> टीसीपी। सॉकेट 9936 बनाएं।


प्रबंधक -> अनुक्रमित -> एक नया mysql बनाएँ, mod_security के साथ एक पूर्ण सादृश्य।
प्रबंधक में -> उन्नत खोज -> खोज मैक्रोज़, हम नहीं जाते हैं - वहाँ भी बदलने के लिए कुछ भी नहीं है। सब कुछ बंद हो गया, मैं स्क्रीनशॉट लाता हूं (वैसे, यह स्वचालित रूप से काम नहीं करता है, आपको खोज बटन पर क्लिक करने की आवश्यकता है)।

UPD 04/29/2013: मैंने इस तरह की स्क्रिप्ट को जन्म दिया, क्योंकि डेमन कभी-कभी दुर्घटनाग्रस्त हो जाता है और इसे क्रोन * में भर देता है।

 cat mysql_mon.sh #!/bin/bash if ! [ -f / $SPLUNK_HOME/etc/apps/mysqlmonitor/bin/daemon/splunkmysql.pid ]; then echo "MySQL monitor PID-file is Dead. Restarting" $SPLUNK_HOME/etc/apps/mysqlmonitor/bin/daemon/splunkmysqlmonitor.py stop $SPLUNK_HOME/etc/apps/mysqlmonitor/bin/daemon/splunkmysqlmonitor.py start else read pid < $SPLUNK_HOME/etc/apps/mysqlmonitor/bin/daemon/splunkmysql.pid if ! `/bin/kill -0 "$pid"`; then echo "MySQL monitor process is Dead. Restarting" $SPLUNK_HOME/etc/apps/mysqlmonitor/bin/daemon/splunkmysqlmonitor.py stop $SPLUNK_HOME/etc/apps/mysqlmonitor/bin/daemon/splunkmysqlmonitor.py start fi fi echo "Mysql monitor now Working" 

यदि समस्या PID फ़ाइल के साथ है, तो पुनरारंभ कार्य नहीं करता है, इसलिए बंद करें + प्रारंभ करें।
$ SPLUNK_H प्रोग्राम के पूर्ण पथ में परिवर्तन करें।

समय।


दो। यह चार्ट के किसी भी हिस्से पर क्लिक करने और अनुरोध को देखने के लिए तीसरे चार्ट "धीमी क्वेरी" पर एक सुखद अवसर निकला।


तीन।


आपके ध्यान के लिए आप सभी का धन्यवाद!