नेटफ्लो के साथ सिस्को एएसए ट्रैफिक को कैप्चर करना और फ्रीबीएसडी या लिनक्स पर nfdump

परिचय

लगभग हर नेटवर्क प्रशासक यातायात के लिए लेखांकन का कार्य करता है। या तो आपको बिलिंग के लिए, या केवल गतिविधि की निगरानी के लिए इसकी आवश्यकता है।
इस समस्या को हल करने के लिए, आप मानक नेटफ्लो प्रोटोकॉल (RFC 3954) का उपयोग कर सकते हैं, जो नेटवर्क उपकरण निर्माताओं (सिस्को, जुनिपर, 3Com, आदि) द्वारा समर्थित है, साथ ही लिनक्स, * BSD, और DD-WRT फर्मवेयर। नेटफ्लो आपको ट्रैफ़िक डेटा (प्रेषक और रिसीवर का पता, पोर्ट, सूचना की मात्रा, आदि) को नेटवर्क उपकरण ( सेंसर ) से कलेक्टर तक स्थानांतरित करने की अनुमति देता है। कलेक्टर, बदले में, प्राप्त जानकारी संग्रहीत करता है। एक कलेक्टर के रूप में, आप एक नियमित सर्वर का उपयोग कर सकते हैं। मैं इस योजना का चित्रण विकिपीडिया से करूंगा:



जब मैंने नेटफ्लो को कॉन्फ़िगर करना शुरू किया, तो यह पता चला कि कलेक्टर को लागू करने के लिए खुला स्रोत समाधान सिस्को एएसए के साथ अच्छी तरह से काम नहीं करता है, और इस मामले में इंटरनेट पर बहुत कम जानकारी है कि क्या करना है। मैंने इस अंतर को भरने का फैसला किया: फ्रीबीएसडी / लिनक्स 20 मिनट में सिस्को एएसए के साथ दोस्त बन सकते हैं।



शुरू करने के लिए, मेरे लिए क्या काम नहीं किया:
फ्लो-टूल्स - बिल्कुल काम नहीं करता है, जाहिरा तौर पर NetFlow v9 का समर्थन नहीं करता है।
प्रवाह - बाइट्स और पैकेटों की संख्या पर डेटा को नहीं बचाता है।
nfcapd - गलत तरीके से हस्तांतरित दिनांक और समय, बाइट्स की संख्या को बचाता है।

मैं इस संभावना से इनकार नहीं करता कि मेरे कुटिल हाथों को दोष दिया जाए, या कि इन कार्यक्रमों के नए संस्करण में सिस्को एएसए के लिए छोटी गाड़ी का समर्थन जोड़ा जाएगा।

संग्राहक

एक लंबी खोज के बाद, मैं एनएसईएल समर्थन के साथ nfdump के एक संस्करण में आया: nfdump-1.5.8-NSEL , जो एएसए के साथ बहुत अच्छा काम करता है।

स्थापना प्रक्रिया मानक है:
सबसे पहले, डाउनलोड करें और nfdump-1.5.8-NSEL को अनपैक करें।
फिर nfdump-1.5.8-NSEL फ़ोल्डर में:
./configure
make
make install

उसके बाद, हमें कई कार्यक्रम मिलेंगे:
nfcapd - एक कलेक्टर डेमन, एक बंदरगाह पर सुनता है, डेटा एकत्र करता है और फाइलों को लिखता है।
nfdump - nfcapd द्वारा एकत्र किए गए डेटा को पढ़ता है और प्रदर्शित करता है।
nfexpire - nfcapd द्वारा बनाई गई फ़ाइलों को घुमाता है।
nfreplay - एकत्रित nfcapd फ़ाइलों को पढ़ता है और उन्हें दूसरे कलेक्टर को नेटवर्क पर भेजता है।

कलेक्टर चलाएं:
nfcapd -l < > -t < ()> -D

nfcapd प्राप्त डेटा को अस्थायी nfcapd.current फ़ाइल में लिखना प्रारंभ करेगा। -L विकल्प द्वारा निर्दिष्ट फ़ोल्डर में पीआईडी । जब -t द्वारा निर्दिष्ट समय अंतराल बीत चुका है, तो nfcapd nfcapd में अस्थायी फ़ाइल की सामग्री की प्रतिलिपि बनाएगा। ययमयमधम । इस प्रकार, प्रत्येक फ़ाइल में अंतिम-सेकंड के लिए ट्रैफ़िक जानकारी संग्रहीत की जाएगी।
-D स्विच डेमॉन मोड में काम करने का संकेत देता है।
-B विकल्प आईपी पते को सुनने के लिए निर्दिष्ट करता है, -p आपको डिफ़ॉल्ट पोर्ट को बदलने की अनुमति देता है।

सेंसर

अब आपको सिस्को एएसए को कॉन्फ़िगर करने की आवश्यकता है। क्योंकि मैं सिस्को में एक अज्ञानी हूं, मैं तैयार मैनुअल को लिंक प्रदान करूंगा:
यदि आप ASDM GUI के माध्यम से ASA को कॉन्फ़िगर करते हैं।
यदि आप एएसए को Truy कंसोल के माध्यम से कॉन्फ़िगर करते हैं।

दुर्भाग्य से, एएसडीएम (6.3) के मेरे संस्करण में एक गड़बड़ था, जिसने एक कलेक्टर को नीति नियम में जोड़ने की अनुमति नहीं दी, इसलिए मुझे अभी भी कंसोल में चढ़ना पड़ा।

अब, यदि सब कुछ ठीक रहा, तो पैकेट को कलेक्टर पर छिड़कना चाहिए:
tcpdump port 9995
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on em0, link-type EN10MB (Ethernet), capture size 96 bytes
18:22:36.909747 IP 192.168.4.1.56684 > 192.168.4.7.9995: UDP, length 1436
18:22:37.012687 IP 192.168.4.1.56684 > 192.168.4.7.9995: UDP, length 1464
18:22:37.065782 IP 192.168.4.1.56684 > 192.168.4.7.9995: UDP, length 1432
...

और फ़ोल्डर में जहां nfcapd फाइलें सहेजी जाती हैं, फ़ाइल का आकार बढ़ना शुरू हो जाना चाहिए।

कचरा संग्रह

प्रति सेकंड ~ 30 कनेक्शन (150 उपयोगकर्ताओं का नेटवर्क) पर, 1 मिनट में लॉग लगभग 2 एमबी लेता है।
डिस्क को अव्यवस्थित करने से बचने के लिए, crontab कमांड में nfexpire जोड़ें:
/usr/local/bin/nfexpire -e < > -s <. > -t <. >
उदाहरण के लिए, -t 2w विकल्प के साथ nfexpire चलाने से दो सप्ताह से अधिक पुरानी सभी फाइलें हट जाएंगी, और -s 20g के साथ सबसे पुरानी फाइलें हटा दी जाएंगी, ताकि उनका कुल आकार 20 जीबी से अधिक न हो। इन विकल्पों का एक साथ उपयोग किया जा सकता है।

डाटा प्रोसेसिंग

आप nfcapd से डेटा प्राप्त कर सकते हैं। * nfdump उपयोगिता का उपयोग करके मानव-पठनीय प्रारूप में फ़ाइलें:
nfdump -r < >
2011-09-04 19:53:45.484 TCP 192.168.2.11:1057 NA -> 217.20.152.98:80 DENIED I-ACL 0
2011-09-04 19:53:45.554 TCP 66.249.66.34:55383 NA -> 46.46.152.214:80 DELE-U Deleted 0
2011-09-04 19:53:30.887 TCP 192.168.4.183:63015 46.46.152.212:63015 -> 89.185.97.235:80 CREATE Ignore 214
...

जैसा कि आप देख सकते हैं, nfdump का आउटपुट आसानी से आगे पार्सिंग के लिए उधार देता है। यह ध्यान में रखा जाना चाहिए कि प्रत्येक रिकॉर्ड में एक पैकेट के बारे में जानकारी नहीं है, लेकिन एक धारा के बारे में - एक दिशा में गुजरने वाले पैकेट का एक सेट।
Nfdump कई फ़ाइलों को भी पढ़ सकता है, आंकड़े एकत्र कर सकता है और रिकॉर्ड्स को फ़िल्टर कर सकता है।

Nfdump - NfSen के लिए एक वेब इंटरफ़ेस भी है, जो सुंदर ग्राफिक्स खींच सकता है।

यदि आप डेटा को स्वयं संसाधित करना चाहते हैं, तो आपको एनएकेपीडी डेमॉन के -x स्विच की आवश्यकता होगी - यह आपको अगली फ़ाइल तैयार होने पर कार्यक्रम शुरू करने की अनुमति देता है। उदाहरण के लिए, मैंने nfdump के आउटपुट को संसाधित करने के लिए एक php स्क्रिप्ट लिखी है, और मेरी nfcapd लॉन्च लाइन इस तरह दिखती है:
/usr/local/bin/nfcapd -t 600 -w -p 9999 -l /data/flows/ -D -x '/usr/local/bin/php /usr/local/share/sams/all_traf_stats.php %d/%f' &
कृपया ध्यान दें कि कमांड एकल उद्धरणों में संलग्न है और% d और% f को स्क्रिप्ट के मापदंडों के रूप में पारित किया गया है - यह क्रमशः nfcapd फ़ोल्डर और अंतिम फ़ाइल का नाम है।

डेटाबेस में प्रत्येक पैकेट को लॉग करना बहुत महंगा निकला, इसलिए मेरी स्क्रिप्ट हर 10 मिनट में बाइट्स में प्रत्येक होस्ट और प्रोटोकॉल के आंकड़ों को गिनाती है। इस प्रकार, मैं फिल्मों को डाउनलोड करके संगठन के चैनल को डाउनलोड करने के लिए संक्रमित मशीनों और शौकीनों को ट्रैक करता हूं - सुबह मुझे शीर्ष 20 "रॉकर्स" से एक पत्र मिलता है। इसके अलावा, nfdump का डेटा पारदर्शी स्क्विड प्रॉक्सी सर्वर के आंकड़ों को पूरक करता है, जो केवल पोर्ट 80 का कार्य करता है।
अगर किसी को उदाहरण के लिए इस स्क्रिप्ट की आवश्यकता है, तो आप इसे डाउनलोड कर सकते हैं , लेकिन सुंदर कोड की उम्मीद न करें :) स्क्रिप्ट प्रति सेकंड ~ 500 रिकॉर्ड पर एक अच्छा काम करती है। यदि भार बहुत बड़ा है, तो वह बहुत अधिक मेमोरी खाना शुरू कर देगा।

निष्कर्ष

NetFlow का उपयोग करके आप ट्रैफ़िक लेखांकन व्यवस्थित कर सकते हैं, राउटर और फ़ायरवॉल से जानकारी प्राप्त कर सकते हैं। यह आपको ट्रैफ़िक लॉग करने, बिलिंग के लिए आंकड़े प्राप्त करने या नेटवर्क पर संदिग्ध गतिविधि का पता लगाने की अनुमति देगा। इस विषय में भी मैंने यह बताने की कोशिश की कि सिस्को एएसए को फ्रीबीएसडी के साथ मिलकर कैसे काम करना है, क्योंकि एक समय पर मुझे नेट पर ऐसा कोई हाउटो नहीं मिला।