पार्सिंग नेटफ्लो v.9 संकुल C # में

नेटफ्लो एक नेटवर्क प्रोटोकॉल है जो नेटवर्क ट्रैफिक के लिए सिस्को सिस्टम्स द्वारा बनाया गया है। इस प्रोटोकॉल के सबसे आम संस्करण 5 और 9 हैं। नौवां संस्करण अधिक लचीला है क्योंकि डेटा के अनुसार टेम्प्लेट का उपयोग किया जाता है। पांचवें संस्करण में, विनिर्देश के अनुसार डेटा भेजा जाता है।


नेटफ्लो प्रोटोकॉल ट्रैफिक सूचना संग्रह प्रणाली में निम्नलिखित घटक होते हैं:

• सेंसर। एक उपकरण (राउटर, एल 3 स्विच) जो इसके माध्यम से गुजरने वाले यातायात पर आंकड़े एकत्र करता है;
• कलेक्टर । यह सेंसर से डेटा एकत्र करता है और इसे स्टोरेज में रखता है;
• विश्लेषक । यह उस डेटा का विश्लेषण करता है जिसे कलेक्टर ने एकत्र किया है और रिपोर्ट तैयार करता है।

मैं आपको C # में विश्लेषक कार्यों के भाग के विकास के बारे में बताता हूं, विशेष रूप से, नेटफ्लो पैकेजों का विश्लेषण

एक मिक्रोटिक राउटर को सेंसर के रूप में इस्तेमाल किया गया था।

उस पर ether1 इंटरफ़ेस के लिए NetFlow चालू करें:
/ip traffic-flow set enabled=yes interfaces=ether1

और हम कलेक्टर को जोड़ते हैं (एक नियम के रूप में, कलेक्टर पोर्ट 2055, 9555 या 9995 पर सुनता है):
/ip traffic-flow target add disabled=no version=9 address=192.168.0.100:9995

या एक ही बात है, लेकिन WinBox के माध्यम से:


अब, UDP पोर्ट 9995 पर 192.168.0.100 के IP पते वाले कंप्यूटर पर , संस्करण 9 का नेटफ्लो पैकेट UDP (या SCTP ) पर आएगा। पैकेज आते हैं और कुछ के साथ काम करना है।

आने वाले पैकेट को पार्स करें

प्रोटोकॉल विनिर्देश का अध्ययन करने के बाद , हम सीखते हैं कि प्रत्येक नेटफ्लो पैकेट (एन बाइट्स) में निम्न शामिल हैं:

1. पैकेट हैडर (20 बाइट्स) - पैकेट हेडर, खेतों के साथ एकल प्रति में:
   
   • संस्करण संख्या ( UInt16 - 2 बाइट्स) - नेटफ्लो संस्करण संख्या, हमारे पास हमेशा 9 होते हैं;
   • गणना ( UInt16 - 2 बाइट्स) - रिकॉर्ड की कुल संख्या। इसके अलावा, इस क्षेत्र के लेख एक साहसिक कार्य थे;
   • sysUpTime ( UInt32 - 4 बाइट्स) - डिवाइस की शुरुआत से मिलीसेकंड में समय - अपटाइम;
   • UNIX Secs ( UInt32 - 4 बाइट्स) - 0000 यूटीसी 1970 के बाद से सेकंड में समय जिस पर पैकेट भेजा गया था;
   • अनुक्रम संख्या ( UInt32 - 4 बाइट्स) - संचरित पैकेटों का काउंटर, यह लगातार पैकेट से पैकेट तक बढ़ रहा है, जिससे यह जांचना संभव है कि क्या उनके बीच के पैकेट खो गए थे;
   • सोर्स आईडी ( UInt32 - 4 बाइट्स) - डेटा स्ट्रीम नंबर, तथ्य यह है कि कई डेटा स्ट्रीम सेंसर की तरफ से जा सकते हैं।
   
   
2. फ़्लोसेट (N-20 बाइट्स) - टेम्प्लेट, डेटा ... फ़्लोसेट ’ कई या एक हो सकते हैं। प्रत्येक फ़्लोसेट में दो फ़ील्ड्स होते हैं जो संचरित डेटा (टेम्पलेट, डेटा) के प्रकार से अपरिवर्तित होते हैं:
   
   • फ़्लोसेट आईडी ( UInt16 2 बाइट्स) - एक टेम्प्लेट के लिए यह हमेशा 0 होता है, वैकल्पिक टेम्प्लेट 1 के लिए, डेटा के लिए यह टेम्प्लेट आईडी के बराबर है और इसलिए 255 से अधिक (256 से 65535 तक);
   • लंबाई ( UInt16 2 बाइट्स) - फ़्लोसेट आईडी और लंबाई फ़ील्ड के साथ पूरे फ़्लोसेट का आकार;
   • स्थानांतरित किए गए डेटा के प्रकार के आधार पर अन्य फ़ील्ड।
   
   

हम फ़्लोसेट आईडी को टेम्पलेट से देखते हैं, फ़्लोसेट आईडी फ़ील्ड से शुरू होता है, फिर लंबाई , फिर:

• टेम्प्लेट आईडी ( UInt16 2 बाइट्स) - प्रत्येक टेम्प्लेट के लिए एक विशिष्ट आईडी, जिसके माध्यम से डेटा प्रसारित किया जाता है। संख्या 256 से 65535 तक;
• फ़ील्ड गणना ( UInt16 2 बाइट्स) - टेम्पलेट में फ़ील्ड की संख्या। इसके बाद फील्ड टाइप ( फील्ड टाइप ) और साइज ( फील्ड लेंथ ) आएं;
• फ़ील्ड प्रकार ( UInt16 2 बाइट्स) - फ़ील्ड के प्रकार को निर्दिष्ट करने वाला एक नंबर। सभी प्रकार के प्रोटोकॉल विनिर्देश में हैं ;
• फ़ील्ड लंबाई - बाइट्स में फ़ील्ड की लंबाई।

हम फ़्लोसेट आईडी को देखते हैं, जिसमें फ़्लोसेट आईडी फ़ील्ड से शुरू होता है, फिर लंबाई , फिर:

• डेटा ... डेटा जो फ़ील्ड और उनके आकार के अनुरूप है;
• गद्दी - 4 बाइट्स की सीमा तक जीरो फिलिंग।

तथाकथित वैकल्पिक टेम्पलेट और उस पर डेटा भी है। मैं उन पर विचार नहीं करूंगा, वे मुझसे नहीं मिले हैं, इस कारण से कार्यान्वयन में कोई लाइब्रेरी नहीं है, लेकिन सब कुछ जोड़ा जा सकता है।

एक UML वर्ग आरेख संकलित ( NClass का उपयोग करके):

या पीडीएफ में
और उन्होंने आने वाले पैकेट को पार्स करने के लिए एक पुस्तकालय लिखा।
मुख्य वर्ग जहां यह सब शुरू होता है वह पैकेट है । इसका एकमात्र निर्माता बाइट्स में आने वाले नेटफ्लो पैकेज और टेम्प्लेट क्लास की एक वस्तु को स्वीकार करता है, जो वर्तमान टेम्पलेट (एस) की एक सूची है।

इसके बाद, पार्स फ़ंक्शन को पैकेट क्लास के कंस्ट्रक्टर में कहा जाता है, जो टेम्प्लेट क्लास की एक वस्तु लेता है।
यह फ़ंक्शन पैकेट को हेडर में तोड़ता है - 20 बाइट्स और आगे हैडर क्लास के माध्यम से इसके साथ काम करता है; फ़्लोसेटसेट पर और फ़्लॉसेटसेट के हस्तांतरण के लिए प्रत्येक फ़्लोसेट का स्थानांतरण।

इस तथ्य के कारण कि कई फ़्लोसेट्स हो सकते हैं, पैकेट के दूसरे भाग (हेडर के 20 बाइट्स के बिना) का विश्लेषण करना होगा और विभिन्न फ़्लोसेट में विभाजित करना होगा । यह उल्लेखनीय है कि पैकेज में एक प्रतिलिपि में मिक्रोटिक ` फ़्लोसेट 'में है, लेकिन सी # में नेटफ्लो सिम्युलेटर का उपयोग करके पैकेज में कई फ़्लोसेट के साथ पैकेज के साथ काम करना संभव था। इसके अलावा, उसके लिए धन्यवाद, मिक्रोटिक `s पर नेटफ्लो वी 9 के कार्यान्वयन में एक अजीब बग पाया गया था, यहां से अधिक।

C # में Netflow सिम्युलेटर :


यहाँ FlowSet पर पैकेज का एक कोड स्निपेट ब्रेकिंग पार्ट है:

 this._flowset = new List<FlowSet>(); Int32 length = _bytes.Length - 20; Byte[] flowset = new Byte[length]; Array.Copy(_bytes, 20, flowset, 0, length); byte[] reverse = flowset.Reverse().ToArray(); int templengh = 0; while ((templengh + 2) < flowset.Length) { UInt16 lengths = BitConverter.ToUInt16(reverse, flowset.Length - sizeof(Int16) - (templengh+2)); Byte[] bflowsets = new Byte[lengths]; Array.Copy(flowset, templengh, bflowsets, 0, lengths); FlowSet flowsets = new FlowSet(bflowsets, templates); this._flowset.Add(flowsets); templengh += lengths; } 

हैडर वर्ग में, पैकेज हेडर को उसके खेतों में पार्स किया जाता है। ऐसा करने से पहले, हेडर उल्टा हो जाता है:

 this._bytes.Reverse().ToArray(); 

अगला, बिट्स को उस फ़ील्ड के प्रकार में कनवर्ट करें जो यह है, उदाहरण के लिए, संस्करण फ़ील्ड:

 this._version = BitConverter.ToUInt16(reverse, this._bytes.Length - sizeof(Int16) - 0); 

हां, हेडर फ़ील्ड में sysUpTime टाईमस्पैन का है, हम इस प्रकार में कनवर्ट कर सकते हैं:

 get { return new TimeSpan((long)this._uptime * 10000); } 

और UNIX सेकंड फ़ील्ड डेटाइम प्रकार की है:

 get { return new DateTime(1970, 1, 1).AddSeconds(this._secs); } 

चलो फ़्लोसेट के प्रसंस्करण पर चलते हैं । फ़्लोसेट आईडी और लंबाई फ़ील्ड प्राप्त करने के बाद, फ़्लोसेट आईडी के आधार पर शेष फ़ील्ड पार्स किए जाते हैं। यदि यह 0 या 1 है तो यह एक पैटर्न है, और यदि यह 256 से 65535 तक की संख्या है तो यह डेटा है।

यदि यह एक टेम्प्लेट है, तो हम इसकी प्रोसेसिंग टेम्प्लेट क्लास में पास करते हैं और फिर उसी टेम्प्लेट की मौजूदगी के लिए हमारे टेम्प्लेट स्टोर ( टेम्प्लेट क्लास का ऑब्जेक्ट) की जांच करते हैं और उसी की जगह लेते हैं, अन्यथा सिर्फ टेम्प्लेट जोड़ें।

यदि यह डेटा, तो हम जांचते हैं कि स्टोरेज ( टेम्प्लेट क्लास का ऑब्जेक्ट) में ऐसा कोई टेम्पलेट है ( फ़्लोसेट आईडी == टेम्प्लेट आईडी ) और यदि वहाँ है, तो इस टेम्पलेट को डीपक्लोन फ़ंक्शन के साथ कॉपी करें और उसके फ़ील्ड्स भरें - फ़ील्ड , अन्यथा हम कुछ भी नहीं करते हैं, क्योंकि टेम्प्लेट के बिना बस बाइट्स का एक सेट।

डीपक्लोन फ़ंक्शन:

 public static object DeepClone(object obj) { object objResult = null; using (MemoryStream ms = new MemoryStream()) { BinaryFormatter bf = new BinaryFormatter(); bf.Serialize(ms, obj); ms.Position = 0; objResult = bf.Deserialize(ms); } return objResult; } 

फ़ील्ड एक फ़ील्ड है, इसमें निम्न पैरामीटर हैं:

• प्रकार - प्रकार;
• लंबाई - आकार;
• मान - मान।

और रिपॉजिटरी में टेम्प्लेट में फ़ील्ड वैल्यू पैरामीटर के बिना हैं अर्थात्। मान रिक्त है, लेकिन फ़्लोसेट में टेम्प्लेट पैकेज को संसाधित करते समय , पैकेट ऑब्जेक्ट में पहले से ही मूल्य फ़ील्ड शामिल हैं।

इन सब के अलावा, फील्ड टाइप एन्यूमरेशन भी है - एक एन्यूमरेशन जिसमें टाइप नाम इस प्रकार की संख्या से मेल खाता है। ( फील्ड में टाइप पैरामीटर)

इस लाइब्रेरी में काम करने के लिए एक उदाहरण लिखा गया था:

 using System; using System.Collections.Generic; using System.Linq; using System.Net; using System.Net.NetFlow; using System.Net.Sockets; using System.Text; using System.Threading.Tasks; namespace Consoles { class Program { static void Main(string[] args) { Templates _templates = new Templates(); Socket sock = new Socket(AddressFamily.InterNetwork, SocketType.Dgram, ProtocolType.Udp); IPEndPoint iep = new IPEndPoint(IPAddress.Any, 9995); sock.Bind(iep); EndPoint ep = (EndPoint)iep; byte[] data = new byte[2048]; while (true) { int recv = sock.ReceiveFrom(data, ref ep); Console.ReadKey(); Console.Clear(); byte[] bytes = new byte[recv]; for (int i = 0; i < recv; i++) bytes[i] = data[i]; Packet packet = new Packet(bytes, _templates); Console.ForegroundColor = ConsoleColor.Yellow; Console.WriteLine(packet.ToString()); } sock.Close(); Console.ReadKey(); } } } 

हम एक सॉकेट बनाते हैं और हमारे पीसी पर यूडीपी 9995 पोर्ट पर सुनते हैं। _templates हमारा टेम्पलेट रिपॉजिटरी है। हम प्रत्येक पैकेट को खिलाते हैं जो पैकेट क्लास के पैकेट ऑब्जेक्ट पर आता है, साथ ही हमारे टेम्पलेट स्टोरेज को पास करता है। और फिर हम पैकेट को निष्पादित करते हैं। StString ()। यह अतिभारित फ़ंक्शन पैकेट की सामग्री को प्रदर्शित करता है और केवल यह सत्यापित करने के लिए आवश्यक है कि सब कुछ हमारे लिए काम करता है।

यह सब पुस्तकालय के साथ है, अब इसका उपयोग नेटफ्लो प्रोटोकॉल का उपयोग करके ट्रैफ़िक विश्लेषक को आगे लिखने के लिए किया जा सकता है।

MikroTik के साथ उदाहरण:

भंडार में टेम्पलेट के बिना एक पैकेज मिला:


सेंसर से एक टेम्पलेट मिला:


डेटा मिला जिसके लिए रिपॉजिटरी में एक टेम्प्लेट है:

मिक्रोटिक `एस में नेटफ्लो वी 9 को लागू करने में त्रुटि

इस विषय के विश्लेषण की प्रक्रिया में, मिक्रोटिक में नेटफ्लो वी 9 के कार्यान्वयन में एक त्रुटि पाई गई थी। त्रुटि का सार:
पैकेट हेडर ( पैकेट हैडर ) में गणना क्षेत्र वहन करता है:

गिनती
निर्यात पैकेट में रिकॉर्ड की कुल संख्या, जो है
विकल्प फ़्लोसेट रिकॉर्ड्स, टेम्प्लेट फ़्लोसेट रिकॉर्ड्स और
डेटा फ़्लोसेट रिकॉर्ड्स।

यानी सभी अभिलेखों में, सभी फ़्लोसेट में शामिल हैं, और मिक्रोटिक के क्षेत्र में यह फ़ील्ड हमेशा 1 के बराबर है (ऊपर स्क्रीनशॉट देखें), भले ही कई टेम्पलेट या डेटा स्थानांतरित किए गए हों। यानी मिक्रोटिक के तर्क के अनुसार, काउंट फ़ील्ड = फ़्लोसेट्स की संख्या (जो उन्होंने मुझे पत्र में लिखी थी और स्क्रीनशॉट से देखा जा सकता है), और यह सभी टेम्पलेट और डेटा की कुल संख्या के बराबर होना चाहिए, जैसा कि विनिर्देश में लगता है। इस कारण से, पैकेट पार्सिंग में काउंट फ़ील्ड का उपयोग कम होता है।

यहाँ C # में Netflow सिमुलेटर का एक उदाहरण दिया गया है (मैं सिस्को से भी डेटा प्राप्त करना चाहूंगा, लेकिन मुझे ऐसा कोई अवसर नहीं मिला, हो सकता है कि कोई एक पाठक यह जाँच करेगा):

हमें रिपॉजिटरी में एक टेम्पलेट के बिना पैकेज प्राप्त हुआ ( गणना पर ध्यान दें):


हमें सेंसर से एक टेम्पलेट मिला (एक ही समय में दो फ़्लोसेट्स हैं, लेकिन यह पता चला है कि मिक्रोटिक नहीं होता है। गणना पर ध्यान दें , यह 7 = 1 टेम्पलेट और 6 डेटा रिकॉर्ड है। मिक्रोटिक के तर्क के अनुसार, गणना 2 = 2 के बराबर होनी चाहिए। फ़्लोसेट `ए):


डेटा मिला जिसके लिए रिपॉजिटरी में एक टेम्प्लेट है ( गणना पर ध्यान दें):


अच्छी तरह से और फिर से एक पैकेट Wireshark में। क्षेत्र गणना चिह्नित है:


एक बार फिर से: मैं सभी के लिए बहुत आभारी रहूंगा जो सिस्को विंडसर Iom के साथ एक स्क्रीन भेजेंगे । मैं इसमें डाल दूँगा।

स्रोत कोड यहां उपलब्ध है ।

जब निर्माण द्वारा निर्देशित किया गया था:
विकिपीडिया सामग्री: Netflow
कैलगरी: नेटफ्लोव क्या है?
प्रोटोकॉल विनिर्देश संस्करण 9

आज (19:05 07/30/2013)

मिक्रोटिक ने जवाब दिया:

मिक्रोटिक समर्थन [Dzintars] support@mikrotik.com

हैलो,

एक समस्या की रिपोर्ट करने के लिए धन्यवाद (लेख के लेखक ने सही ढंग से बताया
कि netflow पैकेट हैडर में गिनती मूल्य हमेशा सही तरीके से सेट नहीं होता है)।
राउटरओएस के अगले संस्करण में समस्या को ठीक किया जाएगा।

सादर,
Dzintars

UPD: राउटरओएस 6.2 में यह बग तय किया गया है।

आज (13:22 09/13/2013)

मिक्रोटिक ने लिखा:

मिक्रोटिक समर्थन [Dzintars] support@mikrotik.com

हैलो,

नेटफ्लो V9 काउंट फील्ड की समस्या 6.2 संस्करण में तय की गई थी

सादर,
Dzintars