संचार चैनलों की बैंडविड्थ लगातार बढ़ रही है, अगर कुछ साल पहले 10Gbit / s चैनल वाला सर्वर केवल कुछ का ही विशेषाधिकार था, तो अब बाजार में ऐसे ऑफर आए हैं जो छोटी और मध्यम आकार की कंपनियों के लिए उपलब्ध हैं। उसी समय, टीसीपी / आईपी प्रोटोकॉल स्टैक को ऐसे समय में विकसित किया गया था जब आप केवल 10Gbit / s की गति के बारे में सपना देख सकते थे। नतीजतन, अधिकांश आधुनिक सामान्य-उद्देश्य वाले ऑपरेटिंग सिस्टम के कोड में कई ओवरहेड हैं जो संसाधनों को बर्बाद कर रहे हैं। इन स्थितियों में, नेटवर्क के उच्च-प्रदर्शन प्रसंस्करण का महत्व बहता है।

यह लेख Highload ++ 2012 में मेरी रिपोर्ट पर आधारित है और यह सुविधाजनक और बहुत प्रभावी ओपनसोर्स फ्रेमवर्क के त्वरित परिचय के लिए है, जो HEAD / STABLE FreeBSD में शामिल है, जिसे NETMAP कहा जाता है और पारंपरिक में विशेष हार्डवेयर का उपयोग किए बिना आप 1-10Gbit / s की गति से पैकेज के साथ काम करने की अनुमति देता है। * निक्स ऑपरेटिंग सिस्टम।

नेटमैप अच्छी तरह से ज्ञात प्रदर्शन-बढ़ाने वाली तकनीकों का उपयोग करता है, जैसे कि मेमोरी, I / O बैच प्रोसेसिंग में नेटवर्क कार्ड बफ़र्स की मैपिंग, और रिंग ट्रांसमिशन का उपयोग करना और नेटवर्क कार्ड में हार्डवेयर बफ़र्स के अनुरूप मेमोरी बफ़र्स प्राप्त करना, जो प्रति सेकंड 14 मिलियन पैकेट तक ट्रैफ़िक उत्पन्न करने और प्राप्त करने की अनुमति देता है। (जो 10Gbit / s के लिए सैद्धांतिक अधिकतम से मेल खाती है)।

लेख में NETMAP लेखक के प्रकाशनों के प्रमुख अंश हैं - लुइगी रिज़ो, नेटमैप ढांचे के आंतरिक कार्यान्वयन की वास्तुकला और प्रमुख विशेषताओं पर चर्चा करता है, जो ओएस कर्नेल और नेटवर्क कार्ड के साथ काम करते समय महत्वपूर्ण कार्यों को अंजाम देता है, जो एक सरल और समझने योग्य एपीआई प्रदान करता है।

बिल्ली के तहत, 14Mpps की गति से प्रसंस्करण पैकेट से संबंधित अनुप्रयोगों के विकास के लिए ढांचे का उपयोग करने की बुनियादी प्राइमेटिक्स पर विचार किया जाता है, L3 स्तर के लिए जिम्मेदार DDOS संरक्षण प्रणाली के एक घटक को विकसित करते समय नेटमैप ढांचे का उपयोग करने का व्यावहारिक अनुभव माना जाता है। अलग-अलग, 1 / 10Gbit / s चैनलों पर नेटमैप की तुलनात्मक प्रदर्शन विशेषताओं, एक / कई प्रोसेसर कोर, बड़े और छोटे पैकेट, OS FreeBSD / Linux ढेर के साथ प्रदर्शन की तुलना अलग-अलग मानी जाती है।

1. परिचय

आधुनिक सामान्य-उद्देश्य वाले ऑपरेटिंग सिस्टम नेटवर्क निगरानी कार्यक्रमों, ट्रैफिक जनरेशन, सॉफ्टवेयर स्विच, राउटर, फायरवॉल और अटैक रिकग्निशन सिस्टम में निम्न स्तर पर पैकेट प्रसंस्करण के लिए समृद्ध और लचीली क्षमताएं प्रदान करते हैं। सॉफ़्टवेयर इंटरफ़ेस, जैसे: कच्चे सॉकेट, बर्कले पैकेट फ़िल्टर (BPF), AF_PACKET इंटरफ़ेस और इसी तरह, वर्तमान में इन कार्यक्रमों को विकसित करने के लिए उपयोग किया जाता है। जाहिर है, इन अनुप्रयोगों के लिए आवश्यक उच्च पैकेट प्रसंस्करण गति, उपरोक्त तंत्र के विकास में मुख्य लक्ष्य नहीं था, क्योंकि प्रत्येक कार्यान्वयन में महत्वपूर्ण ओवरहेड (बाद में ओवरहेड के रूप में संदर्भित) है।

एक ही समय में, ट्रांसमिशन माध्यम, नेटवर्क कार्ड और नेटवर्क उपकरणों की काफी वृद्धि हुई थ्रूपुट, निम्न-स्तरीय पैकेट प्रसंस्करण के लिए ऐसे इंटरफ़ेस की आवश्यकता का सुझाव देता है जो वायर गति पर प्रसंस्करण की अनुमति देगा, अर्थात। प्रति पैकेट लाखों। बेहतर प्रदर्शन के लिए, कुछ सिस्टम सीधे ऑपरेटिंग सिस्टम के कर्नेल में काम करते हैं या टीसीपी / आईपी स्टैक और नेटवर्क कार्ड ड्राइवर को दरकिनार करते हुए सीधे नेटवर्क कार्ड संरचनाओं (इसके बाद एनआईसी) तक पहुंच प्राप्त करते हैं। इन प्रणालियों की प्रभावशीलता लोहे के नेटवर्क कार्डों की विशिष्ट विशेषताओं के कारण है जो एनआईसी डेटा संरचनाओं को सीधे पहुंच प्रदान करते हैं।

NETMAP फ्रेमवर्क एनआईसी प्रत्यक्ष अभिगम समाधान में कार्यान्वित विचारों को सफलतापूर्वक जोड़ता है और विस्तारित करता है। उत्पादकता में एक नाटकीय वृद्धि के अलावा, NETMAP उच्च प्रदर्शन पैकेट प्रसंस्करण के लिए उपयोगकर्ता के हार्डवेयर स्वतंत्र इंटरफ़ेस प्रदान करता है। यहां सिर्फ एक मीट्रिक है ताकि आप पैकेट प्रसंस्करण की गति का मूल्यांकन कर सकें: उपयोगकर्ताओं को एक ट्रांसमिशन माध्यम (केबल) से पैकेट भेजकर 70 सीपीयू से कम का चक्र लगता है। दूसरे शब्दों में, 900 MHz की आवृत्ति के साथ प्रोसेसर के केवल एक कोर पर NETMAP का उपयोग करना, प्रति सेकंड (Mpps) 14.88 मिलियन पैकेट का तेजी से अग्रेषण करना संभव है, जो कि 10Gbit / s चैनल में ईथरनेट फ्रेम की अधिकतम संचरण दर से मेल खाती है।

NETMAP की एक अन्य महत्वपूर्ण विशेषता यह है कि यह एनआईसी रजिस्टरों और डेटा संरचनाओं तक पहुंचने के लिए एक उपकरण-स्वतंत्र इंटरफ़ेस प्रदान करता है। ये संरचनाएं, साथ ही साथ कर्नेल मेमोरी के महत्वपूर्ण क्षेत्र, उपयोगकर्ता प्रोग्राम के लिए दुर्गम हैं, जो विश्वसनीयता बढ़ाता है, क्योंकि उपयोगकर्ता स्थान से, एक मेमोरी क्षेत्र में अमान्य पॉइंटर डालना मुश्किल है और ओएस कर्नेल में दुर्घटना का कारण बन सकता है। उसी समय, NETMAP एक बहुत ही कुशल डेटा मॉडल का उपयोग करता है जो शून्य-कॉपी पैकेट को अग्रेषित करने की अनुमति देता है, अर्थात। पैकेट को स्मृति की आवश्यकता के बिना अग्रेषित करना, जो जबरदस्त प्रदर्शन की अनुमति देता है।

लेख आर्किटेक्चर और क्षमताओं पर केंद्रित है जो NETMAP प्रदान करता है, साथ ही साथ प्रदर्शन संकेतक जो साधारण हार्डवेयर पर इसके साथ प्राप्त किए जा सकते हैं।

2. आधुनिक ओएस के टीसीपी / आईपी स्टैक

लेख का यह हिस्सा उन डेवलपर्स के लिए विशेष रूप से दिलचस्प होगा जो सॉफ़्टवेयर स्विच, राउटर, फायरवॉल, ट्रैफ़िक विश्लेषक, हमला पहचान प्रणाली या ट्रैफ़िक जनरेटर जैसे एप्लिकेशन बनाते हैं। सामान्य प्रयोजन के ऑपरेटिंग सिस्टम, एक नियम के रूप में, उच्च गति पर कच्चे पैकेट तक पहुंचने के लिए प्रभावी तंत्र प्रदान नहीं करते हैं। लेख के इस खंड में, हम ओएस में टीसीपी / आईपी स्टैक का विश्लेषण करने पर ध्यान केंद्रित करेंगे, विचार करें कि ओवरहेड्स कहां से आते हैं, और ओएस स्टैक के माध्यम से इसके पास के विभिन्न चरणों में एक पैकेट को संसाधित करने की लागत को समझते हैं।

2.1। एनआईसी डेटा संरचनाएं और संचालन

नेटवर्क एडेप्टर (एनआईसी) इनकमिंग और आउटगोइंग पैकेट को संसाधित करने के लिए मेमोरी बफर डिस्क्रिप्टर की रिंग कतारों का उपयोग करते हैं, जैसा कि चित्र 1 में दिखाया गया है।

“चावल नंबर 1। एनआईसी डेटा संरचनाएं और ओएस डेटा संरचनाओं के साथ उनके संबंध »

रिंग कतार में प्रत्येक स्लॉट में बफर की लंबाई और भौतिक पता होता है। सीपीयू एनआईसी रजिस्टरों के लिए उपलब्ध (पता योग्य) पैकेट प्राप्त करने और प्रसारित करने के लिए कतारों के बारे में जानकारी है।
जब एक पैकेट नेटवर्क कार्ड पर आता है, तो इसे वर्तमान मेमोरी बफर में रखा जाता है, इसका आकार और स्थिति स्लॉट में दर्ज की जाती है, और प्रसंस्करण के लिए आने वाले नए डेटा संबंधित एनआईसी रजिस्टर में दर्ज किए जाते हैं। नेटवर्क कार्ड नए डेटा आने पर सीपीयू को सूचित करने के लिए एक बाधा शुरू करता है।
मामले में जब एक पैकेट नेटवर्क पर भेजा जाता है, तो एनआईसी मानता है कि ओएस वर्तमान बफर को भरता है, स्लॉट में प्रेषित डेटा के आकार पर जानकारी रखता है, इसी एनआईसी रजिस्टर में ट्रांसमिशन के लिए स्लॉट की संख्या लिखता है, जो नेटवर्क को पैकेट भेजने की पहल करता है।
पैकेट प्राप्त करने और प्रसारित करने की उच्च गति के मामले में, बड़ी संख्या में व्यवधान किसी भी उपयोगी कार्य को करने में असमर्थता पैदा कर सकता है ("लाइव-लॉक प्राप्त करें")। इन समस्याओं को हल करने के लिए, ओएस मतदान या बाधित थ्रॉटलिंग तंत्र का उपयोग करता है। कुछ उच्च-प्रदर्शन वाले एनआईसी पैकेट प्राप्त करने / प्रेषित करने के लिए कई कतारों का उपयोग करते हैं, जो आपको प्रोसेसर पर लोड को कई कोर में वितरित करने या ऐसे नेटवर्क कार्ड के साथ काम करने वाले वर्चुअल सिस्टम में उपयोग के लिए कई डिवाइसों में नेटवर्क कार्ड को विभाजित करने की अनुमति देता है।

2.2। उपयोगकर्ता के लिए कर्नेल और एपीआई

ओएस एनआईसी डेटा संरचनाओं को मेमोरी बफ़र्स से एक कतार में कॉपी करता है, जो प्रत्येक विशेष ओएस के लिए विशिष्ट है। FreeBSD के मामले में, ये mbufs हैं, इसके समकक्ष sk_buffs और NdisPackets हैं। उनके मूल में, ये मेमोरी बफ़र कंटेनर होते हैं जिनमें प्रत्येक पैकेट के बारे में मेटाडेटा की एक बड़ी मात्रा होती है: आकार, जिस इंटरफ़ेस से / जिसमें पैकेट पहुंचे, विभिन्न विशेषताओं और झंडे जो एनआईसी और / ओएस में मेमोरी बफर डेटा के प्रसंस्करण क्रम को निर्धारित करते हैं।
एनआईसी चालक और ऑपरेटिंग सिस्टम के टीसीपी / आईपी स्टैक (बाद में मेजबान स्टैक के रूप में संदर्भित), एक नियम के रूप में, मान लें कि पैकेट को मनमाने ढंग से संख्या में विभाजित किया जा सकता है, इसलिए, पैकेट विखंडन को संभालने के लिए ड्राइवर और होस्ट स्टैक दोनों को तैयार होना चाहिए। यूज़र्सस्पेस को निर्यात की जाने वाली संबंधित एपीआई बताती है कि विभिन्न सबसिस्टम विलंबित प्रसंस्करण के लिए पैकेज छोड़ सकते हैं, इसलिए, मेमोरी बफ़र्स और मेटाडेटा को केवल कॉल प्रोसेसिंग के दौरान संदर्भ द्वारा पारित नहीं किया जा सकता है, लेकिन उन्हें संदर्भ गिनती द्वारा कॉपी या संसाधित किया जाना चाहिए। यह सब लचीलापन और प्रयोज्य के लिए उच्च ओवरहेड्स द्वारा भुगतान है।
उपरोक्त एपीआई का डिज़ाइन काफी समय पहले विकसित किया गया था और आज आधुनिक प्रणालियों के लिए बहुत महंगा है। मेमोरी आवंटन, प्रबंधन और बफर श्रृंखला से गुजरने की लागत अक्सर पैकेट में प्रेषित उपयोगी डेटा पर रैखिक निर्भरता से परे जाती है।
उपयोगकर्ता प्रोग्राम में कच्चे पैकेज के इनपुट / आउटपुट के लिए मानक एपीआई के लिए कम से कम मेमोरी आवंटन की आवश्यकता होती है डेटा और मेटाडाटा के बीच ओएस कर्नेल और उपयोगकर्तास्पेस और प्रत्येक पैकेज के लिए एक सिस्टम कॉल (कुछ मामलों में, पैकेज का एक क्रम) के लिए।
ओएस फ्रीबीएसडी में होने वाले ओवरहेड्स पर विचार करें जब सेंडलो () फ़ंक्शन का उपयोग करके यूज़रलेवल से एक यूडीपी पैकेट भेजा जाता है। इस उदाहरण के उपयोगकर्तास्थान में, प्रोग्राम एक लूप में एक यूडीपी पैकेट भेजता है। तालिका 2 उपयोगकर्ता-स्थान और विभिन्न कर्नेल फ़ंक्शंस में एक पैकेज को संसाधित करने में लगाए गए औसत समय को दिखाता है। समय क्षेत्र में पैकेट को संसाधित करने के लिए नैनोसेकंड में औसत समय होता है; फ़ंक्शन वापस आने पर मान दर्ज किया जाता है। डेल्टा फ़ील्ड सिस्टम कॉल निष्पादन श्रृंखला में अगले फ़ंक्शन की शुरुआत से पहले बीता हुआ समय इंगित करता है। उदाहरण के लिए, 8 नैनोसेकंड यूजरस्पेस के संदर्भ में निष्पादन लेता है, 96 नैनोसेकंड ओएस कर्नेल के संदर्भ में प्रवेश करता है।
परीक्षणों के लिए, हम निम्नलिखित स्थूल परिभाषाओं का उपयोग करते हैं जो OS FreeBSD में काम करते हैं:

परीक्षण OS FreeBSD HEAD 64bit, i7-870 2.93GHz (TurboBoost), Intel 10Gbit NIC, ixgbe ड्राइवर चलाने वाले कंप्यूटर पर किया गया था। कई दर्जन से अधिक 5-सेकंड परीक्षणों में मान औसत हैं।

जैसा कि तालिका 1 से देखा जा सकता है, कई कार्य हैं जो ओएस स्टैक पर पैकेट प्रसंस्करण के सभी स्तरों पर गंभीर रूप से बड़ी मात्रा में खपत करते हैं। नेटवर्क इनपुट / पानी के लिए कोई भी एपीआई, चाहे वह टीसीपी हो, RAW_SOCKET, BPF, को कई महंगे स्तरों के माध्यम से एक पैकेट भेजने के लिए मजबूर किया जाएगा। इस मानक एपीआई का उपयोग करते हुए, mbufs में मेमोरी आवंटन और प्रतिलिपि तंत्रों को बायपास करने का कोई तरीका नहीं है, सही मार्गों की जांच करें, टीसीपी / यूडीपी / आईपी / मैक हेडर तैयार करें और निर्माण करें और इस प्रोसेसिंग चेन के अंत में ट्रांसमिशन के लिए mbuf संरचनाओं और मेटाडेटा को एनआईसी प्रारूप में बदलें। नेटवर्क के लिए पैकेट। यहां तक कि स्थानीय अनुकूलन के मामले में, उदाहरण के लिए, खरोंच से निर्माण के बजाय कैशिंग मार्गों और हेडर, 10 Gbit / s इंटरफेस पर प्रसंस्करण पैकेट के लिए आवश्यक गति में एक कट्टरपंथी वृद्धि नहीं देता है।

2.3। उच्च गति पर संकुल को संसाधित करते समय उत्पादकता बढ़ाने की आधुनिक तकनीक

चूंकि पैकेटों के उच्च गति प्रसंस्करण की समस्या अपेक्षाकृत लंबी रही है, उत्पादकता बढ़ाने के लिए विभिन्न तकनीकों को पहले ही विकसित किया गया है और प्रसंस्करण गति को गुणात्मक रूप से बढ़ाने के लिए उपयोग किया जाता है।

सॉकेट एपीआई

कच्चे पैकेज तक पहुँचने के लिए बर्कले पैकेट फ़िल्टर (इसके बाद BPF) सबसे लोकप्रिय तंत्र है। BPF नेटवर्क कार्ड ड्राइवर से जुड़ता है और प्रत्येक प्राप्त या भेजे गए पैकेट की एक प्रति एक फाइल डिस्क्रिप्टर को भेजता है जिससे उपयोगकर्ता प्रोग्राम प्राप्त / भेज सकता है। लिनक्स में एक समान तंत्र है जिसे AF_PACKET सॉकेट परिवार कहा जाता है। बीपीएफ टीसीपी / आईपी स्टैक के साथ काम करता है, हालांकि ज्यादातर मामलों में, यह नेटवर्क कार्ड को "पारदर्शी" मोड (प्रोमिसस) में डालता है, जिससे बाहरी यातायात का एक बड़ा प्रवाह होता है जो कर्नेल में प्रवेश करता है और वहां हटा दिया जाता है।

पैकेट फिल्टर हुक

नेटग्राफ (फ्रीबीएसडी), नेटफिल्टर (लिनक्स), एनडीस मिनिपोर्ट ड्राइवर (एमएस विंडोज) ऐसे कर्नेल-निर्मित तंत्र हैं जिनका उपयोग पैकेजों की नकल करते समय नहीं किया जाता है और एक अनुप्रयोग, जैसे कि फ़ायरवॉल, को पैकेट प्रवाह श्रृंखला में एकीकृत किया जाना चाहिए। ये तंत्र नेटवर्क कार्ड ड्राइवर से ट्रैफ़िक प्राप्त करते हैं और इसे अतिरिक्त प्रतिलिपि के बिना प्रसंस्करण मॉड्यूल में भेजते हैं। जाहिर है, इस खंड में इंगित सभी तंत्र mbuf / sk_buff के रूप में संकुल के प्रतिनिधित्व पर आधारित हैं।

प्रत्यक्ष बफर का उपयोग

कर्नेल स्थान से उपयोगकर्ता स्थान पर एक पैकेज को स्थानांतरित करते समय अतिरिक्त प्रतिलिपि से बचने के सबसे आसान तरीकों में से एक है और इसके लिए आवेदन को एनआईसी संरचनाओं तक सीधे पहुंच की अनुमति है। आमतौर पर, इसके लिए एप्लिकेशन को OS कर्नेल पर चलाने की आवश्यकता होती है। उदाहरण क्लिक सॉफ्टवेयर राउटर प्रोजेक्ट या कर्नेल मोड pkt-gen ट्रैफिक जनरेटर हैं। उपयोग में आसानी के साथ, कर्नेल स्थान एक बहुत ही नाजुक वातावरण है, जिसमें त्रुटियां एक सिस्टम क्रैश हो सकती हैं, इसलिए अधिक सही तंत्र पैकेट बफ़र्स को उपयोगकर्ताओं के लिए निर्यात कर रहा है। इस दृष्टिकोण के उदाहरण हैं PF_RING और लिनक्स PACKET_MMAP, जो नेटवर्क पैकेट के लिए पूर्व-आवंटित क्षेत्रों से युक्त साझा मेमोरी के एक क्षेत्र को निर्यात करते हैं। उसी समय, ऑपरेटिंग सिस्टम का कर्नेल साझा स्मृति में sk_buffers और पैकेट बफ़र्स के बीच डेटा की प्रतिलिपि बनाता है। यह पैकेजों के बैच प्रसंस्करण की अनुमति देता है, लेकिन साथ ही, ओवरहेड्स sk_buff श्रृंखला की प्रतिलिपि बनाने और प्रबंधित करने से जुड़े रहते हैं।
यूजर्स के सीधे एनआईसी तक पहुंच की अनुमति देकर भी बेहतर प्रदर्शन हासिल किया जा सकता है। इस दृष्टिकोण को विशेष एनआईसी ड्राइवरों की आवश्यकता है और कुछ जोखिमों को बढ़ाता है, जैसे एनआईसी डीएमए इंजन किसी भी मेमोरी पते पर डेटा लिखने में सक्षम होगा और गलत तरीके से लिखा गया क्लाइंट गलती से कर्नेल में कहीं महत्वपूर्ण डेटा को मिटाकर सिस्टम को "मार" सकता है। यह कहना उचित है कि आधुनिक नेटवर्क कार्डों की एक बड़ी संख्या में एक IOMMU इकाई है, जो मेमोरी को NIC DMA इंजन के लेखन को प्रतिबंधित करती है। प्रदर्शन को गति देने में इस दृष्टिकोण का एक उदाहरण PF_RING_DNA और कुछ वाणिज्यिक समाधान हैं।

3. NETMAP वास्तुकला

3.1। मुख्य विशेषताएं

पिछले लेख में, उच्च गति पर पैकेट प्रसंस्करण के प्रदर्शन को बढ़ाने के लिए विभिन्न तंत्रों पर विचार किया गया था। डेटा प्रोसेसिंग में महंगे संचालन का विश्लेषण किया गया, जैसे: डेटा की प्रतिलिपि बनाना, मेटाडेटा और अन्य ओवरहेड्स को प्रबंधित करना जो तब होता है जब एक पैकेट नेटवर्क से टीसीपी / आईपी स्टैक के माध्यम से उपयोगकर्तास्पेस से गुजरता है।
रिपोर्ट में प्रस्तुत की गई रूपरेखा, जिसे नेटमैप कहा जाता है, एक ऐसी प्रणाली है जो नेटवर्क पैकेटों के लिए बहुत ही त्वरित पहुँच प्रदान करती है, दोनों प्राप्त करने और भेजने के लिए, नेटवर्क के साथ आदान-प्रदान करने और टीसीपी / आईपी ओएस स्टैक के साथ काम करते समय (मेजबान) ढेर)। इसी समय, दक्षता को उन जोखिमों के लिए बलिदान नहीं किया जाता है जब डेटा संरचना और नेटवर्क कार्ड रजिस्टर पूरी तरह से उपयोगकर्ता स्थान में खुलते हैं। फ्रेमवर्क स्वतंत्र रूप से नेटवर्क कार्ड का प्रबंधन करता है, ऑपरेटिंग सिस्टम, एक ही समय में, मेमोरी की सुरक्षा करता है।
इसके अलावा, NETMAP की विशिष्ट विशेषता मौजूदा ओएस तंत्रों के साथ इसकी कड़ी एकीकरण और विशिष्ट नेटवर्क कार्डों की हार्डवेयर सुविधाओं पर निर्भरता की अनुपस्थिति है। वांछित उच्च निष्पादन प्रदर्शन प्राप्त करने के लिए NETMAP कई प्रसिद्ध तकनीकों का उपयोग करता है:

• कॉम्पैक्ट और हल्के पैकेज मेटाडेटा संरचना। उपयोग करने के लिए सरल, वे डिवाइस-विशिष्ट तंत्र को छिपाते हैं, पैकेज के साथ काम करने के लिए एक सुविधाजनक और आसान तरीका प्रदान करते हैं। इसके अलावा, NETMAP मेटाडेटा को सिंगल सिस्टम कॉल में कई प्रकार के पैकेट को संभालने के लिए डिज़ाइन किया गया है, जिससे पैकेट भेजने का बोझ कम हो।
• रैखिक ने बफ़र्स का प्रचार किया, निश्चित आकार। आपको स्मृति प्रबंधन ओवरहेड को कम करने की अनुमति देता है।
• ज़ीरो कॉपी ऑपरेशन जब इंटरफेस के बीच पैकेट अग्रेषित करते हैं, साथ ही इंटरफेस और होस्ट स्टैक के बीच।
• कई हार्डवेयर कतारों जैसे नेटवर्क कार्ड की उपयोगी हार्डवेयर सुविधाओं के लिए समर्थन।

NETMAP में, प्रत्येक सबसिस्टम वही करता है जो इसके लिए डिज़ाइन किया गया है: एनआईसी नेटवर्क और रैम के बीच डेटा भेजता है, ओएस कर्नेल मेमोरी की सुरक्षा करता है, मल्टीटास्किंग और सिंक्रनाइज़ेशन प्रदान करता है।

अंजीर। नंबर 2। NETMAP मोड में, NIC कतारें TCP / IP OS स्टैक से डिस्कनेक्ट हो जाती हैं। नेटवर्क और होस्ट स्टैक के बीच विनिमय केवल NETMAP एपीआई के माध्यम से किया जाता है

उच्चतम स्तर पर, जब कोई एप्लिकेशन नेटमैप एपीआई के माध्यम से नेटमैप मोड में नेटवर्क कार्ड डालता है, तो एनआईसी कतारें होस्ट स्टैक से डिस्कनेक्ट हो जाती हैं। इस प्रकार कार्यक्रम को नेटवर्क और ओएस स्टैक के बीच पैकेट के आदान-प्रदान को नियंत्रित करने का अवसर मिलता है, इसके लिए "नेटमैप रिंग" नामक रिंग बफ़र्स का उपयोग किया जाता है। नेटमैप के छल्ले, बदले में, साझा मेमोरी में लागू किए जाते हैं। एनआईसी और ओएस स्टैक में कतारों को सिंक्रनाइज़ करने के लिए, सामान्य ओएस सिस्टम कॉल का उपयोग किया जाता है: चयन () / पोल ()। नेटवर्क कार्ड से टीसीपी / आईपी स्टैक को डिस्कनेक्ट करने के बावजूद, ऑपरेटिंग सिस्टम काम करना और अपने संचालन को जारी रखता है।

3.2। डेटा संरचनाएं

अंजीर में प्रमुख NETMAP डेटा संरचनाओं को दिखाया गया है। नंबर 3। निम्नलिखित कार्यों को ध्यान में रखते हुए संरचनाएं विकसित की गईं:
पैकेट को संसाधित करते समय कम ओवरहेड्स
• इंटरफेस के बीच और साथ ही इंटरफेस और स्टैक के बीच पैकेट को स्थानांतरित करते समय दक्षता में वृद्धि
• नेटवर्क कार्ड में हार्डवेयर एकाधिक कतारों के लिए समर्थन

अंजीर। नंबर 3। NETMAP ने यूजरस्पेस में संरचनाओं का निर्यात किया

NETMAP में उपयोगकर्तास्पेस से दिखाई देने वाली तीन प्रकार की वस्तुएँ हैं:
• पैकेट बफ़र्स
• रिंग क्यू बफ़र्स (नेटमैप रिंग्स)
• इंटरफ़ेस संभाल (netmap_if)

सभी नेटमैप सक्षम सिस्टम इंटरफेस के सभी ऑब्जेक्ट्स नॉनपेजेड शेयर्ड मेमोरी के एक ही क्षेत्र में स्थित हैं, जो कर्नेल द्वारा आवंटित किया गया है और उपयोगकर्ता स्थान से प्रक्रियाओं के बीच सुलभ है। इस तरह के समर्पित मेमोरी सेगमेंट का उपयोग करने से आप सभी इंटरफेस और स्टैक के बीच शून्य कॉपी पैकेट एक्सचेंज को आसानी से कर सकते हैं। उसी समय, NETMAP एक दूसरे से अलग-अलग प्रक्रियाओं को प्रदान की गई मेमोरी क्षेत्रों को अलग करने के लिए इस तरह से इंटरफेस या कतारों को अलग करने का समर्थन करता है।
चूंकि विभिन्न उपयोगकर्ता प्रक्रियाएं अलग-अलग वर्चुअल पतों में काम करती हैं, इसलिए निर्यात की गई NETMAP डेटा संरचनाओं के सभी लिंक सापेक्ष हैं, अर्थात्। ऑफसेट हैं।
पैकेट बफ़र्स आकार (2K वर्तमान में) में तय किए गए हैं और एनआईसी और उपयोगकर्ता प्रक्रियाओं दोनों द्वारा उपयोग किए जाते हैं। प्रत्येक बफ़र को एक अद्वितीय सूचकांक द्वारा पहचाना जाता है, इसके वर्चुअल पते की गणना उपयोगकर्ता प्रक्रिया द्वारा आसानी से की जा सकती है, और इसके भौतिक पते की गणना एनआईसी डीएमए इंजन द्वारा आसानी से की जा सकती है।
सभी नेटमैप बफ़र्स को उस समय आवंटित किया जाता है जब नेटवर्क कार्ड NETMAP मोड में जाता है। मेटाडाटा बफर का वर्णन करता है, जैसे कि सूचकांक, आकार, और कुछ झंडे, स्लॉट्स में संग्रहीत किए जाते हैं, जो कि नेटमैप रिंग के मुख्य सेल हैं, जिन्हें नीचे वर्णित किया जाएगा। प्रत्येक बफर नेटमैप रिंग और नेटवर्क कार्ड (हार्डवेयर रिंग) में संबंधित कतार से जुड़ा होता है।
नेटमैप रिंग एक नेटवर्क कार्ड की हार्डवेयर रिंग कतारों का एक अमूर्तन है। नेटमैप रिंग को निम्नलिखित मापदंडों की विशेषता है:
• ring_size, कतार में स्लॉट की संख्या (नेटमैप रिंग)
• cur, कतार में लिखने / पढ़ने के लिए वर्तमान स्लॉट
• लाभ, उपलब्ध स्लॉट की संख्या: TX के मामले में, ये खाली स्लॉट हैं जिनके माध्यम से डेटा भेजा जा सकता है आरएक्स केस - ये एनआईसी डीएमए इंजन से भरे हुए स्लॉट हैं जिनमें डेटा आया था।
buf_ofs, कतार की शुरुआत और एक निश्चित आकार के पैकेट बफ़र्स के सरणी के बीच की शुरुआत (नेटमैप बफ़र्स)
• स्लॉट्स [], एक सरणी जिसमें रिंग का आकार निश्चित आकार के मेटाडेटा की मात्रा को दर्शाता है। प्रत्येक स्लॉट में पैकेट बफ़र का सूचकांक होता है जिसमें प्राप्त डेटा (या भेजा जाने वाला डेटा), पैकेट का आकार, पैकेट को संसाधित करने में उपयोग किए जाने वाले कुछ झंडे

होते हैं । आखिर में, netmap_if में नेटमैप इंटरफ़ेस का वर्णन करने वाली आसानी से जानकारी होती है। इस जानकारी में शामिल हैं: नेटवर्क कार्ड और ऑफसेट से जुड़ी कतारों की संख्या (नेटमैप रिंग्स), एनआईसी से जुड़ी कतारों में से प्रत्येक को एक संकेतक प्राप्त करने के लिए।

3.3। डेटा प्रोसेसिंग कॉन्टेक्ट्स

जैसा कि ऊपर बताया गया है, NETMAP डेटा संरचनाएं कर्नेल और उपयोगकर्ता कार्यक्रमों के बीच साझा की जाती हैं। NETMAP सख्ती से "एक्सेस राइट्स" और प्रत्येक संरचना के मालिकों को डेटा की सुरक्षा के लिए इस तरह परिभाषित करता है। विशेष रूप से, नेटमैप रिंग्स को हमेशा एक उपयोगकर्ता प्रोग्राम से प्रबंधित किया जाता है, जब तक कि सिस्टम कॉल नहीं किया जाता है। सिस्टम कॉल के दौरान, कर्नेल स्पेस से कोड नेटमैप रिंग को अपडेट करता है, लेकिन उपयोगकर्ता प्रक्रिया के संदर्भ में ऐसा करता है। बाधित हैंडलर और अन्य कर्नेल थ्रेड्स कभी भी नेटमैप रिंग्स को नहीं छूते हैं।
कर्व और कर्व + लाभ - 1 के बीच पैकेट बफ़र्स को भी उपयोगकर्ता प्रोग्राम द्वारा नियंत्रित किया जाता है, जबकि शेष बफ़र्स को कर्नेल से कोड द्वारा संसाधित किया जाता है। हकीकत में, केवल एनआईसी पैकेट बफ़र्स तक पहुंचता है। सिस्टम कॉल के दौरान इन दो क्षेत्रों के बीच की सीमाएँ अपडेट की जाती हैं।

4. NETMAP में बुनियादी संचालन

4.1। नेटमैप एपीआई

नेटवर्क कार्ड को नेटमैप मोड में डालने के लिए, प्रोग्राम को विशेष डिवाइस / डेव / नेटमैप पर फ़ाइल डिस्क्रिप्टर को खोलना चाहिए और
Ioctl (..., NIOCREGIF, arg) को निष्पादित करना चाहिए।
इस सिस्टम कॉल के तर्कों में 'इंटरफ़ेस का नाम और (वैकल्पिक रूप से) नेटमैप की अंगूठी है' हम नए खुले फ़ाइल डिस्क्रिप्टर का उपयोग करके खोलना चाहते हैं। यदि सफल हो, तो साझा किए गए मेमोरी क्षेत्र का आकार जिसमें NETMAP द्वारा निर्यात की गई सभी डेटा संरचनाएं स्थित हैं और netmap_if मेमोरी क्षेत्र में ऑफसेट होती हैं, जिसके माध्यम से हमें इन संरचनाओं के लिए संकेत मिलते हैं।
नेटवर्क कार्ड को नेटमैप मोड में ले जाने के बाद, रिसेप्शन को भेजने या पैकेट भेजने के लिए निम्नलिखित दो सिस्टम कॉल का उपयोग किया जाता है:
• Iioctl (..., NIOCTXSYNC) - नेटवर्क कार्ड के संगत कतारों के साथ भेजने के लिए कतारों (नेटमैप रिंग्स) का सिंक्रनाइज़ेशन, जो नेटवर्क पर पैकेट भेजने के बराबर है, सिंक्रनाइज़ेशन स्थिति से शुरू होता है
• ioctl (..., NIOCRXSYNC) - नेट कार्ड के साथ नेटवर्क कार्ड की कतारों का सिंक्रनाइज़ेशन। छल्ले, नेटवर्क से पैकेट प्राप्त करने के लिए। रिकॉर्डिंग स्थिति वक्र से शुरू होती है
उपरोक्त दोनों सिस्टम कॉल्स नॉन-ब्लॉकिंग हैं, नेटवर्क कार्ड से नेटमैप रिंग और इसके विपरीत कॉपी करने के अलावा डेटा की अनावश्यक नकल न करें और एक सिस्टम कॉल में एक या कई पैकेट के साथ काम करें। यह सुविधा महत्वपूर्ण है और पैकेट प्रसंस्करण के दौरान ओवरहेड्स में एक नाटकीय कमी प्रदान करता है। निर्दिष्ट सिस्टम कॉल के दौरान NETMAP हैंडलर का मुख्य भाग निम्नलिखित क्रियाएं
करता है : • कतार के वक्र / लाभ वाले क्षेत्रों और प्रसंस्करण में शामिल स्लॉट्स की सामग्री की जाँच करता है (नेटमैप रिंगों में पैकेट बफ़र्स के आकार और सूचकांक और हार्डवेयर रिंग्स (नेटवर्क कार्ड कतार)
• नेटमैप रिंग्स और हार्डवेयर रिंग्स के बीच प्रसंस्करण में शामिल पैकेट स्लॉट्स की सामग्री को सिंक्रनाइज़ करता है, पैकेट भेजने के लिए नेटवर्क कार्ड के लिए एक कमांड जारी करता है, या डेटा प्राप्त करने के लिए नए फ्री बफ़र्स की उपलब्धता पर रिपोर्ट करता है।
नेटमैप रिंग्स में लाभ क्षेत्र को अपडेट करता है
जैसा कि आप देख सकते हैं, नेटमैप कर्नेल प्रोसेसर न्यूनतम काम करता है और चालू करता है। सिस्टम क्रैश को रोकने के लिए उपयोगकर्ता डेटा का सत्यापन दर्ज किया गया।

4.2। आदिम को अवरुद्ध करना

अवरोधित I / O को चुनिंदा () / पोल () सिस्टम कॉल / dev / netmap फ़ाइल डिस्क्रिप्टर के साथ समर्थित है। परिणाम या तो पैरामीटर लाभ के साथ नियंत्रण का एक प्रारंभिक रिटर्न है> 0. कर्नेल संदर्भ से नियंत्रण वापस करने से पहले, सिस्टम ioctl कॉल (... NIOC ** SYNC) के समान कार्य करेगा। इस तकनीक का उपयोग करके, एक उपयोगकर्ता प्रोग्राम सीपीयू को लोड किए बिना कर सकता है, केवल एक सिस्टम कॉल प्रति पास का उपयोग करके एक चक्र में कतारों की स्थिति की जांच कर सकता है।

4.3। मल्टी-कतार इंटरफ़ेस

कई कतारों वाला शक्तिशाली नेटवर्क कार्ड NETMAP आपको दो तरीकों से कॉन्फ़िगर करने की अनुमति देता है, इस पर निर्भर करता है कि आपको कार्यक्रम को नियंत्रित करने के लिए कितनी कतारों की आवश्यकता है। डिफ़ॉल्ट मोड में, एक सिंगल फाइल डिस्क्रिप्टर / डेव / नेटमैप सभी नेटमैप रिंग्स को नियंत्रित करता है, लेकिन यदि रिंग डिस्क्रिप्टर को फाइल डिस्क्रिप्टर खोले जाने पर निर्दिष्ट किया जाता है, तो फाइल डिस्क्रिप्टर एक जोड़ी नेटमैक्स रिंग्स आरएक्स / TX से जुड़ा होता है। इस तकनीक का उपयोग करने से आप विभिन्न नेटमैप कतारों के हैंडलर को सेटफिनिटी () के माध्यम से विशिष्ट प्रोसेसर कोर में बाँध सकते हैं और प्रसंस्करण को स्वतंत्र रूप से और सिंक्रनाइज़ेशन की आवश्यकता के बिना कर सकते हैं।

4.4। उदाहरण का उपयोग करें

चित्र 5 में दिखाया गया उदाहरण NETMAP एपीआई पर आधारित सबसे सरल यातायात जनरेटर का एक प्रोटोटाइप है। उदाहरण का उद्देश्य NETMAP एपीआई के उपयोग में आसानी को चित्रित करना है। उदाहरण NETMAP_XXX मैक्रो का उपयोग करता है, जो कोड को समझने के लिए आसान बनाता है, इसी NETMAP डेटा संरचनाओं को संकेत की गणना करता है। NETMAP API का उपयोग करने के लिए किसी लाइब्रेरी का उपयोग करने की आवश्यकता नहीं है। एपीआई को डिजाइन किया गया था ताकि कोड यथासंभव सरल और सीधा हो।

fds.fd = open("/dev/netmap", O_RDWR); strcpy(nmr.nm_name, "ix0"); ioctl(fds.fd, NIOCREG, &nmr); p = mmap(0, nmr.memsize, fds.fd); nifp = NETMAP_IF(p, nmr.offset); fds.events = POLLOUT; for (;;) { poll(fds, 1, -1); for (r = 0; r < nmr.num_queues; r++) { ring = NETMAP_TXRING(nifp, r); while (ring->avail-- > 0) { i = ring->cur; buf = NETMAP_BUF(ring, ring->slot[i].buf_index); //... store the payload into buf ... ring->slot[i].len = ... // set packet length ring->cur = NETMAP_NEXT(ring, i); } } }

प्रोटोटाइप ट्रैफ़िक जनरेटर।

4.5। होस्ट स्टैक से / के लिए पैकेट भेजना / प्राप्त करना

यहां तक कि जब नेटवर्क कार्ड को नेटमैप मोड में स्विच किया जाता है, तब भी ओएस नेटवर्क स्टैक अभी भी नेटवर्क इंटरफ़ेस का प्रबंधन करता है और नेटवर्क कार्ड से डिस्कनेक्ट करने के बारे में कुछ भी नहीं जानता है। नेटवर्क इंटरफ़ेस से उपयोगकर्ता ifconfig और / या उत्पन्न / पैकेट का उपयोग कर सकता है। OS नेटवर्क स्टैक के लिए प्राप्त या निर्देशित यह ट्रैफ़िक डिवाइस के फ़ाइल डिस्क्रिप्टर / डेव / नेटमैप से जुड़े नेटमैप रिंगों की एक विशेष जोड़ी का उपयोग करके संसाधित किया जा सकता है।
ऐसे मामले में जहां NIOCTXSYNC इस नेटमैप रिंग पर चल रही है, नेटमैप कर्नेल हैंडलर OS नेटवर्क स्टैक के mbuf संरचनाओं में पैकेट बफ़र्स को इनकैप्सुलेट करता है, इस प्रकार पैकेट्स को स्टैक में भेजा जाता है। तदनुसार, ओएस स्टैक से आने वाले पैकेट एक विशेष नेटमैप रिंग में रखे जाते हैं और NIOCRXSYNC पर कॉल के माध्यम से उपयोगकर्ता कार्यक्रम के लिए उपलब्ध हो जाते हैं। इस प्रकार, एनआईसी के साथ जुड़े होस्ट स्टैक और नेटमैप रिंग से जुड़े नेटमैप के छल्ले के बीच एक पैकेट को स्थानांतरित करने की जिम्मेदारी उपयोगकर्ता कार्यक्रम के साथ निहित है।

4.6। सुरक्षा संबंधी बातें

NETMAP का उपयोग करने वाली एक प्रक्रिया, भले ही वह कुछ गलत करती हो, सिस्टम को क्रैश करने में असमर्थ है, कुछ अन्य प्रणालियों के विपरीत, जैसे कि UIO-IXGBE, PF_RING_DNA। वास्तव में, NETMAP द्वारा यूजर स्पेस में एक्सपोर्ट किए गए मेमोरी एरिया में क्रिटिकल एरिया नहीं होते हैं, सभी इंडिकेटर्स और पैकेट के आकार और अन्य बफ़र्स को आसानी से उपयोग करने से पहले OS कर्नेल द्वारा वैधता के लिए जाँच की जाती है।

4.7। शून्य कॉपी पैकेट अग्रेषण

एक ही साझा मेमोरी क्षेत्र में सभी नेटवर्क कार्ड के लिए सभी बफ़र्स की उपस्थिति बहुत तेज़ (शून्य प्रति) पैकेट हस्तांतरण को एक इंटरफ़ेस से दूसरे में या होस्ट स्टैक के लिए अनुमति देती है। ऐसा करने के लिए, आपको बस इनकमिंग और आउटगोइंग इंटरफेस से जुड़ी नेटमैप रिंग में पैकेट बफ़र्स के लिए सूचकांकों का आदान-प्रदान करने की ज़रूरत है, पैकेट का आकार, स्लॉट फ्लैग को अपडेट करें और नेटमैप रिंग (वक्र) में वर्तमान स्थिति सेट करें, साथ ही नेटमैप मान भी अपडेट करें। रिंग / लाभ, जो प्राप्त करने और भेजने के लिए एक नए पैकेज का संकेत देता है।

 ns_src = &src_nr_rx->slot[i]; /* locate src and dst slots */ ns_dst = &dst_nr_tx->slot[j]; /* swap the buffers */ tmp = ns_dst->buf_index; ns_dst->buf_index = ns_src->buf_index; ns_src->buf_index = tmp; /* update length and flags */ ns_dst->len = ns_src->len; /* tell kernel to update addresses in the NIC rings */ ns_dst->flags = ns_src->flags = BUF_CHANGED; dst_nr_tx->avail--; //      src_nr_rx->avail--; // avail > 0

5. उदाहरण: डीडीओएस सुरक्षा प्रणाली के लिए यातायात शुद्धि उपप्रणाली में उपयोग के लिए NETMAP API

5.1। बुनियादी आवश्यकताओं

पैकेटों की सामग्री तक पहुँचने के लिए अत्यंत उच्च प्रदर्शन और सुविधाजनक तंत्र के संयोजन के कारण, इंटरफेस और नेटवर्क स्टैक के बीच पैकेट रूटिंग का प्रबंधन करना, NETMAP उन प्रणालियों के लिए एक बहुत सुविधाजनक फ्रेमवर्क है जो उच्च गति पर नेटवर्क पैकेटों की प्रक्रिया करते हैं। इस तरह के सिस्टम के उदाहरण ट्रैफिक मॉनिटरिंग एप्लिकेशन, आईडीएस / आईपीएस सिस्टम, फायरवॉल, राउटर और विशेष रूप से ट्रैफिक क्लीनिंग सिस्टम हैं, जो डीडीओएस सुरक्षा प्रणालियों के प्रमुख घटक हैं।
डीडीओएस सुरक्षा प्रणाली में यातायात सफाई सबसिस्टम के लिए मुख्य आवश्यकताएं अधिकतम गति पर पैकेट को फिल्टर करने की क्षमता और फिल्टर प्रणाली में पैकेट को संसाधित करने की क्षमता है जो वर्तमान में डीडीओएस हमलों का मुकाबला करने के लिए ज्ञात विभिन्न तकनीकों को लागू करती हैं।

5.2। नेटमैप मोड तैयार करना और सक्षम करना

चूंकि यह माना जाता है कि ट्रैफिक क्लीनिंग सबसिस्टम का प्रोटोटाइप पैकेट की सामग्री का विश्लेषण और संशोधित करेगा, साथ ही डीडीओएस सुरक्षा करने के लिए आवश्यक अपनी स्वयं की सूचियों और डेटा संरचनाओं का प्रबंधन करेगा, इसलिए डीडीओएस मॉड्यूल संचालन करने के लिए सीपीयू संसाधनों का पुनर्वितरण करना आवश्यक है, तदनुसार, यदि संभव हो तो, नेटमैप में आवश्यक छोड़कर पूरी गति से काम करने के लिए न्यूनतम। इन उद्देश्यों के लिए, कई सीपीयू कोर को "उनके" नेटमैप रिंग के साथ काम करना चाहिए।

 struct nmreq nmr; //… for (i=0, i < MAX_THREADS, i++) { // … targ[i]->nmr.ringid = i | NETMAP_HW_RING; … ioctl(targ[i].fd, NIOCREGIF, &targ[i]->nmr); //… targ[i]->mem = mmap(0, targ[i]->nmr.nr_memsize, PROT_WRITE | PROT_READ, MAP_SHARED, targ[i].fd, 0); targ[i]->nifp = NETMAP_IF(targ[i]->mem, targ[i]->nmr.nr_offset); targ[i]->nr_tx = NETMAP_TXRING(targ[i]->nifp, i); targ[i]->nr_rx = NETMAP_RXRING(targ[i]->nifp, i); //… }

यदि हम ओएस नेटवर्क स्टैक के साथ पैकेट का आदान-प्रदान करने की योजना बनाते हैं, तो आपको स्टैक के साथ बातचीत के लिए जिम्मेदार नेटमैप रिंग जोड़े को खोलने की आवश्यकता है।

 struct nmreq nmr; //… /* NETMAP  netmap ring   ringid    */ targ->nmr.ringid = stack_ring_id | NETMAP_SW_RING; // … ioctl(targ.fd, NIOCREGIF, &targ->nmr); // … <h2>5.3.   rx_thread</h2>            NETMAP,     thread' <source lang="cpp"> for ( i = 0; i < MAX_THREADS; i++ ) { /* start first rx thread */ targs[i].used = 1; if (pthread_create(&targs[i].thread, NULL, rx_thread, &targs[i]) == -1) { D("Unable to create thread %d", i); exit(-1); } } //… /* Wait until threads will finish their loops */ for ( r = 0; r < MAX_THREAD; r++ ) { if( pthread_join(targs[r].thread, NULL) ) ioctl(targs[r].fd, NIOCUNREGIF, &targs[r].nmr); close(targs[r].fd); } //… }

परिणामस्वरूप, सभी थ्रेड शुरू करने के बाद, अधिकतम_थ्रेड्स + 1 स्वतंत्र थ्रेड सिस्टम में बने रहते हैं, जिनमें से प्रत्येक एक दूसरे के साथ सिंक्रनाइज़ेशन की आवश्यकता के बिना अपने स्वयं के नेटमैप रिंग के साथ काम करता है। नेटवर्क स्टैक के साथ विनिमय के मामले में केवल सिंक्रनाइज़ेशन की आवश्यकता है।
इस प्रकार प्रतीक्षा और पैकेट लूप rx_thread () में काम करता है।

 while(targ->used) { ret = poll(fds, 2, 1 * 100); if (ret <= 0) continue; … /* run filters */ for ( i = targ->begin; i < targ->end; i++) { ioctl(targ->fd, NIOCTXSYNC, 0); ioctl(targ->fd_stack, NIOCTXSYNC, 0); targ->rx = NETMAP_RXRING(targ->nifp, i); targ->tx = NETMAP_TXRING(targ->nifp, i); if (targ->rx->avail > 0) { … /* process rings */ cnt = process_incoming(targ->id, targ->rx, targ->tx, targ->stack_rx, targ->stack_tx); … } }

इस प्रकार, एक संकेत प्राप्त करने के बाद कि पोल () सिस्टम कॉल के बाद नेटमैप_रिंग में से एक आने वाले पैकेट प्राप्त हुए, फ़िल्टर में पैकेट को संसाधित करने के लिए प्रक्रिया_इनकमिंग () फ़ंक्शन को नियंत्रित किया जाता है।

5.5। process_incoming ()

Process_incoming को नियंत्रण पास करने के बाद, आपको विभिन्न DDOS मान्यता तकनीकों द्वारा विश्लेषण और प्रसंस्करण के लिए पैकेट की सामग्री तक पहुंचने की आवश्यकता है।

 limit = nic_rx->avail; while ( limit-- > 0 ) { struct netmap_slot *rs = &nic_rx->slot[j]; // rx slot struct netmap_slot *ts = &nic_tx->slot[k]; // tx slot eth = (struct ether_header *)NETMAP_BUF(nic_rx, rs->buf_idx); if (eth->ether_type != htons(ETHERTYPE_IP)) { goto next_packet; // pass non-ip packet } /* get ip header of the packet */ iph = (struct ip *)(eth + 1); // … }

माना कोड उदाहरण NETMAP के साथ काम करने के लिए बुनियादी तकनीकों को दर्शाता है, नेटवर्क कार्ड को NETMAP मोड में डालने से शुरू होता है और पैकेट की सामग्री तक पहुंच के साथ समाप्त होता है जब पैकेट फ़िल्टर श्रृंखला से गुजरता है।

6. प्रदर्शन

6.1। मैट्रिक्स

प्रदर्शन परीक्षण परीक्षण करते समय, पहले परीक्षण मैट्रिक्स निर्धारित करना हमेशा आवश्यक होता है। कई सबसिस्टम पैकेट प्रसंस्करण में शामिल हैं: सीपीयू, कैश, डेटा बस, आदि। रिपोर्ट CPU लोड पैरामीटर को मानती है यह पैरामीटर पैकेट को संसाधित करने वाले ढांचे के सही कार्यान्वयन पर सबसे अधिक निर्भर हो सकता है।
यह दो दृष्टिकोणों के आधार पर सीपीयू लोड को मापने के लिए प्रथागत है: प्रेषित डेटा के आकार (प्रति-बाइट लागत) पर निर्भर करता है और संसाधित पैकेट (प्रति-पैकेट लागत) की संख्या पर निर्भर करता है। NETMAP के मामले में, इस तथ्य के कारण कि शून्य कॉपी पैकेट अग्रेषण किया जाता है, प्रति-पैकेट आधारित सीपीयू उपयोग माप प्रति पैकेट लागत की तुलना में इतना दिलचस्प नहीं है, क्योंकि मेमोरी की कोई प्रतिलिपि नहीं है और इसलिए, बड़े संस्करणों को स्थानांतरित करते समय, सीपीयू पर लोड न्यूनतम होगा। उसी समय, प्रति-पैकेट लागत के आधार पर माप में NETMAP प्रत्येक पैकेट को संसाधित करने में अपेक्षाकृत कई क्रियाएं करता है, और इसलिए, इस दृष्टिकोण में प्रदर्शन माप विशेष रुचि है। तो, सबसे छोटे पैकेट, 64 बाइट्स आकार (60 बाइट्स + 4 बाइट्स सीआरसी) के आधार पर माप किए गए थे।
माप के लिए दो कार्यक्रमों का उपयोग किया गया: NETMAP पर आधारित एक ट्रैफ़िक जनरेटर और एक ट्रैफ़िक रिसीवर, जिसने विशेष रूप से आने वाले पैकेट की गिनती की। यातायात जनरेटर पैरामीटर के रूप में लेता है: कोर की संख्या, प्रेषित पैकेट का आकार, एक सिस्टम कॉल (बैच आकार) प्रति प्रेषित पैकेट की संख्या।

6.2। आयरन और ओएस का परीक्षण करें

एक परीक्षण लोहे के रूप में, हमने एक i7-870 4-कोर 2.93GHz CPU (टर्बो-बूस्टर मोड में 3.2 गीगाहर्ट्ज) के साथ एक प्रणाली का उपयोग किया, रैम ने 1.33GHz की आवृत्ति पर काम किया, और इंटेल 82599 चिपसेट पर आधारित एक दोहरे पोर्ट नेटवर्क कार्ड सिस्टम में स्थापित किया गया था। ऑपरेटिंग सिस्टम के रूप में। FreeBSD HEAD / amd64 का उपयोग किया।
सभी माप दो समान प्रणालियों पर किए गए थे जो सीधे केबल द्वारा एक दूसरे से जुड़े थे। प्राप्त परिणाम अच्छी तरह से सहसंबद्ध हैं, औसत से अधिकतम विचलन लगभग 2% है।
पहले परीक्षण के परिणामों से पता चला कि NETMAP बहुत कुशल है और अधिकतम 10 पैकेट के साथ 10GBit / s चैनल भरता है। इसलिए, प्रयोगों को करने के लिए, NETMAP कोड के कारण किए गए परिवर्तनों की प्रभावशीलता का निर्धारण करने और विभिन्न निर्भरता प्राप्त करने के लिए प्रोसेसर की आवृत्ति कम की गई थी। कोर i7 सीपीयू के लिए आधार आवृत्ति क्रमशः 133 मेगाहर्ट्ज है, सीपीयू मल्टीप्लायर (अधिकतम x21) का उपयोग करके सिस्टम को 3 जीएचजेड तक असतत मूल्यों के सेट पर चलाना संभव है।

6.3। प्रोसेसर, कोर आदि की आवृत्ति के आधार पर गति।

पहला परीक्षण विभिन्न प्रोसेसर आवृत्तियों पर यातायात की पीढ़ी है, एक अलग संख्या में कोर का उपयोग करते हुए, एक सिस्टम कॉल (बैच मोड) में कई पैकेट स्थानांतरित करते हैं।

64 बाइट पैकेट को प्रेषित करते समय, यह आपको 10GBit / s चैनल को एक ही कोर और 900Mz की आवृत्ति पर तुरंत भरने की अनुमति देता है। सरल गणना से पता चलता है कि एक पैकेट को संसाधित करने में लगभग 60-65 प्रोसेसर चक्र लगते हैं। जाहिर है, इस परीक्षण में केवल NETMAP पैकेज प्रसंस्करण की लागत प्रभावित होती है। पैकेज सामग्री के विश्लेषण और पैकेज के उपयोगी प्रसंस्करण के लिए अन्य कार्यों का प्रदर्शन नहीं किया जाता है।

कोर की संख्या और प्रोसेसर की आवृत्ति में एक और वृद्धि इस तथ्य की ओर ले जाती है कि सीपीयू बेकार है जब तक कि नेटवर्क कार्ड पैकेट नहीं भेज रहा है और उसे पैकेट भेजने के लिए नए मुफ्त स्लॉट की उपस्थिति की सूचना नहीं देता है।
बढ़ती आवृत्ति के साथ, आप एक कोर पर प्रोसेसर लोड पर निम्नलिखित संकेतक देख सकते हैं:

6.4। पैकेज के आकार के आधार पर गति

पिछला परीक्षण सबसे कम पैकेट पर प्रदर्शन दिखाता है, जो प्रति-पैकेट लागत के मामले में सबसे महंगा है। यह परीक्षण प्रसारित पैकेट के आकार के आधार पर NETMAP के प्रदर्शन को मापता है।

जैसा कि आप आंकड़ा से देख सकते हैं, पैकेट आकार के अनुसार लगभग 1 / आकार के फार्मूले भेजने की गति कम हो जाती है। इसके साथ ही, एक आश्चर्य के रूप में, हम देखते हैं कि पैकेट रिसेप्शन दर असामान्य तरीके से बदलती है। ६५ से १२ 127 बाइट तक के आकार वाले पैकेट भेजते समय गति 7.5.५ एमपीपी तक गिर जाती है। इस सुविधा का कई नेटवर्क कार्डों में परीक्षण किया गया है, जिसमें 1Gbit / s शामिल हैं।

6.5। सिस्टम कॉल प्रति पैकेट की संख्या के आधार पर गति

जाहिर है, एक साथ बड़ी संख्या में पैकेज के साथ काम करने से ओवरहेड्स कम हो जाते हैं और एक पैकेज की प्रोसेसिंग की लागत कम हो जाती है। चूंकि सभी एप्लिकेशन इस तरह से काम नहीं कर सकते हैं, इसलिए यह सिस्टम के प्रति संसाधित पैकेट की संख्या के आधार पर पैकेट की प्रसंस्करण गति को मापने के लिए ब्याज की है।

7. निष्कर्ष

NETMAP के लेखक (लुइगी रिज़ो) पैकेट प्रसंस्करण से ओवरहेड्स को खत्म करके उत्पादकता में एक नाटकीय वृद्धि हासिल करने में कामयाब रहे जो कि पैकेट जब ओएस नेटवर्क स्टैक से गुजरता है। NETMAP जो गति आपको प्राप्त करने की अनुमति देता है वह केवल चैनल की बैंडविड्थ द्वारा सीमित है। NETMAP प्रसंस्करण नेटवर्क पैकेट में उत्पादकता बढ़ाने के लिए सर्वोत्तम तकनीकों को जोड़ती है, और NETMAP API में सन्निहित अवधारणा प्रसंस्करण नेटवर्क यातायात के लिए उच्च-प्रदर्शन अनुप्रयोगों को विकसित करने के लिए एक नया, स्वस्थ दृष्टिकोण प्रदान करती है।
वर्तमान में, NETMAP की प्रभावशीलता का मूल्यांकन FreeBSD समुदाय द्वारा किया जाता है, NETMAP को OS FreeBSD के HEAD संस्करण में, साथ ही साथ स्थिर / 9, स्थिर / 8 शाखाओं में शामिल किया गया है।

NETMAP (लुइगी रिज़ो द्वारा)। 10Gbit / s या 14 Mpps पर यातायात के प्रसंस्करण के लिए सरल और सुविधाजनक ओपनसोर्स ढांचा