👩🏽‍🤝‍👩🏻 👃🏽 👩🏼‍💻 तंत्रिका नेटवर्क बनाम DDoS 🙅🏽 🐈 🛸

प्रस्तावना

आप में से कुछ ने हाल ही में स्टैनफोर्ड पाठ्यक्रम लिया होगा, विशेष रूप से एआई-क्लास और एमएल-क्लास । हालाँकि, कई वीडियो लेक्चर देखने, क्विज़ प्रश्नों का उत्तर देने और Matlab / Octave में एक दर्जन कार्यक्रम लिखने के लिए यह एक बात है, और आपके द्वारा व्यवहार में प्राप्त ज्ञान को लागू करना शुरू करना दूसरी बात है। ताकि एंड्रयू एनजी से प्राप्त ज्ञान मेरे मस्तिष्क के उसी अंधेरे कोने में न पड़े , जहां dft , विशेष थ्योरी ऑफ रिलेटिविटी और यूलर लैगरेंज समीकरण खो गए, मैंने संस्थान की गलतियों को नहीं दोहराने का फैसला किया और, जबकि ज्ञान अभी भी मेरी स्मृति में ताजा है, जितना संभव हो उतना अभ्यास करें।

और तभी DDoS हमारी वेबसाइट पर आया। यह बंद करना संभव था, जिससे यह व्यवस्थापक-प्रोग्रामर ( grep / awk / etc) विधियों द्वारा या मशीन लर्निंग प्रौद्योगिकियों के उपयोग का सहारा लेना संभव था।

इसके बाद, हम Python 2.7 / PyBrain में एक न्यूरल नेटवर्क बनाने और DDoS से सुरक्षा के लिए इसके उपयोग के बारे में बात करेंगे।

परिचय

हमारे पास क्या है: एक औसत बॉटनेट (20,000-50,000) के साथ DDoS के तहत एक सर्वर और उससे एक्सेस .log। DDoS शुरू करने से पहले access.log होना बहुत उपयोगी है, क्योंकि यह लगभग 100% वैध ग्राहकों का वर्णन करता है, और इसलिए, तंत्रिका नेटवर्क के प्रशिक्षण के लिए एक उत्कृष्ट डेटासेट।

हम क्या प्राप्त करना चाहते हैं: एक क्लासिफायरियर, जो एक्सेस.लॉग में एक प्रविष्टि के अनुसार, हमें कुछ हद तक संभावना के साथ बताएगा कि अनुरोध कहां से आया: बॉट से या किसी व्यक्ति से। इस क्लासिफायर के लिए धन्यवाद, हम एक हमले वेक्टर (सबनेट का एक सेट) बना सकते हैं और उन्हें फ़ायरवॉल / होस्टर को भेज सकते हैं।

ट्रेनिंग

क्लासिफायरियर को प्रशिक्षित करने के लिए, हमें डेटा के दो सेट चाहिए: "खराब" और "अच्छे" प्रश्नों के लिए। हाँ, यह बहुत मज़ेदार है कि बॉट्स खोजने के लिए, आपको पहले बॉट्स खोजने होंगे। यहां हमें केवल grep की आवश्यकता है, उदाहरण के लिए, 503 त्रुटियों की बड़ी संख्या (nginx को सीमित करने) के साथ IP कीhnikov से लॉग सभी अनुरोधों को निकालने के लिए।

नतीजतन, हमें 3 access.logs मिलना चाहिए:

DDoS शुरू करने से पहले access.log से "अच्छे" अनुरोधों के साथ डेटासेट
"खराब" प्रश्नों के साथ डेटासेट को पिछले चरण में स्कोर किया गया था।
डेटासेट, जिसे हमें वर्गीकृत करने की आवश्यकता है, अनुरोधों को अच्छे और बुरे में विभाजित करना। आमतौर पर यह DDoS के अंतर्गत सर्वर से tail -f ऑफ़ access.log है

अगला, आपको यह सीखने की ज़रूरत है कि तथाकथित पार्स कैसे करें संयुक्त नग्नेक्स लॉग। इंटरनेट पर निश्चित रूप से कहीं न कहीं एक रेडी-मेड नियमित है, लेकिन मैंने अपनी बाइक का आविष्कार किया है:

 (?P<ip>[0-9.:af]+) [^ ]+ [^ ]+ \[.*\] "(?P<url>.*)" (?P<code>[0-9]+) (?P<size>[0-9]+) "(?P<refer>.*)" "(?P<useragent>.*)"$

/ * इस तथ्य के कारण कि मैंने yet another log parser लिखा था, मुझे एक बार फिर से लॉग इन के प्रारंभिक क्रमांकन के विचार को याद आया, क्योंकि प्रोडक्शन पर लॉग ज्यादातर लोगों के लिए नहीं हैं, लेकिन कार्यक्रमों के लिए। * /

हमने लॉग को पार्स करने का तरीका सीखा है, इसके बाद सुविधाओं (सुविधाओं / मार्कर / सुविधाओं) का चयन करना आवश्यक है, उनके शब्दकोश को संकलित करें, और फिर प्रत्येक डेटासेट रिकॉर्ड के लिए फीचर-वेक्टर बनाने के लिए इसका उपयोग करें। इस पर और बाद में।

सामान्य रूप से सीखने की मशीन

हम लॉग से सुविधाओं को उजागर करने पर बसे हैं, इसके लिए हम "अच्छा" और "खराब" लॉग लेते हैं और उनमें सभी प्रकार की सुविधाओं उर्फ संकेतों को खोजने की कोशिश करते हैं। संयुक्त लॉग में उनमें से बहुत सारे नहीं हैं, मैंने निम्नलिखित लिया:

अनुरोध ही, अनुरोध प्रकार ( HEAD / GET / POST / etc), url और http_version । Url प्रोटोकॉल, hostname, path और query_string सभी कुंजियों के लिए पार्स किया गया है
Referer ने अनुरोध में url समान पार्स किया।
User-Agent , जादुई सड़क जादू के साथ जोड़ा जाता है, क्योंकि इसका प्रारूप ब्राउज़र से ब्राउज़र तक काफी भिन्न होता है। RFC2616 इसके बारे में बहुत कम कहता है। निश्चित रूप से बहुत बेहतर।
status , केवल कोड 503/404/403 के मामले में। सामान्य तौर पर, DDoS के दौरान, सर्वर 500/502 का जवाब देना पसंद करता है, इसलिए हम केवल ऊपर वर्णित कोडों पर विचार करेंगे।

/ * वैसे, स्क्रिप्ट का पहला संस्करण जो मैंने DDoS से सुरक्षित किया था, उसमें एक दुर्भावनापूर्ण बग था, जिसके कारण लगभग आधे संकेतों को ध्यान में नहीं रखा गया था। हालांकि, इस राज्य में भी, कोड काफी अच्छी तरह से काम करने में कामयाब रहा, जिसकी बदौलत यह बग खुद लंबे समय तक छिपा रहा। एंड्रयू इस संबंध में बहुत सही निकला, यह कहते हुए कि यह सबसे चतुर एल्गोरिथ्म नहीं है जो जीतता है, लेकिन वह जो अधिक डेटा खिलाता है। * /

इसलिए, हम उस क्षण में आ गए हैं जब हमारे पास सभी प्रकार की सुविधाओं की एक विशाल सूची है जो अनुरोध में मौजूद हो सकती हैं। यह हमारा शब्दकोश है। किसी भी संभावित अनुरोध से feature-vector बनाने के लिए शब्दकोश की आवश्यकता है। बाइनरी (शून्य और लोगों से मिलकर) एम-आयामी वेक्टर (जहां एम शब्दकोश की लंबाई है), जो क्वेरी में शब्दकोश से प्रत्येक विशेषता की उपस्थिति को दर्शाता है।
यदि डेटा संरचना के दृष्टिकोण से शब्दकोश एक हैश तालिका है, तो यह बहुत अच्छा है, क्योंकि if word in dictionary बहुत सारे कॉल होंगे।
लेक्चर नोट्स 11 में इसके बारे में और पढ़ें : मशीन लर्निंग सिस्टम डिज़ाइन

शब्दकोश और फीचर-वेक्टर के निर्माण का एक उदाहरण

मान लीजिए कि हम अपने तंत्रिका नेटवर्क को केवल दो उदाहरणों के साथ प्रशिक्षित करते हैं: एक अच्छा और एक बुरा। फिर हम इसे परीक्षण रिकॉर्डिंग पर सक्रिय करने का प्रयास करते हैं।

"खराब" लॉग से रिकॉर्ड:

 0.0.0.0 - - [20/Dec/2011:20:00:08 +0400] "POST /forum/index.php HTTP/1.1" 503 107 "http://www.mozilla-europe.org/" "-"

"अच्छा" लॉग से रिकॉर्ड:

 0.0.0.0 - - [20/Dec/2011:15:00:03 +0400] "GET /forum/rss.php?topic=347425 HTTP/1.0" 200 1685 "-" "Mozilla/5.0 (Windows; U; Windows NT 5.1; pl; rv:1.9) Gecko/2008052906 Firefox/3.0"

परिणामी शब्दकोश:

 ['__UA___OS_U', '__UA_EMPTY', '__REQ___METHOD_POST', '__REQ___HTTP_VER_HTTP/1.0', '__REQ___URL___NETLOC_', '__REQ___URL___PATH_/forum/rss.php', '__REQ___URL___PATH_/forum/index.php', '__REQ___URL___SCHEME_', '__REQ___HTTP_VER_HTTP/1.1', '__UA___VER_Firefox/3.0', '__REFER___NETLOC_www.mozilla-europe.org', '__UA___OS_Windows', '__UA___BASE_Mozilla/5.0', '__CODE_503', '__UA___OS_pl', '__REFER___PATH_/', '__REFER___SCHEME_http', '__NO_REFER__', '__REQ___METHOD_GET', '__UA___OS_Windows NT 5.1', '__UA___OS_rv:1.9', '__REQ___URL___QS_topic', '__UA___VER_Gecko/2008052906']

टेस्ट रिकॉर्ड:

 0.0.0.0 - - [20/Dec/2011:20:00:01 +0400] "GET /forum/viewtopic.php?t=425550 HTTP/1.1" 502 107 "-" "BTWebClient/3000(25824)"

उसकी feature-vector :

 [False, False, False, False, True, False, False, True, True, False, False, False, False, False, False, False, False, True, True, False, False, False, False]

ध्यान दें कि feature-vector कैसे sparse है - यह व्यवहार सभी प्रश्नों के लिए देखा जाएगा।

दातासेट डिवीजन

dataset को कई भागों में विभाजित करना अच्छा अभ्यास है। मैंने 70/30 के अनुपात में दो भागों में हराया:

Training set । इस पर हम अपने तंत्रिका नेटवर्क को प्रशिक्षित करते हैं।
Test set । हम उनके साथ जांचते हैं कि हमारा तंत्रिका नेटवर्क कितना प्रशिक्षित है।

इस तरह का विभाजन इस तथ्य के कारण है कि सबसे छोटी training error ( training set पर त्रुटि) के साथ तंत्रिका नेटवर्क नए डेटा पर एक बड़ी त्रुटि पैदा करेगा, क्योंकि हम नेटवर्क को "सेट" कर देते हैं, प्रशिक्षण सेट के तहत इसे तेज करते हैं।
भविष्य में, यदि आपको इष्टतम स्थिरांक की पसंद से हैरान होना पड़ता है, तो dataset को 60/20/20 के अनुपात में 3 भागों में विभाजित करना होगा: Training set , Test set और Cross validation । उत्तरार्द्ध सिर्फ तंत्रिका नेटवर्क के इष्टतम मापदंडों (उदाहरण के लिए, weightdecay ) का चयन करने के लिए काम करेगा।

विशेष रूप से तंत्रिका नेटवर्क

अब जब हमारे हाथ में कोई पाठ लॉग नहीं है, लेकिन केवल feature-vector मेट्रिसेस, हम स्वयं तंत्रिका नेटवर्क का निर्माण शुरू कर सकते हैं।

आइए संरचना की पसंद से शुरू करें। मैंने एक नेटवर्क को एक छिपी हुई परत से दोगुनी इनपुट परत के आकार में चुना। क्यों? यह सरल है: इसलिए एंड्रयू एनजी को मामले में तबाह किया जाता है जब आप नहीं जानते कि कहां से शुरू करें। मुझे लगता है कि आप इसके साथ बाद में प्रशिक्षण कार्यक्रम बनाकर खेल सकते हैं।
छिपी हुई परत के लिए सक्रियण फ़ंक्शन लंबे समय से पीड़ित सिग्मोइड है , और आउटपुट परत, सॉफ्टमैक्स के लिए है । बाद में चयन किया जाता है कि आपको क्या करना है
पारस्परिक रूप से अनन्य वर्गों के साथ बहु-श्रेणी वर्गीकरण। उदाहरण के लिए, बैकएंड पर "अच्छा" अनुरोध भेजें, फ़ायरवॉल पर प्रतिबंध में "खराब" अनुरोध, और कैप्चा को हल करने के लिए "ग्रे" अनुरोध।

एक तंत्रिका नेटवर्क एक स्थानीय न्यूनतम पर जाने के लिए प्रवण होता है, इसलिए मेरे कोड में मैं कई नेटवर्क बनाता हूं और सबसे छोटी Test error साथ चयन करता हूं (ध्यान दें कि यह एक test set पर एक त्रुटि है, न कि एक trainig set )।

त्याग

मैं असली वेल्डर नहीं हूं। मशीन लर्निंग के बारे में, मैं केवल यही जानता हूं कि मैंने एमएल-क्लास और एआई-क्लास से क्या सीखा। मैंने अपेक्षाकृत हाल ही में अजगर पर प्रोग्रामिंग शुरू की, और नीचे दिए गए कोड के बारे में 30 मिनट (समय, जैसा कि आप जानते हैं, बाहर चल रहा था) में लिखा गया था और भविष्य में केवल एक फ़ाइल के साथ थोड़ा दायर किया गया था।

कोड

स्क्रिप्ट स्वयं छोटी है - फ़ॉन्ट के आधार पर 2-3 ए 4 पृष्ठ। आप इसे यहाँ पा सकते हैं: github.com/SaveTheRbtz/junk/tree/master/neural_networks_vs_ddos

साथ ही यह कोड आत्मनिर्भर नहीं है। उसे अभी भी स्क्रिप्ट बाइंडिंग की जरूरत है। उदाहरण के लिए, अगर आईपी ने एक्स मिनटों में एन खराब अनुरोध किया है, तो इसे फ़ायरवॉल पर प्रतिबंध लगा दें।

उत्पादकता

lfu_cache। ActiveState के साथ पोर्ट किया गया, ताकि अनुरोधों के प्रसंस्करण में तेजी आए, "उच्च-आवृत्ति"। डाउन-साइड - मेमोरी की खपत में वृद्धि।
PyBrain, अचानक, अजगर में लिखा गया है और इसलिए बहुत तेज नहीं है, हालांकि, यह arac ATLAS-based arac मॉड्यूल का उपयोग कर सकता है यदि नेटवर्क बनाते समय Fast=True निर्दिष्ट किया जाता है। आप PyBrain के लिए प्रलेखन में इसके बारे में अधिक पढ़ सकते हैं।
साथ में चलाना। मैंने अपने तंत्रिका नेटवर्क को एक "मोटी" सर्वर नेहेल्म पर प्रशिक्षित किया, हालांकि, वहां भी, एकल-थ्रेडेड प्रशिक्षण का दोष महसूस किया गया था। आप एक तंत्रिका नेटवर्क के प्रशिक्षण को समानांतर करने के विषय पर प्रतिबिंबित कर सकते हैं। एक सरल उपाय यह है कि कई तंत्रिका नेटवर्क को एक साथ समानांतर में प्रशिक्षित किया जाए और उनमें से सर्वश्रेष्ठ को चुना जाए, लेकिन इससे मेमोरी पर एक अतिरिक्त भार पैदा होगा, जो बहुत अच्छा भी नहीं है। मैं एक अधिक सार्वभौमिक समाधान चाहूंगा। शायद यह सी में सब कुछ फिर से लिखने के लिए समझ में आता है, क्योंकि एमएल-क्लास में पूरे सैद्धांतिक आधार को चबाया गया है।
स्मृति की खपत और सुविधाओं की संख्या। एक अच्छा मेमोरी ऑप्टिमाइज़ेशन मानक पायथन सरणियों से सुन्न लोगों के लिए संक्रमण था। इसके अलावा, शब्दकोश के आकार को कम करने और / या पीसीए का उपयोग करने में बहुत अच्छी तरह से मदद कर सकते हैं, और इसके नीचे।

भविष्य के लिए

लॉग में अतिरिक्त फ़ील्ड। आप combined लॉग में बहुत अधिक जोड़ सकते हैं, यह विचार करने योग्य है कि कौन से फ़ील्ड बॉट की पहचान करने में मदद करेंगे। शायद यह आईपी पते के पहले ऑक्टेट पर विचार करने के लिए समझ में आता है, क्योंकि एक गैर-अंतर्राष्ट्रीय वेब-प्रोजेक्ट में, चीनी उपयोगकर्ता सबसे अधिक संभावना वाले बॉट हैं।
प्रधान घटक विश्लेषण । यह feature-vector के आयाम को बहुत कम कर देगा, जिससे तंत्रिका नेटवर्क के प्रशिक्षण समय को कम किया जा सकेगा।
सुविधाओं के लिए प्रीप्रोसेसिंग / सामान्यीकरण। उदाहरण के लिए, सब कुछ जो regexp [a-fA-F0-9]{32} __MD5__ , उसे __MD5__ शब्द से बदला जा सकता है, वह सब कुछ जो __DATE__ , आदि शब्द के साथ डेट की तरह दिखता है, जिससे कम-आवृत्ति विशेषताओं की संख्या कम हो जाती है और तदनुसार शब्दकोश का आकार।
तंत्रिका नेटवर्क के ट्यूनिंग स्थिरांक और संरचनाएं। वर्तमान लोगों को छत से लिया गया था, अर्थात् PyBrain के आधार पर एक क्लासिफायरियर बनाने के लिए मैनुअल (हां, याद है, मैंने लिखा था कि कोड बहुत तेजी से लिखा गया था)। यह विभिन्न पैरामीटर मानों के लिए तंत्रिका नेटवर्क प्रशिक्षण रेखांकन बनाने के लिए समझ में आता है, क्योंकि matplotlib हाथ में है।
ऑनलाइन प्रशिक्षण। स्मार्ट हमलावरों की रणनीति अक्सर बदलती रहती है। जाने पर तंत्रिका नेटवर्क के पूर्व / वापसी के तरीकों के साथ आना अच्छा होगा। हालांकि, यह कहा से आसान है।

एक निष्कर्ष के बजाय

यह बहुत दिलचस्प है कि वास्तविक वेल्डर, उदाहरण के लिए हाईलोड्लाब , वर्गीकरण समस्या को हल करने के लिए उपयुक्त हैं। हालांकि, कुछ मुझे बताता है कि उनके एल्गोरिदम यांडेक्स रैंकिंग फॉर्मूला श्रृंखला से एक रहस्य हैं।

तंत्रिका नेटवर्क बनाम DDoS