लिनक्स के लिए ट्रू मल्टीथ्रेडेड असेम्बलर वेब सर्वर

शुभ दोपहर, हब्र!
आज मैं आपको बताऊंगा कि acme पर अपना असली वेब सर्वर कैसे लिखें।

मुझे तुरंत कहना होगा कि हम अतिरिक्त पुस्तकालयों का उपयोग नहीं करेंगे जैसे कि libc। और हम उपयोग करेंगे कि कर्नेल हमें क्या प्रदान करता है।

पहले से ही केवल आलसी ने इस तरह के लेख नहीं लिखे थे - पर्ल पर सर्वर, नोड.जेएस, मेरी राय में पीएचपी के लिए भी प्रयास थे।

यह सिर्फ इतना है कि अभी तक असेंबलर नहीं आया है, इसलिए आपको रिक्त स्थान भरने की आवश्यकता है।

थोड़ा इतिहास

एक बार जब मुझे छोटी फ़ाइलों (1 केबी से कम) को स्टोर करने की आवश्यकता होती है, तो उनमें से बहुत सारे थे, मैं एक्स 3 के लिए डरता था, और मैंने इन सभी फाइलों को एक बड़े स्टोर में संग्रहीत करने का फैसला किया, और इसे वेब सर्वर के माध्यम से ऑफसेट और लंबाई को गेट पैरामीटर में सेट किया। फ़ाइल ही हेक्स रूप में।

समय सभ्य था, मैंने थोड़ा बिगाड़ने और एकमे पर लिखने का फैसला किया।

तो चलिए शुरू करते हैं

हम FASM पर लिखेंगे, क्योंकि मुझे यह पसंद है, और मैं इंटेल सिंटैक्स का उपयोग कर रहा हूं।

तो, योगिनी बनाने के लिए मानक प्रक्रिया:

format elf executable 3 entry _start segment readable writeable executable 

निम्नलिखित कुछ शीर्षक डेटा हैं:

 HTTP200 db "HTTP/1.1 200 OK", 0xD,0xA ; CTYPE db "Content-Type: application/octet-stream", 0xD,0xA ; CNAME db 'Content-Disposition: attachment; filename="BIGTABLE"',0xD,0xA,0xD,0xA ; SERVER db 'Server: Kylie',0xD,0xA ; KeepClose db 'Connection: close',0xD,0xA,0xD,0xA ;    sendfile off_set dd 0x00 n_bytes dd 0x00 

और सबसे बड़ी फ़ाइल का पथ भी जिसमें सभी चित्र संग्रहीत हैं:

 FILE1 db "/home/andrew/FILE.FBF",0 

हम सुविधा के लिए कई स्थिरांक परिभाषित करते हैं:

 IPPROTO_TCP equ 0x06 SOCK_STREAM equ 0x01 PF_INET equ 0x02 AF_INET equ 0x02 

चलो स्व-लिखित अनुवाद फ़ंक्शन को हेक्स से कनेक्ट करें

 include 'str2hex.asm' 

इस समारोह के संचालन का सिद्धांत सरल है:

हम google.com.ua "ASCI टेबल" में हथौड़ा मारते हैं, - इसे प्रिंट करें, और इसे देखें ...
ध्यान दें कि ASCII में 0 - 9 से मान 30h से 39h के मान हैं

और ए से एफ तक के मान 41h से 46h तक हैं

मैक्रो के लिए इनपुट पैरामीटर एसईआई में बफर का पता है (इस पते पर स्ट्रिंग है जिसे स्ट्रिंग से हेक्स में परिवर्तित किया जाना चाहिए)
मैक्रो केवल चरित्र के ASCII कोड की जांच करता है और यदि यह 39h से अधिक है, तो हम ए - एफ के साथ काम करते हैं, अगर यह उससे कम या इसके बराबर है, तो 0 से - 9 तक

यहाँ इसका पूरा कोड है:

 ; esi,-    id  : ; eax -   Macro STR2HEX4 { local str2hex,bin2hex, out_buff, func, result, nohex ; //     (  9 (.. A..F)  ) cld ;//   (  ) mov edi,out_buff ; jmp func ;//    str2hex: cmp al,39h jle nohex sub al,07h nohex: sub al,30h ret out_buff dd 0x00 func: ; //   4  (32 ) mov ecx,4 bin2hex: lodsb ;//    call str2hex ;//   ASCII    shl al,4 ; //   4 (   4 ) mov bl,al ; //    bl lodsb ; //   call str2hex ; //  (   4 ) xor al,bl ; //      ; //  ,   AL        stosb ; //    edi    sub ecx,1 ; //    1 jecxz result ;   ecx != 0 jmp bin2hex ; result: ;//        eax xor eax,eax cld mov esi,out_buff lodsb shl eax,8 lodsb shl eax,8 lodsb shl eax,8 lodsb ;   -   eax } 

पुनश्च समारोह त्रुटि संचालकों से रहित है, इसलिए मुझे आशा है कि आप सही तरीके से आकार-ऑफसेट सेट करेंगे (ध्यान दें कि पैरामीटर केस-संवेदी हैं। यह है, ए! = ए, बी =! बी, आदि)।

इसके अलावा अधिकतम आकार और अधिकतम ऑफसेट = 32 बिट्स।

समझा, पर चला गया:
अब आखिरकार सॉकेट बनाने का समय आ गया है

 ; //     push IPPROTO_TCP ; IPPROTO_TCP (=6) push SOCK_STREAM ; SOCK_STREAM (=1) push PF_INET ; PF_INET (=2) ;socketcall mov eax, 102 ; //  102 (  ) mov ebx, 1 ; // 1      mov ecx, esp ; //       int 0x80 mov edi,eax ; //    edi, ..     cmp eax, -1 je near errn ; //    

सॉकेट बनाया गया है, इसे 0.0.0.0 पते पर बाँधें (आम लोगों में - INADDR_ANY) और पोर्ट 8080 (क्योंकि मेरे लिए lighttpd 80 मी पर काम करता है, और अगर मैं 80 वें में बदल जाता हूं, तो 0 ईआरएक्स पर वापस आ जाएगा और -EADDRINUSE त्रुटि यह कहते हुए घटित होगी) बंदरगाह पहले से ही कब्जा है)

 ; binding push 16 ; socklen_t addrlen push ecx ; const struct sockaddr *my_addr push edi ; int sockfd mov eax, 102 ; socketcall() syscall mov ebx, 2 ; bind() = int call 2 mov ecx, esp ; //  int 0x80 cmp eax, 0 jne near errn ;//    (   ...) 

वैसे, INADDR_ANY का उपयोग करने के बारे में। यदि आप लोकलहोस्ट, या किसी अन्य पते का उपयोग करना चाहते हैं, तो आपको इसे "इसके विपरीत" लिखना चाहिए। यानी
लोकलहोस्ट = 127.0.0.1 = 0x0100007F
habrahabr.ru = 212.24.43.44 = 2C2B18D4

वही पोर्ट नंबर पर लागू होता है:

8080 = 901 एफएच
25 = 1900 ह

बेशक, आईपी को इस तरह से निर्दिष्ट करने के लिए आपको कुछ भी परेशान नहीं करता है:

लोकलहोस्ट डीबी 127,0,0,1
habrahabr.ru db 212,24,43,44

आदि

खैर, आखिरकार, हम नए कनेक्शन स्वीकार करने के लिए सॉकेट को सुनना शुरू करते हैं:

  push 1 ;// int backlog push edi ;// int sockfd pop esi push edi mov eax, 102 ; // syscall mov ebx, 4 ;//      (listen) mov ecx, esp ; //     int 0x80 

अब महत्वपूर्ण बिंदु। क्योंकि हम प्रक्रियाओं के साथ काम करेंगे, फिर अभिभावक प्रक्रिया को कांटे के बाद बच्चे से वापसी कोड की उम्मीद होगी, और जब बच्चे की प्रक्रिया समाप्त हो जाएगी, तो माता-पिता यह सोचेंगे कि यह अभी भी मौजूद है। इस प्रकार, बाल प्रक्रिया से लाश निकलती है। यदि हम माता-पिता को बताते हैं कि हम इन संकेतों की अनदेखी करेंगे, तो कोई भी किसी का इंतजार नहीं करेगा, और लाश भी दिखाई नहीं देगी:

  mov eax,48 mov ebx,17 mov ecx,1 ; SIG_IGN int 0x80 

कनेक्शन के लिए एक संरचना बनाएं और कनेक्शन स्वीकार करना शुरू करें:

 push 0x00 push 0x00 ; struct sockaddr *addr push edi ; int sockfd sock_accept: mov eax, 102 ; socketcall() syscall mov ebx, 5 ; accept() = int call 5 mov ecx, esp int 0x80 ; //   : cmp eax, -1 je near errn mov edi, eax ;   edi   mov [c_accept],eax 

यदि कोई त्रुटि नहीं थी और हम कोड के इस भाग में समाप्त हो गए, तो एक नया क्लाइंट जुड़ा हुआ है

प्रसंस्करण के लिए एक प्रक्रिया बनाएँ:

 mov eax,2 ; //   sys_fork() int 0x80 cmp eax,0 jl exit ; if error 

अब पता करें कि हम यहां कौन हैं, कांटा या मूल प्रक्रिया:

 test eax,eax jnz fork ;       ( ) ; edi - accept descriptor ; //           mov eax, 6 ; close() syscall mov ebx, edi ; The socket descriptor int 0x80 ; Call the kernel jmp sock_accept fork: ;//  -    

वह सब है! हमारे सर्वर का "हेड" तैयार है।

इसके बाद बाल प्रक्रिया के लिए विशेष रूप से कोड आता है।

हम ग्राहक को 200 ओके की स्थिति भेजेंगे

  mov eax, 4 ; write() syscall mov ebx, edi ; sockfd mov ecx, HTTP200 ; Send 200 Ok mov edx, 17 ; 17 characters in length int 0x80 ; 

साथ ही सामग्री का प्रकार। "एप्लिकेशन / ऑक्टेट-स्ट्रीम" - इस मामले में सबसे सार्वभौमिक है

  mov eax, 4 ; write() syscall mov ebx, edi ; sockfd mov ecx, CTYPE ; Content-type - 'application/octet-stream' mov edx, 40 ; 40 characters in length int 0x80 ; Call the kernel 

सर्वर का नाम:

  mov eax, 4 ; write() syscall mov ebx, edi ; sockfd mov ecx, SERVER ; our string to send mov edx, 15 ; 15 characters in length int 0x80 ; Call the kernel 

चूंकि हमारा सर्वर अभी तक कीप-अलाइव का समर्थन नहीं करता है, हम इसे स्वीकार करते हैं:

  mov eax, 4 ; write() syscall mov ebx, edi ; sockfd mov ecx, KeepClose ; Connection: Close mov edx, 21 ; 21 characters in length int 0x80 ; Call the kernel 

कृपया ध्यान दें कि आपको अंत में दो बार 0xD 0xA भेजने की आवश्यकता है (हमने कनेक्शन भेजने के साथ एक साथ किया था: बंद करें) और हम मान सकते हैं कि हेडर खत्म हो गए हैं

खैर, अब हम वास्तव में पता करेंगे कि ग्राहक कौन सी फाइल डाउनलोड करना चाहता है। ऐसा करने के लिए, बफर में बाईं ओर 5 बाइट्स की एक शिफ्ट के साथ जीईटी अनुरोध डालें, जिससे अनावश्यक जानकारी ('जीईटी /') को ट्रिम कर दिया जाए, जिससे आकार में केवल 16 बाइट्स की एक साफ आईडी निकल जाएगी।

अरे हाँ, मैं आईडी, आईडी के बारे में हूँ ... और वह क्या पसंद है? मैंने फ़ाइल में ऑफसेट के लिए GET को 32-बिट मान में इंगित करके सब कुछ करने का निर्णय लिया और इसके तुरंत बाद फ़ाइल के आकार के बराबर 32-बिट मान।

यानी यदि url अनुरोध इस तरह दिखता है:

127.0.0.1/00003F480000FFFF

वह फ़ाइल ऑफ़सेट 00003F48 है और अनुरोधित डेटा का आकार 0000FFFF है

 mov esi,buffer ; //      id ( STR2HEX) push edi ;  edi ..    STR2HEX4 ;      esi pop edi ;  edi mov [off_set],eax ; //     eax,     

अब हमें एक बड़ी फ़ाइल खोलने की आवश्यकता है, जहाँ फ़ाइल की शुरुआत निर्दिष्ट ऑफसेट पर होगी:

अब बस इसे खोलें (हैंडल ईआरएक्स में सेव हो जाएगा):

 ; Open BIG file mov eax,5 mov ebx,FILE1 mov ecx, 2 int 0x80 

अब, पूर्ण संतुष्टि के लिए, यह सेंडफाइल फ़ंक्शन का उपयोग करने का समय है।
जैसा कि वे नियमावली में कहते हैं:

क्योंकि यह कॉपी कर्नेल के भीतर किया जाता है, सेंडफाइल () रीड (2) और राइट (2) के संयोजन की तुलना में अधिक कुशल है, जिसके लिए उपयोगकर्ता स्थान से डेटा स्थानांतरित करना होगा।

 ; Send [n_bytes] from BIGTABLE starting at [off_set] send_file: mov ecx,eax ; file descriptor from previous function mov eax,187 mov ebx,edi ; socket mov edx,off_set ; pointer mov esi,[n_bytes] ; int 0x80 

जैसा कि आप देख सकते हैं, ईगल से डिस्क्रिप्टर को इंटरफाइल रजिस्टर / मेमोरी में संग्रहीत किए बिना सेंडफाइल फ़ंक्शन के लिए एक्जैक में कॉपी किया गया था।

सफलता

यहां, एक समय पर, मैं रात को लंबे समय तक नहीं सोता था, क्योंकि मुझे समझ नहीं आ रहा था कि सभी बाइट्स भेजने के बाद, फ़ाइल पूरी तरह से डाउनलोड नहीं होती है, और पूर्ण डाउनलोड से एक सेकंड पहले, ब्राउज़र "नेटवर्क त्रुटि" लिखता है और इसे सहेजता नहीं है। Sendfile में कोई त्रुटि नहीं थी, मुझे सीखना था कि क्रोम डेवलपर टूल का उपयोग कैसे करें।

यह पता चला है कि फ़ाइल को भेजने के बाद, ब्राउज़र एक हेडर भेजता है जिसे सर्वर को स्वीकार करना चाहिए। कोई फर्क नहीं पड़ता कि डेटा क्या है, यह अभी भी / dev / null को भेजा जा सकता है, लेकिन यह बहुत महत्वपूर्ण है कि सर्वर इसे पढ़े। अन्यथा, ब्राउज़र यह विचार करेगा कि फ़ाइल में कुछ गड़बड़ है। ऐसा क्यों किया जाता है यह मेरे लिए 100% अज्ञात है। मुझे ऐसा लगता है कि यह हेडर में कंटेंट-लेंथ की संभावित अनुपस्थिति के कारण है, जब आपको फ़ाइल को स्वीकार करने की आवश्यकता होती है, और ब्राउज़र को स्पष्ट रूप से कितना डेटा नहीं पता होता है। मैं आभारी रहूंगा अगर कोई रहस्य उजागर करेगा)))

इसलिए, ब्राउज़र हेडर स्वीकार करें:
हम एडि में एड्रेस से, एड्रेस बफर तक पढ़ते हैं

 ; Read the header mov eax,3 mov ebx,edi mov ecx,buffer mov edx,1024 int 0x80 

यदि हेडर बहुत बड़े नहीं हैं, तो 1024 बाइट्स पर्याप्त हैं
(यदि आप इस डोमेन, आदि पर लंबी कुकीज़ का उपयोग नहीं करते हैं)

फ़ाइल को बंद करना और समाप्त करना:

  mov eax, 6 ; close() syscall mov ebx, edi ; The socket descriptor int 0x80 ; Call the kernel ; end to pcntl_fork () mov eax,1 xor ebx,ebx int 0x80 

सामान्य तौर पर, फ़ाइल को पैरेंट में कुछ समय के लिए खुला रखा जा सकता है, और समय बचाने के लिए अन्य फोर्क द्वारा उपयोग किया जाता है। लेकिन यह सही विकल्प नहीं है।

और सबसे महत्वपूर्ण बात!
कोई बाहरी पुस्तकालय नहीं!

रूट @ सर्वर: / होम / andrew # ldd सर्वर
गतिशील निष्पादन योग्य नहीं है

डाउनलोड लिंक (आप जांच कर सकते हैं कि यह काम करता है या नहीं, उदाहरण के लिए बेंचमार्क एबी के साथ परीक्षण करें)))
http://ubuntuone.com/3yNexPG0yewlGnjNd6219W

PS कोड में बहुत सी त्रुटि जाँच छूट गई, कोड के कुछ टुकड़ों में भी स्टैक साफ़ नहीं किया गया है, कुछ चर की उपस्थिति को मैन्युअल रूप से चुना जाता है (सामान्य प्रलेखन की कमी के कारण), और सामान्य रूप से कोड सबसे साफ "होने का नाटक नहीं करता है।"

सर्वर मल्टी-कोर सिस्टम (कोर I7 2600 पर परीक्षण) पर अच्छी तरह से काम करता है। यह लगभग 4 बार तक मेरे सर्वर पर lighttpd से आगे निकल जाता है, हालांकि मुझे लगता है कि मेरे lighttpd को केवल मल्टीकोर के लिए कॉन्फ़िगर नहीं किया गया है।

जल्दी से क्या जोड़ा जा सकता है:
खैर, उदाहरण के लिए, किसी भी भाषा के लिए cgi (php, perl, python), आदि। फ़ाइल से रीड को निकालना भी संभव है, और फ़ाइल सिस्टम के साथ-साथ वर्चुअल होस्ट को जोड़ने के साथ काम लिखना है। सामान्य तौर पर, सब कुछ केवल आपकी कल्पना से सीमित होता है।