C में gzip समर्थन के साथ WebService

पोस्ट सी में लिखी गई उपयोगिता में एक्सएमएल-आरपीसी इंटरफेस को एम्बेड करने के मेरे अनुभव पर ध्यान केंद्रित करेगा। इंटरफ़ेस को उपयोगिता के आंकड़ों और परिणामों तक पहुंच प्रदान करनी चाहिए। यातायात को बचाने के लिए इंटरफ़ेस के लिए आवश्यकताओं में से एक gzip प्रतिक्रियाओं का समर्थन है। मैं वास्तव में एक छोटे से खून के साथ प्राप्त करना चाहता था और यह वही है जो यह आया था।

सबसे पहले परीक्षण

आइए परीक्षणों से शुरू करते हैं। अजगर एक्सएमएल-आरपीसी क्लाइंट 4 लाइनों में फिट बैठता है। वैसे, वह सिर्फ gzip प्रारूप में उत्तर समझता है।

import xmlrpclib if __name__ == '__main__': proxy = xmlrpclib.ServerProxy("http://localhost:8080/", verbose=True) print proxy.sayHello() 

बहुत बढ़िया! अब हम जानते हैं कि क्लाइंट को HTTP हेडर क्या मिलता है। और अगर प्रारूप गलत है - हमें एक विस्तृत कॉल स्टैक के साथ एक अपवाद मिलता है। त्रुटि की स्थिति में, यह सब हमें इसकी घटना के कारण पर प्रकाश डालने में मदद करेगा।

zlib

विकी का कहना है कि गज़िप प्रारूप डिफ्लेट कम्प्रेशन एल्गोरिथ्म पर आधारित है, जिसे ज़ालिब लाइब्रेरी में लागू किया गया है । इस लाइब्रेरी में एक बेहतरीन कंप्रेस विधि है।

 int compress (Bytef *dest, uLongf *destLen, const Bytef *source, uLong sourceLen); 

खोज पर खुशी जताते हुए, मैंने तुरंत इस तरीके को आजमाने का फैसला किया और एक साधारण एप्लिकेशन फ्रेमवर्क तैयार किया, लेकिन यह पर्याप्त नहीं था। क्लाइंट ने सर्वर प्रतिक्रियाओं की सामग्री को समझने से इनकार कर दिया और एक अपवाद के साथ बाहर गिर गया। मुझे अधिक विस्तार से गज़िप प्रारूप का अध्ययन करना था।

gzip

यहाँ सब कुछ बहुत सरल है ।



संपीड़ित डेटा को एक विशेष प्रारूप हेडर के दस बाइट्स और एक प्रत्यय के आठ बाइट्स स्रोत डेटा और इसकी लंबाई के चेकसम से तैयार किया जाता है।

हेडर मैजिक कॉन्स्टेंट ID1 = 31 (0x1f, \ 037), ID2 = 139 (0x8b, \ 213) के साथ शुरू होता है, gzip फॉर्मेट में डेटा की शुरुआत के बारे में बात करता है। अगला संपीड़न विधि ( सीएम ) है, सीएम = 8 के मामले में। झंडे के बाद व्यस्त, हमारे मामले में FLG = 1, जिसका अर्थ है पाठ डेटा। फिर स्रोत डेटा में अंतिम परिवर्तन की तारीख के 4 बाइट्स हैं, हमारे मामले में MTIME = 0। फिर अतिरिक्त झंडे XFL = 2 (उच्च संपीड़न अनुपात) हैं। ऑपरेटिंग सिस्टम का नाम हमें अपरिभाषित ओएस = 255 छोड़ देता है।

चेकसम की गणना करने के लिए, हम उसी zlib से एक फ़ंक्शन का उपयोग करते हैं

 uLong crc32 (uLong crc, const Bytef *buf, uInt len); 

लेकिन यह पर्याप्त नहीं है। हमारा ग्राहक अभी भी सर्वर प्रतिक्रियाओं से खुश नहीं है।

ज़ालिब फिर से

आइए देखें कि zlib डेटा हमें किस प्रारूप में लौटाता है।



यह पता चला है कि zlib संपीड़ित डेटा ( अधिक ) में एक विशेष 2-बाइट उपसर्ग और 4-बाइट प्रत्यय जोड़ता है। उनसे छुटकारा पाएं और गज़िप हेडर और प्रत्यय जोड़ें।

और लो! ग्राहक आखिरकार हमें समझ गया!

नोट: Qt लाइब्रेरी में एक qCompress () विधि है जो डेटा को zlib लाइब्रेरी द्वारा संपीड़ित करती है, लेकिन साथ ही संपीड़ित डेटा की लंबाई के लिए 4-बाइट उपसर्ग के साथ।

परिणाम

गज़िप प्रारूप में डेटा उत्पन्न करने के लिए, हम स्रोत डेटा को सेक फ़ंक्शन के साथ संपीड़ित करते हैं, जिसके परिणामस्वरूप सरणी में हम पहले 2 बाइट्स को 10-बाइट गज़िप हैडर के साथ बदलते हैं, पिछले 4 बाइट्स के बजाय हम चेकसम और मूल डेटा की लंबाई डालते हैं।

एक कार्यशील XML-RPC सर्वर का उदाहरण जो gzip प्रारूप में डेटा लौटाता है, नीचे दिया गया है।

 #include <zlib.h> #include <stdio.h> #include <stdlib.h> #include <string.h> #include <netinet/in.h> #include <sys/socket.h> #define PORT 8080 #define MAXCONN 5 #define BUF_SZ 1024 #define ZLIB_PREFIX_SZ 2 #define ZLIB_SUFFIX_SZ 4 #define GZIP_PREFIX_SZ 10 #define GZIP_SUFFIX_SZ 8 // Returns listen socket handle int create_srvsock(int port, int maxconn); // Returns response to be sent back int get_response(int clisock, char *response); // Writes given data range to socket void write_range(int sock, const char *begin, const char *end); // Write int value to socket void write_int(int sock, int value); // Prints error message and exit void error(const char *msg); int main(int argc, const char *argv[]) { fprintf(stderr, "HTTP Server with gzip encoding support using zlib (%s)\r\n", ZLIB_VERSION); char httpheaders[BUF_SZ] = {0,}; char response[BUF_SZ] = {0,}; char compressed[BUF_SZ] = {0,}; int srvsock = create_srvsock(PORT, MAXCONN); fprintf(stderr, "Server is started on port %d\r\n", PORT); while (true) { struct sockaddr_in addr = {0,}; socklen_t addrlen = sizeof(addr); // 1. Accepting connection int clisock = accept(srvsock, (struct sockaddr *)&addr, &addrlen); // 2. Retreiving response int responselen = get_response(clisock, response); // 3. Compressing response long unsigned int compressedlen = BUF_SZ; if (compress((unsigned char *)compressed, &compressedlen , (const unsigned char *)response, responselen) != Z_OK) error("Can not compress"); // substract zlib prefix and suffix: http://www.ietf.org/rfc/rfc1950.txt compressedlen -= ZLIB_PREFIX_SZ + ZLIB_SUFFIX_SZ; // 4. Writing HTTP headers int contentlen = GZIP_PREFIX_SZ + compressedlen + GZIP_SUFFIX_SZ; int httpheaderslen = sprintf(httpheaders, "HTTP/1.1 200 OK\r\n"\ "Content-Type: text/xml\r\n"\ "Content-Encoding: gzip\r\n"\ "Content-Length: %d\r\n\r\n", contentlen); write_range(clisock, httpheaders, httpheaders + httpheaderslen); // 5. Writing gzip headers: http://www.gzip.org/zlib/rfc-gzip.html const char gzipheader[] = { 0x1f, 0x8b // gzip magic number , 8 // compress method "defalte" , 1 // text data , 0, 0, 0, 0 // timestamp is not set , 2 // maximum compression flag , 255 // unknown OS }; write_range(clisock, gzipheader, gzipheader + sizeof(gzipheader)); // 6. Write compressed data write_range(clisock, compressed + ZLIB_PREFIX_SZ , compressed + ZLIB_PREFIX_SZ + compressedlen); // 7. Append crc32 write_int(clisock, (int)crc32(0, (unsigned char *)response, responselen)); // 8. Append initial size write_int(clisock, responselen); } return EXIT_SUCCESS; } // Returns listen socket handle int create_srvsock(int port, int maxconn) { int sock = 0; struct sockaddr_in addr = {0,}; addr.sin_family = AF_INET; addr.sin_port = htons(port); addr.sin_addr.s_addr = INADDR_ANY; if ((sock = socket(AF_INET, SOCK_STREAM, 0)) < 0) error("Can not open socket"); if (bind(sock, (struct sockaddr *)&addr, sizeof(addr)) < 0) error("Can not bind socket"); if (listen(sock, maxconn) < 0) error("Can not listen socket"); return sock; } // Returns response to be sent back int get_response(int clisock, char *response) { return sprintf(response, "<?xml version=\"1.0\"?>\r\n"\ "<methodResponse>\r\n"\ " <params><param><value>Hello there!</value></param></params>\r\n"\ "</methodResponse>"); } // Writes given data range to socket void write_range(int sock, const char* begin, const char *end) { for (const char *it = begin; it != end;) { int written = write(sock, it, end - it); if (written < 0) error("Can not write to socket"); it += written; } } // Write int value to socket void write_int(int sock, int value) { const char *data = (const char *)&value; write_range(sock, data, data + sizeof(int)); } // Prints error message and exit void error(const char *msg) { perror(msg); exit(EXIT_FAILURE); }