re2c - regex compiler

पात्रों की धारा से कुछ टोकन निकालने का काम बहुत आम है। अक्सर इसे लेक्सिकल एनालाइज़र की मदद से हल किया जाता है, जो नियमित अभिव्यक्तियों के साथ कॉन्फ़िगर किया गया है। कई कोड प्रोग्राम कोड जनरेट करने के सिद्धांत पर बनाए गए हैं, जो नियमित अभिव्यक्ति के तर्क को लागू करते हैं। वास्तव में, यह प्रोग्रामिंग भाषा कोड में नियमित अभिव्यक्ति भाषा का संकलन है।

उदाहरण के लिए, फ्लेक्स एक ऐसा विश्लेषक है। वर्षों से पुराना लेकिन सिद्ध है।

मैंने फ्लेक्स का बहुत उपयोग किया, इसमें अच्छे और बुरे दोनों पक्ष हैं, लेकिन बड़े और मुझे शिकायत करने की जरूरत नहीं है।

लेकिन कल मैं एक दिलचस्प परियोजना में आया था - re2c । वास्तव में, इस चीज पर आप कुछ मिनटों में अपने घुटने पर लेक्सिकल एनालिसिस लिख सकते हैं।


मान लें कि आपको एक स्ट्रिंग से कुछ कमांड, पूर्णांक और भिन्नात्मक संख्याओं का चयन करने की आवश्यकता है। आप फ्लेक्स को उजागर कर सकते हैं, या आप इसे इस तरह लिख सकते हैं:

#include <stdio.h> #include <stdlib.h> enum { CMD, INT, FLOAT, SPACE, END }; int scan(char** p, char** lex) { char* marker; if (lex) *lex = *p; /*!re2c re2c:define:YYCTYPE = "unsigned char"; re2c:define:YYCURSOR = *p; re2c:define:YYMARKER = marker; re2c:yyfill:enable = 0; re2c:yych:conversion = 1; re2c:indent:top = 1; "GET"|"PUT"|"EXIT" { return CMD; } [0-9]+ { return INT; } [0-9]+ '.' [0-9]* { return FLOAT; } [ \t]+ { return SPACE; } [^] { return END; } */ } int main(int argc, char* argv[]) { char *p, *last; int token; if (argc < 2) return 1; p = argv[1]; while ((token = scan(&p, &last)) != END) { int sz = p - last; switch (token) { case CMD: printf("Command: '%.*s'\n", sz, last); break; case INT: printf("Number: '%.*s'\n", sz, last); break; case FLOAT: printf("Float: '%.*s'\n", sz, last); break; } } return 0; } 

और वह सब है!

यह स्पष्ट है कि सभी जादू "स्कैन * (") फ़ंक्शन में टिप्पणियों "/ *! Re2c" और "* /" द्वारा सीमित लाइनों के बीच होता है।

तो, re2c एक नियमित अभिव्यक्ति संकलक है जो प्रोग्राम टेक्स्ट में सीधे कोड एम्बेड करता है।

यदि हम re2c के माध्यम से अपना स्रोत चलाते हैं:

  re2c.exe -is test.re2c >test.c 

तब हमें यह मिलता है:

 /* Generated by re2c 0.13.5 on Tue Apr 19 21:08:57 2011 */ #include <stdio.h> #include <stdlib.h> enum { CMD, INT, FLOAT, SPACE, END }; int scan(char** p, char** lex) { char* marker; if (lex) *lex = *p; { unsigned char yych; yych = (unsigned char)**p; if (yych <= '9') { if (yych <= 0x1F) { if (yych == '\t') goto yy8; goto yy10; } else { if (yych <= ' ') goto yy8; if (yych <= '/') goto yy10; goto yy6; } } else { if (yych <= 'F') { if (yych == 'E') goto yy5; goto yy10; } else { if (yych <= 'G') goto yy2; if (yych == 'P') goto yy4; goto yy10; } } yy2: yych = (unsigned char)*(marker = ++*p); if (yych == 'E') goto yy24; yy3: { return END; } yy4: yych = (unsigned char)*(marker = ++*p); if (yych == 'U') goto yy23; goto yy3; yy5: yych = (unsigned char)*(marker = ++*p); if (yych == 'X') goto yy18; goto yy3; yy6: ++*p; if ((yych = (unsigned char)**p) == '.') goto yy13; if (yych <= '/') goto yy7; if (yych <= '9') goto yy16; yy7: { return INT; } yy8: ++*p; yych = (unsigned char)**p; goto yy12; yy9: { return SPACE; } yy10: yych = (unsigned char)*++*p; goto yy3; yy11: ++*p; yych = (unsigned char)**p; yy12: if (yych == '\t') goto yy11; if (yych == ' ') goto yy11; goto yy9; yy13: ++*p; yych = (unsigned char)**p; if (yych <= '/') goto yy15; if (yych <= '9') goto yy13; yy15: { return FLOAT; } yy16: ++*p; yych = (unsigned char)**p; if (yych == '.') goto yy13; if (yych <= '/') goto yy7; if (yych <= '9') goto yy16; goto yy7; yy18: yych = (unsigned char)*++*p; if (yych == 'I') goto yy20; yy19: *p = marker; goto yy3; yy20: yych = (unsigned char)*++*p; if (yych != 'T') goto yy19; yy21: ++*p; { return CMD; } yy23: yych = (unsigned char)*++*p; if (yych == 'T') goto yy21; goto yy19; yy24: ++*p; if ((yych = (unsigned char)**p) == 'T') goto yy21; goto yy19; } } int main(int argc, char* argv[]) { char *p, *last; int token; if (argc < 2) return 1; p = argv[1]; while ((token = scan(&p, &last)) != END) { int sz = p - last; switch (token) { case CMD: printf("Command: '%.*s'\n", sz, last); break; case INT: printf("Number: '%.*s'\n", sz, last); break; case FLOAT: printf("Float: '%.*s'\n", sz, last); break; } } return 0; } 

डरावना? हां, कोड मैन्युअल संपादन के लिए नहीं है, लेकिन इसकी आवश्यकता नहीं है।

हम संकलन करते हैं:

  re2c.exe -is test.re2c >test.c && cl test.c 

हम लॉन्च करते हैं:

  test "GET 123.0 12344 PUT 10." 

परिणाम:

  Command: 'GET' Float: '123.0' Number: '12344' Command: 'PUT' Float: '10.' 

जैसा कि वे कहते हैं, तेज, सस्ता और हंसमुख। पूरी तरह से मास्टर करने के लिए re2c आपको प्रलेखन के एक और केवल पृष्ठ को पढ़ने की आवश्यकता है।

वैसे, re2c के साथ काम करने की सरलता का मतलब यह नहीं है कि आप इस पर जटिल विश्लेषण नहीं कर सकते हैं। वितरण में C और Rexx टोकन के व्याकरण के उदाहरण हैं।

यदि आप re2c झंडे के साथ खेलते हैं , तो आप "if / else" के बजाय "स्विच / केस" के आधार पर कोड उत्पन्न कर सकते हैं। चुनाव को समझने के आधार पर किया जाना चाहिए कि आपका कंपाइलर किस कोड को बेहतर बनाता है।

जैसा कि मैं इसे समझता हूं, re2c द्वारा उत्पन्न विश्लेषक बहुत तेज, यहां तक ​​कि बहुत तेज होना चाहिए। हालांकि इसे उसी flex'a, ANTLR'a या Spirit'a के खिलाफ मापना दिलचस्प होगा।

विषय पर लगभग पोस्ट:

• नींबू व्याकरण पार्सर जेनरेटर लपेटें सी ++ के लिए