फ्लेक्स और utf8

"एक बार की बात है, ऐसा लगता है, पिछले शुक्रवार," मुझे एक लेक्सिकल विश्लेषक की आवश्यकता थी जो यूनिकोड डेटा के साथ काम कर सके।

लेक्सिकल एनालाइजर के निर्माता फ्लेक्स चाहते थे, और यह पूरी समस्या थी।
फ्लेक्स खुद नहीं जानता कि यूनिकोड डेटा के साथ कैसे काम किया जाए। एक ऑटोमेटन का निर्माण करते समय, यह माना जाता है कि वर्ण 7 या 8 बिट हैं।

मैं फ्लेक्स -2.5 ए-यूनिकोड-पैच से मिला , लेकिन केवल 16-बिट पात्रों और सभी के साथ एक विशिष्ट संस्करण के लिए जिसका अर्थ है।

इस बीच, एक सरल और काफी व्यावहारिक समाधान है जो पवित्र पुनर्निर्माण के साधनों में चढ़ने के लिए गंदे हाथों की आवश्यकता नहीं है।

प्रचार

%option 8bit %option c++ ... alpha [A-Za-z] U1 [\x80-\xbf] U2 [\xc2-\xdf] U3 [\xe0-\xef] U4 [\xf0-\xf4] ualpha {alpha}|{U2}{U1}|{U3}{U1}{U1}|{U4}{U1}{U1}{U1} uname ({ualpha}|\_)* ... 

और voilà ... का उपयोग किया जा सकता है।

 %% ... {uname} { ... yylval.str_ = std::string(yytext); return XyzParser::ttName; }