.Net, UTF-16 और नियमित एक्सप्रेशन

किसी तरह मुझे यह जाँचने की आवश्यकता है कि XML नाम सही है या नहीं। क्या आसान हो सकता है? हम मानक को देखते हैं , जहां यह स्पष्ट रूप से वर्णित है कि किन प्रतीकों के साथ नाम शुरू हो सकता है और जिसके साथ यह जारी रह सकता है, सब कुछ सरल और स्पष्ट है:

[4] NameStartChar ::= ":" | [AZ] | "_" | [az] | [#xC0-#xD6] | [#xD8-#xF6] | [#xF8-#x2FF] | [#x370-#x37D] | [#x37F-#x1FFF] | [#x200C-#x200D] | [#x2070-#x218F] | [#x2C00-#x2FEF] | [#x3001-#xD7FF] | [#xF900-#xFDCF] | [#xFDF0-#xFFFD] | [#x10000-#xEFFFF]
[4a] NameChar ::= NameStartChar | "-" | "." | [0-9] | #xB7 | [#x0300-#x036F] | [#x203F-#x2040]
[5] Name ::= NameStartChar (NameChar)*


लगभग तैयार नियमित अभिव्यक्ति, आसान फ़ाइल प्रसंस्करण Ctrl + H ...

public const string NameStartCharPattern = @"\:|[AZ]|_|[az]|[\u00C0-\u00D6]|[\u00D8-\u00F6]|[\u00F8-\u02FF]|[\u0370-\u037D]|[\u037F-\u1FFF]|[\u200C-\u200D]|[\u2070-\u218F]|[\u2C00-\u2FEF]|[\u3001-\uD7FF]|[\uF900-\uFDCF]|[\uFDF0-\uFFFD]|[\u10000-\uEFFFF]" ;
public const string NameCharPattern = NameStartCharPattern + @"|-|\.|[0-9]|\u00B7|[\u0300-\u036F]|[\u203F-\u2040]" ;
public const string NamePattern = @"(?:" + NameStartCharPattern + @")(?:" + NameCharPattern + @")*" ;
* This source code was highlighted with Source Code Highlighter .

हम एक परीक्षण लिख रहे हैं ...

Assert.That(Regex.Match( "4a" , Patterns.NamePattern), Is.False);
* This source code was highlighted with Source Code Highlighter .

साफ, सरल, स्पष्ट ... फेल!

बुराई की जड़ पहली पंक्ति में अंतिम घटक है: [\ u10000- \ uEFFFF]। वह सभी पात्रों को पकड़ता है, हालांकि उसे नहीं करना चाहिए ... बंद करो, वह कैसे पकड़ता है? हमारे पास UTF-16 है, चरित्र दो बाइट्स तक सीमित है? .. या यह सीमित नहीं है?

मुझे एन्कोडिंग के क्षेत्र में अपनी खुद की अशिक्षा के उन्मूलन, और मेरी शिक्षा के परिणामों का संक्षिप्त रूप से सामना करना पड़ा। यदि कोई व्यक्ति इन तथ्यों को लंबे समय से परिचित पाता है, तो अगले पैराग्राफ को छोड़ने के लिए स्वतंत्र महसूस करें।

यह पता चला है कि यूनिकोड में 65536 से अधिक वर्णों को कूटबद्ध करने की क्षमता है। यूनिकोड वर्ण तथाकथित विमानों में विभाजित हैं, और उनमें से प्रत्येक 0x10000 वर्णों की क्षमता वाला है। कुल मिलाकर, मानक उन्हें 17 को परिभाषित करता है। और प्रोग्रामर के दृष्टिकोण से ऐसा "वक्र" यहां बिना कारण के नहीं है: वास्तव में, हमारे पास एक विमान है जो एक तरह से संसाधित होता है और दूसरे में 16। पहला, तथाकथित बुनियादी बहुभाषी विमान, जिसे परिचित बीएमपी के तहत भी जाना जाता है, इसमें आज इस्तेमाल होने वाले सभी प्रतीकों का विशाल बहुमत है। UTF-16 में एन्कोडिंग करते समय उसमें से सभी वर्ण, दो बाइट में, एक शब्द में, सीधे उन में वर्ण कोड के अनुसार लिखे जाते हैं। कोड की एक विशेष श्रेणी, 0xD800-0xDFFF, एक ही विमान में परिभाषित की गई है। इसमें 2048 मान शामिल हैं, जिन्हें सरोगेट्स कहा जाता है। अपने आप से, इन मूल्यों को UTF-16 में नहीं पाया जा सकता है, केवल जोड़े में - दो शब्द (दो बाइट्स) निम्नलिखित सोलह पैनलों से निम्नानुसार मान सेट करते हैं: 0x10000 वर्ण कोड से घटाया जाता है, जो हमें एक साफ बीस-बिट संख्या देता है। इन 20 बिट्स को पहले और दूसरे शब्द में 10 लिखा गया है, इस प्रकार 2048 चयनित कोड हैं। इसके अलावा, चूँकि पहला शब्द उपसर्ग 0b110110 (मान 0xD800-0xDBFF देते समय, उच्च या अग्रणी सरोगेट कहा जाता है) के साथ लिखा गया है, और दूसरा क्रमशः 0b110111 (0xDC00-0xDFFF, अंतिम या निम्न सरोगेट) है, यह शब्द के उद्देश्य के एक स्पष्ट निर्धारण की गारंटी देता है। संदर्भ के आधार पर।

... तो, यह प्रतीत होता है। नेट? और इस तथ्य के बावजूद कि हालांकि यह सरोगेट्स के साथ काम करने के लिए उपकरण प्रदान करता है, नियमित अभिव्यक्ति इंजन उन्हें अनदेखा करता है। यानी सामान्य रूप से उपेक्षा करता है, उनके साथ पात्रों के जोड़े के रूप में काम करता है। ऐसे मामलों में हमेशा की तरह, मैं इस समस्या का पता लगाने वाला पहला व्यक्ति नहीं था। फिर से, हमेशा की तरह, Microsoft का निर्णय "ठीक नहीं होगा।"

इसलिए, आपको किसी तरह इसके साथ रहना होगा। जैसा कि बग्रेपोर्ट में सुझाव दिया गया है, PInvoke के माध्यम से कॉल करें - गौरैया के साथ तोप से। दूसरा विचार - इन सरोगेट्स के लिए सामान्य समर्थन के साथ नरक के लिए मोहक था, लेकिन मैंने हार नहीं मानने का फैसला किया ... और फिर मुझे अचानक एहसास हुआ कि बग को एक फीचर के रूप में इस्तेमाल किया जा सकता है!

हमारे मामले में सरोगेट्स के साथ काम करने वाले समूह की संरचना बहुत ही सरल है - वास्तव में, यह पहले 14 विमानों में से किसी भी पात्र को अंतिम दो को प्रतिबंधित करने की अनुमति देता है ... अर्थात, यह एक उच्च श्रेणी के क्षेत्र से मूल्यों की एक निश्चित सीमा को मना करता है, और हम निम्नलिखित के साथ अपनी अभिव्यक्ति को बदल सकते हैं:
[\u10000-\uEFFFF] -> (?:[\uD800-\uDB7F][\uDC00-\uDFFF])

यह विधि बहुत सार्वभौमिक नहीं है, और उनसे वर्णों की संकीर्ण सीमाएं पूछना बहुत असुविधाजनक होगा, यह मुझे सुंदर लगा, और इसलिए मैंने इसे आपके साथ साझा करने का निर्णय लिया।