🏢 🚵🏼 🆒 पायथन कोड हाइलाइटिंग के साथ Habr PDF प्रिंटर 🙋🏽 🧛🏾 🏬

इस कार्यक्रम (और बाद के लेख) को लिखने के लिए मैं इस पोस्ट से प्रेरित था। यह सिर्फ इतना हुआ है कि मुझे जहाँ तक संभव हो लेख पढ़ने की आदत है, क्योंकि यह सब कुछ याद रखना असंभव है, और यह पता नहीं है कि यह कब काम आ सकता है। इसलिए, उपरोक्त पोस्ट को पढ़ने के बाद और पीडीएफ में विकिपीडिया पृष्ठों को प्रिंट करने की संभावना को याद करते हुए मुझे इतना प्रिय लगा, मुझे स्वाभाविक रूप से हैबर के लिए एक ही "प्रिंटर" बनाने का विचार था, ताकि मुझे ऐसे लेख मिल सकें जो मेरे व्यक्तिगत संग्रह में मेरी रुचि पैदा करते हैं।

पहला प्रयास था कि लेखक द्वारा उपलब्ध कराए गए कार्यक्रम का उपयोग करें। और लगभग तुरंत एक रेक था जिसे अनदेखा करना मेरी ताकत से अधिक था। यह रेक कोड हाइलाइटिंग है।

मैं तुरंत आरक्षण कर दूंगा, मैं Habré के लिए नया हूं और यह बताता है कि मेरे पास बहुत अस्पष्ट अवधारणा है। हालांकि, लेख के साथ पृष्ठ के स्रोत को देखना जिसमें कोड टुकड़ा प्रस्तुत किया गया है, समस्या का स्रोत स्पष्ट हो गया। और वह * ड्रम रोल * है कि जावास्क्रिप्ट कोड को रंग रहा है। नहीं, एक ब्राउज़र के माध्यम से पढ़ने के लिए यह निश्चित रूप से अच्छा और अच्छा है, लेकिन अजगर पीसा, जो पीडीएफ में पेज को रेंडर करने में लगा हुआ है, सिद्धांत रूप में रंग कोड को निष्पादित नहीं कर सकता है।

एक विचार था - आपको कुछ लेकर आने की जरूरत है।

लेख के स्रोत कोड को संशोधित करना आवश्यक है ताकि लेख में जिस भाषा में कोड प्रस्तुत किया गया है उसके मुख्य निर्माण को विशेष HTML टैग्स के साथ तैयार किया जाए। फिर सिंटैक्स हाइलाइटिंग के साथ कोड को देखने के लिए सीएसएस में कुछ लाइनें जोड़ें, जिसे ब्राउज़र और मुद्रित पीसा पीडीएफ दोनों में देखा जा सकता है। इसके लिए क्या आवश्यक है? सबसे पहले, भाषा के बहुत टोकन को उजागर करें। और यहीं से मस्ती शुरू होती है। ठीक है, प्रत्येक भाषा के लिए एक ही पूर्ण पार्सर मत करो! हालाँकि, इसकी आवश्यकता नहीं थी।

सिद्धांत याद करते हैं। प्रोग्रामिंग भाषाएं, एक नियम के रूप में, संदर्भ-स्वतंत्र व्याकरण द्वारा वर्णित भाषाओं के वर्ग से संबंधित हैं, जिसमें नियमित व्याकरण के सबसेट के रूप में शामिल हैं। नियमित व्याकरण भाषा के मूल तत्वों का वर्णन करता है - टोकन जिसमें से अन्य सभी वाक्यात्मक निर्माण होते हैं। हर किसी का पसंदीदा कोड हाइलाइटिंग कुछ अलग प्रकार के टोकन को एक अलग रंग में हाइलाइट करने के लिए समर्पित है, जिससे कोड को पढ़ने और अधिक सुखद बनाने में आसानी होती है। इसका मतलब यह है कि यह कार्य निम्नलिखित के लिए उबलता है: हाइलाइट किए गए टोकन के सभी वर्गों के लिए नियमित अभिव्यक्ति की रचना करें, नियमित अभिव्यक्तियों द्वारा सभी मिलानों को ढूंढें और उन्हें संबंधित एचटीएमएल टैग में फ्रेम करें। हालांकि, समस्या यह है: एक लंबी नियमित अभिव्यक्ति तैयार करने में समय और मेहनत लगती है। प्रत्येक भाषा के लिए कई ऐसे भाव हैं। और कई भाषाएँ हैं। और भाव स्वयं उतने सरल नहीं हैं जितने वे लग सकते हैं। उदाहरण के लिए, आइए एक नियमित अभिव्यक्ति को परिभाषित करने का प्रयास करें जो सी भाषा के डेटा प्रकार से मेल खाती है (हम खुद को कुछ तक सीमित रखते हैं, क्योंकि उनमें से बहुत सारे हैं)। इतना जटिल क्या है? लानत पहले:

r'int|short|long|char'

है न? नहीं। इस तरह की एक नियमित अभिव्यक्ति को मैच मिलेगा, उदाहरण के लिए, लाइन चेलिंटानो में, और हमें शब्द के बीच में एक हाइलाइट मिलेगा। समाधान स्पष्ट है - शुरुआत और अंत में व्हॉट्सएप जोड़ें

 r'\s+(int|short|long|char)\s+'

फिर गलत। एक प्रकार एक कोष्ठक, एक वर्ग ब्रैकेट, एक घुंघराले ब्रेस से पहले हो सकता है, और यदि आपको याद है कि एक प्रकार का नाम एक प्रकार का कास्ट ऑपरेशन हो सकता है, तो इसमें बहुत कुछ है। यह पता चला है, यह कहना आसान है कि यह एक प्रकार के नाम से पहले नहीं हो सकता है - एक पत्र, एक संख्या और एक अंडरस्कोर। तो इसके परिणामस्वरूप हमें सिर्फ एक नियमितता मिलती है:

 r'(?P<prefix>^|[^a-zA-Z0-9_])(?P<body>int|short|long|char)(?P<postfix>$|[^a-zA-Z0-9_])'

अब टोकन के प्रत्येक वर्ग के लिए इस तरह की परेशानी की कल्पना करें। प्रत्येक भाषा के लिए। यह अच्छा होगा यदि केवल आधार का संकेत दिया गया हो, और नियमित समय-सारणी स्वयं तैयार की जाएगी। और यह किया जा सकता है।

यह मुझे एक INI फ़ाइल की तरह एक संरचना के साथ एक फ़ाइल में भाषा टोकन की कक्षाएं लिखने के लिए सबसे सफल निर्णय लग रहा था। प्रत्येक वर्ग के टोकन के लिए, मुख्य घटकों को प्रतिष्ठित किया जा सकता है: उपसर्ग - वर्ण (वर्णों के अनुक्रम) जो टोकन से पहले दिखाई दे सकते हैं, टोकन के शरीर, और पोस्टफ़िक्स - वे वर्ण जो टोकन के बाद दिखाई दे सकते हैं। प्रत्येक घटक, बदले में, सरल अभिव्यक्ति से युक्त हो सकता है - साधारण तार, जैसे कि इंट या फ़ंक्शन, या नियमित अभिव्यक्ति, उदाहरण के लिए, [0-9] + (\। [[0-9] +)? (फ्लोटिंग पॉइंट नंबर के लिए नियमित अभिव्यक्ति)। इस प्रकार, निम्न पैरामीटर .ini फ़ाइल के प्रत्येक ब्लॉक में सेट किए जा सकते हैं:

lexem
से पहले
के बाद
regexpr

Regexpr पैरामीटर का मान एक नियमित अभिव्यक्ति है। इस पैरामीटर का उपयोग कई बार किया जा सकता है, फिर परिणामी नियमित अभिव्यक्ति सभी पैरामीटर मानों से मेल खाएगी। पहले तीन मापदंडों के लिए, मान, एक नियम के रूप में, एक सेट (गणना) है, जो अजगर की सर्वश्रेष्ठ परंपराओं में वर्ग कोष्ठक, साथ ही एक सूची में लिखा गया है। कभी-कभी यह एक विशेष चरित्र के साथ मूल्यों को अलग करने के लिए सुविधाजनक होता है, जिसके लिए सीमांकक पैरामीटर का उपयोग किया जाता है (डिफ़ॉल्ट रूप से, विभाजक एक खाली स्ट्रिंग है, यानी हर चरित्र को एक संभावित नियमित निकाय माना जाता है)। यह पैरामीटर फ़ाइल ब्लॉक के भीतर सीमांकक चरित्र को बदलता है जब तक कि पैरामीटर मान की एक और परिभाषा सामने नहीं आती है। ऐसा होता है कि लेक्सम एन्यूमरेशन में लाइनों की शुरुआत या अंत दोहराया जाता है, इसका एक ज्वलंत उदाहरण C ++ प्रीप्रोसेसर निर्देशों (#include, #define, #pragma) की परिभाषा है। बहुत अधिक नहीं लिखने के लिए (और अचानक उनमें से बहुत सारे हैं), आप उपसर्ग और पोस्टफ़िक्स मापदंडों के मूल्यों को निर्दिष्ट कर सकते हैं। इन मूल्यों को क्रमशः शुरुआत और अंत में लेक्सम गणन में प्रत्येक पंक्ति में जोड़ा जाएगा।
मैं उसी C ++ के लिए एक उदाहरण दूंगा

[ClassName]

delimiter =;
पोस्टफ़िक्स = \ s +
पहले = [वर्ग]
regexpr = [a-zA-Z _] [a-zA-Z0-9 _] *

eqstyle = टंकण

[संख्या]

delimiter =
regexpr = [0-9] + (\। [0-9] +)?
regexpr = 0x [0-9a-fA-F] +
इससे पहले {{abcdefghijklmnopqrstuvwxyzABCDEFJHIJKLMNOPQRSTUVWXYZ_}
after = {abcdefghijklmnopqrstuvwxyzABCDEFJHIJKLMNOPQRSTUVWXYZ_}

यहां आप ईकस्टाइल पैरामीटर देख सकते हैं। यह पूरी तरह से व्यावहारिक कारणों से पेश किया गया था ताकि हाइलाइटिंग को परिभाषित करते समय अनावश्यक प्रविष्टियों को न जोड़ा जाए (इस मामले में, आवरण टैग और सीएसएस फाइलों में प्रविष्टियां)। एक्स्टाइल पैरामीटर की परिभाषा को "टोकन के इस वर्ग के लिए" के रूप में पढ़ा जाना चाहिए, वर्ग के मान के समान उपयोग करें ""

छोटी बात यह है कि इस फ़ाइल को पढ़ें, प्रत्येक टोकन वर्ग के लिए एक नियमित अभिव्यक्ति संकलित करें। परिणामस्वरूप, हमें प्रतीकात्मक कुंजियों के साथ एक शब्दकोश मिलता है - टोकन वर्ग के नाम, और मूल्य - संकलित नियमित अभिव्यक्तियाँ (हम इस शब्दकोश को "भाषा की शैली" कहते हैं)। यह "शैली" के प्रत्येक भाव के माध्यम से वांछित लेख में प्रकाशित कोड के ब्लॉक को ड्राइव करने के लिए बनी हुई है।

 def modify(style, eqstyles, stylename, block) : if style == None : return block #     html    block = fromHTML(block) wraps = [] for tag in style.keys() : _left = 0 word = style[tag] if tag in eqstyles : tag = eqstyles[tag] m = word.search(block) while m != None : prefix = m.group('prefix') postfix = m.group('postfix') tag_left = _left + m.start() + len(prefix) tag_right = _left + m.end() - len(postfix) unique = True #  ,       ,   for (start, end, t) in wraps : if (tag_left <= start) and (tag_right >= end) : #        wraps.remove( (start, end, t) ) elif tag_left >= start and tag_right <= end : #      ,   unique = False break if unique : wraps.append( (tag_left, tag_right, tag) ) _left = _left + m.end() m = word.search(block[ _left : ]) wraps = sortByF(wraps, (lambda (x1,y1,z1), (x2,y2,z2) : x1 < x2)) mod_block = "" _left = 0 for w in wraps : mod_block = mod_block + block[_left : w[0]] mod_block = mod_block + ( "<%s_%s>%s</%s_%s>" % (stylename, w[2], toHTML(block[w[0] : w[1]]), stylename, w[2]) ) _left = w[1] mod_block = mod_block + block[_left :] return mod_block

असल में यहां क्या हो रहा है। प्रत्येक नियमित अभिव्यक्ति के लिए, पहला मैच खोजा जाता है। तो हम शुरुआत के सापेक्ष टोकन की भरपाई करते हैं, साथ ही उपसर्ग और पोस्टफिक्स की लंबाई भी। मैचों की सूची में एक ट्रिपल जोड़ें (<टोकन स्थिति>, <टोकन समाप्ति स्थिति>, <टोकन वर्ग>)। प्रारंभ स्थिति की गणना कोड की शुरुआत के मुकाबले मैच की ऑफसेट के रूप में की जाती है + उपसर्ग की लंबाई (अंतिम स्थिति के लिए, समान)। साथ ही, यह जाँच की जाती है कि क्या टोकन दूसरों को ओवरलैप करता है और क्या यह ओवरलैप किया गया है। इसका क्या मतलब है? यह मत भूलो कि टोकन केवल तार हैं, और एक पंक्ति दूसरे के लिए एक विकल्प हो सकती है। और अगर यह बहुत अन्य एक टोकन भी है, तो यह नेस्टेड को "ओवरलैप" करता है। उदाहरण के लिए, यदि कोई रेखा है "int एक पूर्णांक चार-बाइट संख्या को संग्रहीत करने के लिए एक चर का प्रकार है", तो आपको शब्द int को हाइलाइट करने की आवश्यकता नहीं है, यह लाइन का केवल एक हिस्सा है - हालांकि इसे टोकन के रूप में हाइलाइट किया जाएगा। टोकन को संसाधित करने के बाद, खोज स्ट्रिंग को बाईं ओर उस स्थिति में काट दिया जाता है, जिस पर पाया गया टोकन समाप्त होता है, और शेष पाठ में एक मैच के लिए एक नई खोज की जाती है, और इसी तरह जब तक कि मैच समाप्त नहीं हो जाता।

सबसे सरल चीज बनी हुई है - टोकन पदों की सूची का उपयोग करके, उन्हें html टैग के साथ फ्रेम करें। टैग बस संकलित हैं: <"भाषा का नाम" _ "टोकन वर्ग">। परिणामस्वरूप, हमें html-markup द्वारा पूरक कोड का एक ब्लॉक मिलता है। इनमें से प्रत्येक टैग के लिए शैली परिभाषाएँ जोड़ें - और आपको यह कोड हाइलाइट करना होगा कि ब्राउज़र और पीसा दोनों समान रूप से अच्छी तरह से खेलेंगे।

यह इस लेख के मुद्रित पृष्ठों में से एक कैसे दिखता है। कोड के ब्लॉक ओब्सीडियन की शैली में सजाए गए हैं, मेरे प्रिय नोटपैड ++ से जानबूझकर उधार लिया गया है।

प्रस्तुत रंग विधि निश्चित रूप से पूर्णता के दृष्टिकोण से आदर्श नहीं है (कभी-कभी प्रस्तुत पैरामीटर टोकन को सटीक रूप से निर्धारित करने के लिए पर्याप्त नहीं हैं), और न ही प्रदर्शन के दृष्टिकोण से। हालाँकि, मैंने जिन लेखों को छापा, उनमें उन्होंने महत्वपूर्ण ब्लंडर नहीं दिए। इसके अलावा, हम शटल को अंतरिक्ष में लॉन्च नहीं कर रहे हैं, यहां त्रुटि की कीमत न्यूनतम है और मुझे अनुकूलन का कोई कारण नहीं दिखता है। अगर किसी को बैकलाइट के आयोजन के अन्य तरीकों के बारे में पता है (मैं ईमानदारी से पहले कभी भी इसमें दिलचस्पी नहीं ले रहा था) - मैं खुशी के साथ सुनूंगा और पढ़ूंगा।

कार्यक्रम को यहां से डाउनलोड किया जा सकता है।

पुनश्च: मैं उन सभी का आभारी रहूंगा जो भाषा और बैकलाइटिंग शैलियों के विवरण लिखने में मदद करना चाहते हैं।

पायथन कोड हाइलाइटिंग के साथ Habr PDF प्रिंटर

More articles: