ट्यूटोरियल "एलएलवीएम के साथ एक प्रोग्रामिंग भाषा बनाना" में आपका स्वागत है। यह ट्यूटोरियल आपको एक सरल प्रोग्रामिंग लैंग्वेज के निर्माण से परिचित कराता है, और साथ ही यह दर्शाता है कि यह कितना आसान और दिलचस्प हो सकता है, और यह आपको बुनियादी ज्ञान भी देता है कि आप इसके बाद अन्य प्रोग्रामिंग लैंग्वेजेस के लिए आवेदन कर सकते हैं। इस ट्यूटोरियल में कोड LLVM का उपयोग करके आपकी रचनाओं के लॉन्चिंग पैड के रूप में भी उपयोग किया जा सकता है।

इस पाठ्यपुस्तक का उद्देश्य धीरे-धीरे हमारी भाषा, इसकी चरणबद्ध रचना का विवरण प्रस्तुत करना है। यह हमें अनावश्यक विवरणों की एक बड़ी मात्रा के बिना कोड को दिखाते और समझाते हुए भाषा डिजाइन और LLVM के उपयोग के मुद्दों की एक विस्तृत श्रृंखला को कवर करने की अनुमति देगा।

अग्रिम में यह नोट करना उपयोगी है कि यह ट्यूटोरियल कुछ संकलन तकनीक और एलएलवीएम बारीकियों को सिखाता है, लेकिन यह आधुनिक सॉफ्टवेयर विकास सिद्धांतों को नहीं सिखाता है। व्यवहार में, इसका मतलब है कि हम प्रस्तुति को सरल बनाने के लिए सबसे सरल और कम किए गए समाधानों का उपयोग करेंगे। इसलिए, उदाहरण के लिए, हर जगह मेमोरी के साथ काम करने के लिए कोड उत्कृष्ट डिज़ाइन पैटर्न जैसे विज़िटर और अन्य का उपयोग किए बिना वैश्विक चर का उपयोग करता है - यह सबसे अच्छा तरीका नहीं है, लेकिन यह बहुत सरल और स्पष्ट है। यदि आप कोड को समझते हैं और इसे भविष्य की परियोजनाओं के लिए आधार के रूप में उपयोग करते हैं, तो ऐसी कमियों को ठीक करना आपके लिए कोई समस्या नहीं होगी।

मैंने इस ट्यूटोरियल की रचना इस तरह से करने की कोशिश की, ताकि आप आसानी से उन हिस्सों को छोड़ सकें, जिन्हें आप पहले से जानते हैं या जिनमें दिलचस्पी नहीं है। पाठ्यपुस्तक की संरचना इस प्रकार है:

अध्याय संख्या 1 : बहुरूपदर्शक भाषा का परिचय और इसके शाब्दिक विश्लेषक की परिभाषा - यह दिखाएगा कि हम किस दिशा में बढ़ रहे हैं और बुनियादी कार्यक्षमता जिसे हमें विकसित करना है। इस ट्यूटोरियल को समझना आसान बनाने के लिए, और उदाहरण वास्तविकता के करीब हैं, हमने पार्सर जनरेटर के उपयोग के बिना केवल शुद्ध C ++ में सब कुछ लागू करने का निर्णय लिया। एलएलवीएम, निश्चित रूप से, इस तरह के उपकरणों के साथ बहुत अच्छा काम करता है, इसलिए आप आसानी से उनमें से एक का उपयोग कर सकते हैं।
अध्याय 2 : पार्सर और एएसटी को लागू करना - एक तैयार किए गए शाब्दिक विश्लेषक के साथ, हम पहले से ही पार्स करने के तरीकों और एएसटी के निर्माण की मूल बातें के बारे में बात कर सकते हैं। यह मार्गदर्शिका पुनरावर्ती वंश विश्लेषण और पार्सिंग ऑपरेटर पूर्वता का वर्णन करती है। अध्याय 1 या 2 में कुछ भी एलएलवीएम पर लागू नहीं होता है, इन अध्यायों में एलएलवीएम के लिए कोड भी नहीं होता है। :)
अध्याय 3 : एलएलवीएम आईआर कोड जनरेशन - एएसटी तैयार होने के साथ, हम दिखा सकते हैं कि वास्तव में एलएलवीएम आईआर उत्पन्न करना कितना आसान है।
अध्याय 4 : जेआईटी और ऑप्टिमाइज़र समर्थन जोड़ना - चूंकि कई लोग जेआईटी के रूप में एलएलवीएम का उपयोग करने में रुचि रखते हैं, हम इसमें डुबकी लेंगे और आपको जेआईटी समर्थन जोड़ने के लिए 3 चरण दिखाएंगे। एलएलवीएम कई अन्य तरीकों से भी उपयोगी है, लेकिन यह आपकी ताकत का प्रदर्शन करने के सबसे आसान और "यौन" तरीकों में से एक है। :)
अध्याय 5 : भाषा का विस्तार: नियंत्रण प्रवाह - अब जब हमारे पास एक काम करने वाली प्रोग्रामिंग भाषा है, तो हम इसे नियंत्रण निर्माण (यदि / फिर / और "लूप के लिए") के साथ विस्तारित कर सकते हैं। यह हमें सरल SSA निर्माण और प्रवाह नियंत्रण के बारे में बात करने का अवसर देता है।
अध्याय 6 : भाषा विस्तार: उपयोगकर्ता-परिभाषित ऑपरेटर भाषा विस्तार के बारे में एक सरल लेकिन दिलचस्प अध्याय है, जो उपयोगकर्ता को अपने स्वयं के अनार्य और द्विआधारी ऑपरेटरों को (एक प्राथमिकता वाले प्राथमिकता के साथ) परिभाषित करने की अनुमति देता है। यह हमें रूटीन की लाइब्रेरी के रूप में "प्रोग्रामिंग भाषा" का एक महत्वपूर्ण हिस्सा बनाने की अनुमति देगा।
अध्याय 7 : भाषा का विस्तार: चर चर - यह अध्याय असाइनमेंट ऑपरेटर का उपयोग करके कस्टम स्थानीय चर जोड़ने के बारे में बात करता है। यहां सबसे दिलचस्प बात यह है कि एसएसए फॉर्म में निर्माण करना कितना आसान और तुच्छ है: और नहीं, एलएलवीएम को आपके फ्रंट एंड में एसएसए फॉर्म के उपयोग की आवश्यकता नहीं है!
अध्याय 8 : निष्कर्ष और अन्य LLVM उपहार - यह अध्याय भाषा के विस्तार के संभावित तरीकों के बारे में बात करके श्रृंखला का समापन करता है, और इसमें विभिन्न विषयों के लिंक का एक समूह भी शामिल है, जैसे कि कचरा संग्रह समर्थन, अपवाद, डिबगिंग, स्पेगेटी समर्थन -स्टैक ”(“ स्पेगेटी स्टैक ”), और अन्य युक्तियों और ट्रिक्स का एक समूह।

ट्यूटोरियल के अंत तक, हमने टिप्पणियों और रिक्त लाइनों पर विचार किए बिना कोड की 700 से थोड़ी कम लाइनों को लिखा। कोड की इस छोटी राशि के साथ, हमने एक गैर-तुच्छ प्रोग्रामिंग भाषा के लिए एक बहुत अच्छा संकलक बनाया, जिसमें हस्तलिखित लेक्सिकल विश्लेषक, पार्सर, एएसटी, साथ ही जेआईटी के साथ कोड पीढ़ी के लिए समर्थन शामिल है। जबकि अन्य प्रणालियों में हैलो, विश्व-शैली के ट्यूटोरियल हैं, इस ट्यूटोरियल की चौड़ाई एलएलवीएम की शक्ति के लिए एक महान वसीयतनामा है। यदि आप भाषा और संकलक बनाने में रुचि रखते हैं, तो आपको इस ट्यूटोरियल को जरूर पढ़ना चाहिए।

और एक और बात: हम आपसे यह उम्मीद करते हैं कि आप भाषा का विस्तार करेंगे और हमारे विवेक से खेलेंगे। कोड लें और फ्रैंचली प्रोग्रामिंग शुरू करें, पागल हो जाएं, संकलक आपको डरा नहीं करना चाहिए - भाषाओं के साथ खेलना बहुत मजेदार है!

जीभ कालीदोस्कोप

यह ट्यूटोरियल टॉय प्रोग्रामिंग भाषा का वर्णन करेगा जिसे हमने " कैलीडोस्कोप " कहा है (नाम तीन ग्रीक शब्दों से आया है: "सुंदर", "देखो" और "देखो, देखो")। बहुरूपदर्शक एक प्रक्रियात्मक भाषा है जो आपको कार्यों को परिभाषित करने, शर्तों, गणित आदि का उपयोग करने की अनुमति देती है। अध्ययन के दौरान, हम अगर / फिर / निर्माण, लूप, उपयोगकर्ता के बयान, एक साधारण कंसोल इंटरफ़ेस के साथ JIT संकलन, आदि का समर्थन करने के लिए बहुरूपदर्शक का विस्तार करेंगे।

सादगी के लिए, बहुरूपदर्शक में केवल एक डेटा प्रकार है - एक 64-बिट फ्लोटिंग-पॉइंट संख्या (जैसे "डबल" सी में)। इस प्रकार, सभी मूल्य दोहरे सटीक वास्तविक संख्या हैं और भाषा को प्रकार की घोषणाओं की आवश्यकता नहीं है। यह भाषा को बहुत सुंदर बनाता है और वाक्य रचना को सरल बनाता है। उदाहरण के लिए, निम्नलिखित सरल उदाहरण फाइबोनैचि संख्याओं की गणना करता है:

#  x-   def fib(x) if x < 3 then 1 else fib(x-1)+fib(x-2) #    40- . fib(40)

हमने कैलीडोस्कोप को मानक पुस्तकालय कार्यों (LLVM JIT इसे काफी तुच्छ बनाता है) की अनुमति दी। इसका अर्थ है कि आप एक्सटर्नल कीवर्ड का उपयोग करने से पहले किसी फ़ंक्शन को घोषित करने के लिए उपयोग कर सकते हैं (यह पारस्परिक रूप से पुनरावर्ती कार्यों के लिए भी उपयोगी है)। उदाहरण के लिए:

 extern sin(arg); extern cos(arg); extern atan2(arg1 arg2); atan2(sin(.4), cos(42))

एक और दिलचस्प उदाहरण अध्याय 6 में दिया गया है, जहां हम कलीडोस्कोप पर एक छोटा सा आवेदन लिखेंगे जो कि विभिन्न डिग्री में मैंडेलब्रॉट सेट प्रदर्शित करता है।

और अब इस भाषा के कार्यान्वयन में गोता लगाएँ!

लेक्सिकल विश्लेषक

जब एक प्रोग्रामिंग भाषा को लागू करने की बात आती है, तो आपको सबसे पहली चीज चाहिए एक टेक्स्ट फाइल को प्रोसेस करने और उसमें कोड को पहचानने की क्षमता। पारंपरिक तरीका यह है कि इनपुट स्ट्रीम को "टोकन" में तोड़ने के लिए " लेक्सिकल एनालाइज़र " (या "स्कैनर") का उपयोग किया जाए। लेक्सिकल एनालाइज़र द्वारा लौटाए गए प्रत्येक टोकन में कोड की एक इकाई और संभावित रूप से कुछ मेटाडेटा (उदाहरण के लिए, एक संख्यात्मक मान) शामिल हैं। सबसे पहले, हम संभावनाओं की पहचान करेंगे:

 //     [0-255],   , //       enum Token { tok_eof = -1, //  ( ) tok_def = -2, tok_extern = -3, //  (, ) tok_identifier = -4, tok_number = -5, }; static std::string IdentifierStr; // ,  tok_identifier (  - ) static double NumVal; // ,  tok_number (  - )

हमारे शाब्दिक विश्लेषक द्वारा लौटाए गए प्रत्येक टोकन या तो टोकन एन्यूमरेशन मानों में से एक होंगे या यह "अज्ञात" जैसे "+" वर्ण के होंगे, जो कि ASCII मान के रूप में लौटाया गया है। यदि वर्तमान टोकन एक पहचानकर्ता है, तो वैश्विक चर पहचानकर्ता में पहचानकर्ता नाम होता है। यदि वर्तमान टोकन एक संख्यात्मक शाब्दिक है (जैसे 1.0), तो NumVal में इसका मान होता है। कृपया ध्यान दें कि हम सादगी के लिए वैश्विक चर का उपयोग करते हैं, लेकिन यह वास्तविक उपयोग के लिए सबसे अच्छा विकल्प है :)।

वास्तव में, हमारे लेक्सिकल एनालाइज़र को गेटकोक नामक एकल फ़ंक्शन द्वारा कार्यान्वित किया जाता है। गेटटॉक फ़ंक्शन, जब बुलाया जाता है, तो मानक इनपुट स्ट्रीम से अगला टोकन लौटाता है। उसकी परिभाषा इस तरह शुरू होती है:

 /// gettok -       . static int gettok() { static int LastChar = ' '; //  . while (isspace(LastChar)) LastChar = getchar();

gettok मानक इनपुट में से एक से वर्णों को पढ़ने के लिए getchar () C फ़ंक्शन को कॉल करता है। यह उन्हें पहचानता है और लास्ट चेयर में लास्ट रीड कैरेक्टर को सेव करता है, लेकिन इसे प्रोसेस नहीं करता है। पहली चीज जो उसे करनी चाहिए, वह टोकन के बीच के स्थानों को अनदेखा करना है। यह उपरोक्त चक्र में प्राप्त किया जाता है।

अगली गेटटॉक कार्रवाई पहचानकर्ताओं और विशेष कीवर्ड जैसे "डीएफ़" को पहचानने के लिए है। कैलीडोस्कोप इस सरल लूप के साथ करता है:

 if (isalpha(LastChar)) { // : [a-zA-Z][a-zA-Z0-9]* IdentifierStr = LastChar; while (isalnum((LastChar = getchar()))) IdentifierStr += LastChar; if (IdentifierStr == "def") return tok_def; if (IdentifierStr == "extern") return tok_extern; return tok_identifier; }

कृपया ध्यान दें कि यह कोड पहचानकर्ता को पार्स करते समय वैश्विक चर "पहचानकर्ता" एकत्र करता है। इसके अलावा, भाषा के कीवर्ड एक ही चक्र में जांचे जाते हैं। संख्यात्मक मानों के लिए, सब कुछ समान है:

 if (isdigit(LastChar) || LastChar == '.') { // : [0-9.]+ std::string NumStr; do { NumStr += LastChar; LastChar = getchar(); } while (isdigit(LastChar) || LastChar == '.'); NumVal = strtod(NumStr.c_str(), 0); return tok_number; }

यह इनपुट को प्रोसेस करने के लिए बहुत सरल कोड है। एक संख्यात्मक मान को पढ़ते समय, हम इसे एक संख्यात्मक मान में बदलने के लिए strtod C फ़ंक्शन का उपयोग करते हैं, जिसे हम NumVal में संग्रहीत करते हैं। ध्यान दें कि यहां पर्याप्त त्रुटि की जाँच नहीं की गई है: "1.23.45.67" मान पढ़ा और संसाधित किया जाएगा जैसे कि आपने "1.23" में दर्ज किया है। आप आसानी से इस तरह की त्रुटियों के लिए जाँच के साथ कोड को पूरक कर सकते हैं :)। अब टिप्पणियों से निपटते हैं:

 if (LastChar == '#') { //    . do LastChar = getchar(); while (LastChar != EOF && LastChar != '\n' && LastChar != '\r'); if (LastChar != EOF) return gettok(); }

टिप्पणी को परिभाषित करने के बाद, हम वर्णों को पंक्ति के अंत तक छोड़ देते हैं, और फिर अगला टोकन लौटाते हैं। फिर, यदि इनपुट उपरोक्त मामलों में से एक के साथ मेल नहीं खाता है, तो यह या तो "+" या फ़ाइल के अंत जैसे एक ऑपरेटर है। वे इस कोड द्वारा संसाधित होते हैं:

 //   . if (LastChar == EOF) return tok_eof; //         ASCII int ThisChar = LastChar; LastChar = getchar(); return ThisChar; }

उसी समय, हमारे पास केलिडोस्कोप भाषा के लिए एक पूर्ण लेक्सिकल विश्लेषक होता है (ट्यूटोरियल से अगले अध्याय में लेक्सिकल विश्लेषक कोड की एक पूरी सूची उपलब्ध है)। अगला, हम एक साधारण पार्सर विकसित करेंगे जिसका उपयोग हम सार सिंटैक्स ट्री बनाने में करते हैं। तब हम लेक्सिकल और पार्सर का एक साथ उपयोग कर सकते हैं।

युपीडी।
उपयोगी लिंक जो सीखने में उपयोगी हैं:

LLVM का उपयोग करके एक प्रोग्रामिंग भाषा बनाना। भाग 1: परिचय और शाब्दिक विश्लेषण

जीभ कालीदोस्कोप

लेक्सिकल विश्लेषक

More articles: