Tokenizer के साथ PHP में काम करें

संदर्भ के लिए:
टोकनराइज़र (लेक्सर) कोड विश्लेषण के लिए एक इंटरफ़ेस प्रदान करता है। इस प्रकार, आप भाषा विनिर्देश के साथ काम किए बिना उपयोगिताओं को लिख सकते हैं।
Tokenizer, संस्करण php> = 4.3 से शुरू होकर, डिफ़ॉल्ट रूप से php असेंबली में शामिल है।

टोकेनिज़र के साथ क्या कार्य हल किए जा सकते हैं?
हां, कोड के विश्लेषण और संशोधन से संबंधित विभिन्न प्रकार।

कोड से टिप्पणियां निकालना

सबसे सरल उदाहरण php.net पर दिया गया है - टिप्पणियों को हटाने के लिए:

<?php function strip_comments($fileName) { $source = file_get_contents($fileName); //     $tokens = token_get_all($source); $result = ''; foreach ($tokens as $token) { if (!is_array($token)) { //  1-  $result .= $token; } else { // - list($id, $value) = $token; switch ($id) { case T_COMMENT: case T_DOC_COMMENT: //   break; default: //   ->  " " $result .= $value; break; } } } return $result; } ?> 

जैसा कि आप कोड से देख सकते हैं, हमें टोकन की एक सरणी मिलती है और, उनके प्रकार के आधार पर, छोड़ें या छोड़ें।
तो आप समस्याओं और अधिक दिलचस्प हल कर सकते हैं - उदाहरण के लिए, स्टार्टअप के लिए प्रोजेक्ट कक्षाओं का एक नक्शा उत्पन्न करने के लिए php-files पर आधारित है।

एक फ़ाइल से कक्षाओं की सूची प्राप्त करना

किसी फ़ाइल से कक्षाओं की सूची प्राप्त करने के लिए, मैंने यह फ़ंक्शन लिखा है:

 <?php function getClasses($fileName) { $result = array(); $content = file_get_contents($fileName); $tokens = token_get_all($content); $waitingClassName = false; $waitingNamespace = false; $waitingNamespaceSeparator = false; $namespace = array(); for ($i = 0, $c = count($tokens); $i < $c; $i++) { if (is_array($tokens[$i])) { list($id, $value) = $tokens[$i]; switch ($id) { case T_NAMESPACE: $waitingNamespace = true; $waitingNamespaceSeparator = false; $namespace = array(); break; case T_CLASS: case T_INTERFACE: $waitingClassName = true; break; case T_STRING: if ($waitingNamespace) { $namespace[] = $value; $waitingNamespace = false; $waitingNamespaceSeparator = true; } elseif ($waitingClassName) { if (!empty($namespace)) { $value = sprintf('%s\\%s', implode('\\', $namespace), $value); } $result[] = $value; $waitingClassName = false; } break; case T_NS_SEPARATOR: if ($waitingNamespaceSeparator && !$waitingNamespace && !empty($namespace)) { $waitingNamespace = true; $waitingNamespaceSeparator = false; } break; } } else { if (($waitingNamespace || $waitingNamespaceSeparator) && ($tokens[$i] == '{' || $tokens[$i] == ';')) { $waitingNamespace = false; $waitingNamespaceSeparator = false; } } } return $result; } ?> 

और फिर मैंने सोचा और एक छोटी सी उपयोगिता लिखी जो प्रोजेक्ट फाइलों के आधार पर एक ऑटोलैडर बनाता है।
यह निर्दिष्ट फ़ोल्डर में एक्सटेंशन * * .php "के साथ सभी फाइलों का विश्लेषण करता है और एक वर्ग मानचित्र (नाम स्थान को ध्यान में रखते हुए) बनाता है, जिसके आधार पर ऑटोलैडर फिर उत्पन्न होता है।
आप उसे github.com पर पा सकते हैं

मानक कार्यों को अक्षम करना और ओवरराइड करना

दूसरे दिन मुझे याद आया कि कैसे मैंने एक बार रनकिट एक्सटेंशन के साथ छेड़छाड़ की। इसकी क्षमताओं में से, मुझे विशेष रूप से मानक कार्यों और सैंडबॉक्स के पुनर्वितरण में रुचि थी, जिसमें कुछ कार्यों के उपयोग को रोकना संभव होगा।
और अब मैं सोच रहा था कि क्या इस विस्तार का उपयोग किए बिना इस तरह की कार्यक्षमता को लागू करना संभव है। यह पता चला कि टोकनधारक इस मामले में अच्छी तरह से मदद कर सकता है।
इसलिए रनटाइम लाइब्रेरी का जन्म हुआ, जिसकी मदद से, स्क्रिप्ट के निष्पादन के दौरान, आप किसी भी मानक कार्य के उपयोग को प्रतिबंधित कर सकते हैं, या उन्हें ओवरराइड कर सकते हैं।
मैं काम का उदाहरण दूंगा:

 <?php use Dm\Runtime; $code = <<<CODE <?php echo str_replace( 0, 1, 100 ); ?> CODE; //  Exception,    ,   str_replace  Runtime::code($code) ->disableFunction('str_replace') ->execute(); ?> 

 <?php use Dm\Runtime; $code = <<<CODE <?php echo str_replace( 0, 1, 100 ); ?> CODE; //  000,  111 Runtime::code($code) ->overrideFunction('str_replace', function ($search, $replace, $subject) { //  1  2   echo str_replace($replace, $search, $subject); }) ->execute(); ?> 

इन अवसरों का उपयोग कैसे करना एक निजी मामला है। लेकिन आपको इसे सावधानी से उपयोग करने की आवश्यकता है।
मैंने थोड़ा शोध किया और परिणाम से प्रसन्न था।
रनटाइम के बारे में, यह कहना मुश्किल है कि इसे कहां लागू किया जा सकता है और कहां नहीं। लेकिन पुस्तकालय खुद ही स्पष्ट रूप से टोकनधारक के कार्य और उसकी क्षमताओं को प्रदर्शित करता है।

संदर्भ

1. Tokenizer
2. Runkit
3. ऑटोलैडर जेनरेशन github.com पर
4. Github.com पर रनटाइम लाइब्रेरी