ईआरपी सिस्टम में टेक्स्ट ऑब्जेक्ट को संसाधित करना

ईआरपी-सिस्टम (और न केवल) में संग्रहीत पाठ डेटा के जटिल प्रसंस्करण की आवश्यकता काफी बार उठती है। निम्नलिखित परिचयात्मक उदाहरण के उदाहरण हैं:

• कमोडिटी के नामकरण का नामकरण
• उनके नाम या विवरण के आधार पर माल की औपचारिक विशेषताओं का स्वचालित प्लेसमेंट
• मेल पते का रूपांतरण एकीकरण के उद्देश्य और औपचारिक संरचना दोनों के लिए है
• किसी व्यक्ति के लिंग का निर्धारण उसके नाम से करना
• नोटों से दस्तावेजों तक जानकारी निकालना (उदाहरण के लिए, स्वचालित रूप से एक प्रविष्टि से शिपिंग दस्तावेजों को लिंक करने के लिए)
• आदि (आप लंबे समय तक कल्पना कर सकते हैं)

पता करें कि हम क्या चाहते हैं

वर्षों से, सूचीबद्ध और इसी तरह की समस्याओं के लिए कई स्थितिजन्य समाधान बनाए गए हैं, हम किसी भी तरह से पूरे सूचीबद्ध सेट के लिए दृष्टिकोण को सार्वभौमिक बनाने और भविष्य के लिए एक मार्जिन के साथ की आवश्यकता पर आए हैं।

चूंकि हम ऐसे ग्रंथों के साथ काम करेंगे जो नियमों के सबसे न्यूनतम पालन के साथ दर्ज किए जाते हैं, और अधिक बार और आमतौर पर उनके बिना, नियमित अभिव्यक्ति, पर्ल या जाग भाषाओं का उपयोग संभव नहीं है। यह काफी सुलभ है यह एक ऐसी ही समस्या के लिए समर्पित लेख में एक हब्र पर वर्णित है ।

हमारी इच्छाएँ इस प्रकार हैं:

• हम डेटाबेस में ग्रंथों को परिवर्तित करना चाहते हैं ताकि वे यथासंभव एकीकृत हों।
  उदाहरण के लिए, दो उत्पाद हैं “तरल साबुन। पामोलिव अरोमाथेरेपी 300 मिली "और" पामोलिव लिक्विड सोप वीटा-ऑयल डीप न्यूट्रिशन 300 मिली "।
  हम इन दो नामों के बजाय देखना चाहेंगे, कहें:
  "लिक्विड सोप पामोलिव एरोमाथैरेपी 300 मिली" और "लिक्विड सोप पामोलिव विटा-ऑयल डीप न्यूट्रीशन 300 मि.ली."
  
• हम वास्तव में कम नियम लिखना चाहते हैं (विशेष रूप से वाक्य रचना के बाद से, जैसा कि उद्देश्य और व्यक्तिपरक कारणों के लिए नीचे देखा जाएगा, एक उपहार नहीं है)। नतीजतन, हमें कई प्रकार के समूहीकरण विकल्पों की आवश्यकता होगी ताकि कई विकल्पों को एक के बाद एक झपट्टे में बदल दिया जा सके।
  मान लें कि: पामोलिव << पामोलिव | पामोलिव | पामोलिव |
  
• हमारे ग्राहकों में से कई के लिए मार्केटर्स को 20 मानदंडों के अनुसार सामानों के एक अच्छे वर्गीकरण की आवश्यकता होती है, और फिटनेस क्लब जो हम शिकायत करते हैं कि कुछ कर्मचारी पेट्र मिखाइलोविच, इवानोव के एक आगंतुक, ने महिला सदस्यता की स्थापना की है।
  इसलिए, हमारे लिए यह बहुत महत्वपूर्ण है कि कार्यक्रम स्वचालित रूप से ब्रांड, समूह से संबंधित सामान, माल में मादक पेय पदार्थों की ताकत और क्षमता रखता है - आखिरकार, कर्मचारियों ने पहले से ही सभी या बहुत से नामों का संकेत दिया है।
  दूसरे शब्दों में, पाठ वस्तुओं से सुविधाओं को निकालने और इन विशेषताओं को संस्थाओं की औपचारिक विशेषताओं में बदलने के लिए एक तंत्र की आवश्यकता होती है।
  
• कभी-कभी, जब किसी पाठ की जगह लेते हैं या उसमें से औपचारिक विशेषताओं को निकालते हैं, तो मैं नियम के आवेदन के संदर्भ को सीमित करना चाहूंगा।
  यह वह है जो इसके बारे में है: उदाहरण के लिए, "पाउडर" शब्द का मतलब चेहरे के लिए पाउडर चीनी और कॉस्मेटिक पाउडर दोनों हो सकता है (अंग्रेजी ग्रंथों के लिए सब कुछ और भी महत्वपूर्ण हो सकता है)। यदि हम संदर्भ को सीमित करते हैं, तो हम इस शब्द की व्याख्या अलग-अलग तरीकों से कर सकते हैं। कहते हैं, सौंदर्य ब्रांडों की सूची के संदर्भ को सीमित करते हुए, हम उत्पाद के नाम में "पाउडर" शब्द की घटनाओं को सटीक रूप से वर्गीकृत कर सकते हैं।
  

चलो समाधान के लिए नीचे उतरो

वास्तव में, कार्य भाषा संरचनाओं की परिभाषा पर निर्भर करता है, और उन पर कार्रवाई करता है। 1001 वीं भाषा बनाने के लिए क्षमा करें, लेकिन मुझे सौभाग्य से, यह इतना जटिल नहीं है।

भाषा के बारे में बात करने से पहले, मैं उन अवधारणाओं को परिभाषित करूंगा जो इसे लागू करना चाहिए:

• टोकन - किसी शब्द या विभाजक की शाब्दिक परिभाषा
• एक टोकन वर्ग विशेषताओं के एक एम्बेडेड सेट को संतुष्ट करने वाले टोकन के एक सेट की एक समूहीकरण परिभाषा है।
  टोकन कक्षाओं के उदाहरण:
  
  • शब्द - विभाजकों के बिना वर्णों का एक क्रम (एक एकल विभाजक भी इस वर्ग का सबसेट है)
  • डिजिटल शब्द - विभाजकों के बिना दशमलव अंकों का एक क्रम
  • दी गई लंबाई का डिजिटल शब्द - एक निश्चित लंबाई के डिवाइडर के बिना दशमलव अंकों का एक क्रम
  • कोई भी शब्दों का खाली क्रम नहीं है
• ऑपरेशन - एक ऐसी क्रिया जिसे पाठ के किसी भी भाग पर किया जाना चाहिए
  कई ऑपरेशन नहीं हैं:
  
  • प्रतिस्थापन - लक्ष्य अभिव्यक्ति के साथ पाठ का हिस्सा बदलना
  • मामला बदलना एक सरल ऑपरेशन है जो आपको तीन विकल्पों में से एक के अनुसार अक्षरों के मामले को शब्दों में सेट करने की अनुमति देता है:
    
    • सभी लोअरकेस
    • सभी अपरकेस
    • कैपिटल (पहला अक्षर कैपिटल है, अगला लोअरकेस)
  • सिग्नल - एक विशेष अच्छी तरह से संरचित स्ट्रिंग का गठन कॉलिंग मॉड्यूल में लौट आया ताकि यह सूचित किया जा सके कि पाठ में उपयुक्त निर्माण शामिल है और कुशलता से कुछ (कॉलिंग मॉड्यूल के विवेक पर) कार्य को पूरा करने की क्षमता प्रदान करता है
• स्रोत अभिव्यक्ति स्रोत पाठ का वह भाग है जिस पर आपको कुछ ऑपरेशन करने की आवश्यकता होती है
• लक्ष्य अभिव्यक्ति - मूल अभिव्यक्ति की जगह एक निर्माण, या सिग्नल ऑब्जेक्ट के रूप में कार्य करना
• एक समूह स्रोत अभिव्यक्ति का हिस्सा है जिसे लक्ष्य अभिव्यक्ति में संदर्भित किया जा सकता है। यह अवधारणा नियमित रूप से varazheniy में समान अवधारणा के समान है
• एक क्लस्टर स्रोत अभिव्यक्तियों का एक समूह है जिसके लिए एक सामान्य ऑपरेशन परिभाषित किया गया है।
• एक प्रकार, बस एक ऑपरेटर है। विभिन्न निर्माणों की गणना करने के लिए स्रोत अभिव्यक्तियों में उपयोग किया जाता है, जिसमें एक ही ऑपरेशन को लागू किया जाना चाहिए। सख्ती से बोलना, एक प्रकार और एक क्लस्टर लगभग समानार्थी हैं। उनके बीच के अंतर प्रकृति में वाक्यात्मक हैं।
• टपल एक नामित क्लस्टर है। यही है, एक स्रोत अभिव्यक्तियों का एक सेट एक नाम के साथ संपन्न होता है, जिसके कारण इसे विभिन्न डिज़ाइनों में बार-बार लागू किया जा सकता है। स्वाभाविक रूप से, ट्यूपल्स पुनरावृत्ति की अनुमति देते हैं - अर्थात, एक प्रतीक या दूसरा टपल एक प्रतीक हो सकता है या एक ट्यूपल का दूसरा उप-तत्व हो सकता है
• संदर्भ - शर्तों का एक सेट जो एक पाठ को लागू करने के लिए एक विशेष नियम के लिए संतुष्ट होना चाहिए। हमने अभी तक इस अवधारणा को लागू नहीं किया है, लेकिन हम कल्पना करते हैं कि यह कैसे काम करना चाहिए, इसलिए, हम जल्द ही इसे करेंगे।

सामान्य तौर पर, टेक्स्ट प्रोसेसिंग प्रक्रिया में निम्नलिखित चरण होते हैं:

• एक नियम सेट को पार्स करना
• नियमों के इस सेट द्वारा संसाधित किए जाने वाले प्रत्येक पाठ के लिए:
  
  • टेक्स्ट को स्ट्रिंग के स्ट्रिंग में परिवर्तित करना: टेक्स्ट के सभी अक्षर लोअरकेस में बदल दिए जाते हैं और टेक्स्ट को टोकन (शब्द और विभाजक) में विभाजित किया जाता है, प्रत्येक टोकन को एक सामान्य पूल (हैश टेबल) में डंप किया जाता है, और संसाधित होने वाले टेक्स्ट को पूर्णांक पहचानकर्ताओं की श्रृंखला में बदल दिया जाता है, जिसके साथ हम काम करेंगे।
    महत्वपूर्ण: प्रसंस्करण नियम "पचाने" की एक समान प्रक्रिया से गुजरते हैं जिसके परिणामस्वरूप पूर्णांक तुलना द्वारा टोकन के एक साधारण संयोग की पहचान की जाएगी।
  • पाठ अनुक्रमण अनुक्रमण का विवरण नीचे वर्णित किया जाएगा।
  • प्रत्येक नियम बदले में पाठ की परिणामी छवि पर लागू होता है। यदि नियम लागू करने के परिणामस्वरूप पाठ को रूपांतरित किया गया था, तो छवि को पाठ में और फिर से एक डिजिटल श्रृंखला में बदल दिया जाता है। प्रदर्शन के संदर्भ में इस तरह के सोमरस बेकार लग सकते हैं, हालाँकि, (अब तक) रूपांतरण की अपूर्णता के कारण (विशेष रूप से, वर्णों के मामले की जगह के संचालन के कारण) की आवश्यकता है, साथ ही पाठ को अनुक्रमित करने की आवश्यकता के कारण।
    यदि नियम सिग्नल ऑपरेशन को निर्धारित करता है, तो कॉलबैक फ़ंक्शन को परिणामी सिग्नल ऑब्जेक्ट के साथ कहा जाता है।
  • अंतिम नियम को संसाधित करने के बाद, अंतिम पाठ एकत्र किया जाता है और कॉलिंग मॉड्यूल के विवेक पर उपयोग किया जाता है (जर्नल में सबसे सरल प्रदर्शित किया जाता है, लेकिन अधिक बार यह मूल पाठ को बदल देता है)

टोकन में पाठ विभाजन की विशेषताएं

जब मूल पाठ को लेक्समेस में विभाजित करते हैं, तो रिक्त स्थान और अन्य सीमांककों द्वारा स्पष्ट पृथक्करण के अलावा, एक अंतर्निहित अलगाव होता है। अब इसे डिजिटल और गैर-डिजिटल पात्रों के बीच लागू किया गया है।
मैं आपको एक उदाहरण देता हूं: पाठ "मॉडल 900-एक उत्पाद" को निम्नलिखित टोकन में विभाजित किया जाएगा: "मॉडल", "900", "-", "ए", "", "उत्पाद"।

भाषा

अब आप भाषा का वर्णन करना शुरू कर सकते हैं। विवरण सख्त नहीं है, मैं उदाहरणों पर अधिक ध्यान केंद्रित करूंगा। अब यह तकनीक यूनिवर्स-एचटीटी सर्वर पर काम करती है, हर रात नियमों के एक अद्यतन सेट पर 1.3 मिलियन से अधिक वस्तुओं का प्रसंस्करण करती है। निराधार न होने के लिए, मैं इस सेट से उदाहरणों का हवाला दूंगा।

और ऐसा है।

सामान्य नियम

वर्णन भाषा का मुख्य भाग वास्तव में शब्दांश हैं; इसलिए, लगभग सभी वर्ण (स्थान, टैब और विशेष रूप से अक्षर और संख्या) महत्वपूर्ण हैं। पंक्ति का अंत नियम का अंत (या क्लस्टर का हिस्सा) है। कोई लाइन ब्रेक नहीं है (सी मैक्रोज़ में '\' के समान)।
लाइनों के केवल अनुगामी और अग्रणी स्थान महत्वपूर्ण नहीं हैं।
सेवा संरचनाओं का मुख्य उपसर्ग% है। प्रतिशत प्रतीक के शाब्दिक प्रतिनिधित्व के लिए, %% डबल का उपयोग किया जाता है।

टिप्पणियाँ

वर्ण% - उनके बाद तक पंक्ति के अंत तक टिप्पणियों के रूप में नजरअंदाज कर दिया जाता है।

स्रोत अभिव्यक्ति

मूल अभिव्यक्ति का प्रतिनिधित्व करने के लिए, आधिकारिक निर्माण का उपयोग करके शाब्दिक टोकन का उपयोग किया जाता है:

• % s एक या अधिक स्थान या टैब वर्ण
• % z शून्य या अधिक स्थान या टैब वर्ण
• % _ स्पष्ट स्थान। इसका उपयोग एक पंक्ति के अंत में किया जा सकता है (क्योंकि रेखा के अनुगामी स्थान को अनदेखा किया जाता है)
• % ट टैब
• %। वैकल्पिक बिंदु। संक्षिप्त विवरण बिंदी के साथ या उसके बिना लिखे जा सकते हैं। अनावश्यक नियमों का उत्पादन न करने के लिए, इस तरह के एक मेटाचैकर को जोड़ा गया है।
• % - वैकल्पिक हाइफ़न। विवादास्पद मेटाचैकर। एक ही चीज़ के साथ और एक हाइफ़न के बिना लिखने में लगातार अंतर के कारण परिचय हुआ, लेकिन स्वयं के द्वारा यह खराब तरीके से काम करता है। ऐसा क्यों है: मान लें कि हमें "चुप-चुप" और "चुप-चुप" को एकीकृत करने की आवश्यकता है। "चुप% -चिप्स" का निर्माण केवल "चुप-चुप" को मान्यता देता है, लेकिन "चुप्पअप" पहले से ही एक एकल टोकन है जिसे मान्यता नहीं दी जाएगी, "चुप chups" में एक अंतर है जिसे हमने ध्यान में नहीं लिया है। इस प्रकार, हमारी समस्या को हल करने के लिए, हमें "चुप% z% -% zchups" लिखना होगा - सहमति का पूरा विचार बेकार चला गया। हालांकि, कई बार वैकल्पिक हाइफ़न अच्छी तरह से काम करता है। यह डिजिटल और अल्फाबेटिक टोकन का डॉकिंग है।
• % ^ पाठ की शुरुआत। महत्वपूर्ण: एक पंक्ति नहीं, बल्कि केवल संपूर्ण पाठ।
• पाठ का% $ अंत।
• % w कोई एकल टोकन।
• % d किसी भी लम्बाई का एक डिजिटल टोकन। यह दशमलव अंकों के निरंतर अनुक्रम को संदर्भित करता है।
• % D [0-9] [0-9] दी गई लंबाई का डिजिटल टोकन। लंबाई दो अंकों में कड़ाई से सेट है। उदाहरण के लिए: "% D08" - एक दूसरे के पीछे आठ दशमलव अंक।
• वैकल्पिक f बिंदु के साथ% f एक संख्या। यही है, दशमलव अंकों के दोनों ठोस क्रम और इस तरह के एक बिंदु द्वारा अलग किए गए दो ऐसे क्रम। अग्रणी ऋण नहीं माना जाता है। यदि बिंदु के बाद कोई डिजिटल प्रतीक नहीं हैं, तो केवल संख्या तक बिंदु (इसके बिना) को ध्यान में रखा जाता है।
  उदाहरण:
  "100" - "100"
  "3.1415926" - "3.1415926"
  "-3.R" - "3"
  "2। 5 "-" 2 "
• % (और%) क्रमशः समूह के आरंभ और अंत को निर्दिष्ट करते हैं। वाक्य रचना का उपयोग करने के मामले में सबसे अप्रिय।
  मैं उपयोग का एक उदाहरण दूंगा:
  "% (% d%),% (% d%)%>% 1.% 2" - एक नियम जो दो डिजिटल अनुक्रमों को एक दशमलव बिंदु के साथ एक संख्या में अल्पविराम द्वारा अलग कर देता है। जब मैंने% (%) जोड़ी की अप्रियता के बारे में बात की, तो मेरे मन में था कि नियम की पठनीयता, यह जोड़ी बहुत ही खराब हो जाती है। काश, बस कोष्ठक का उपयोग नहीं किया जा सकता (PMSM) इस तथ्य के कारण कि वे अक्सर लाइव ग्रंथों में पाए जाते हैं।
• % * एक मनमाना, लेकिन खाली नहीं, टोकन का क्रम। पाठ में अभिव्यक्तियों को पुन: व्यवस्थित करने के लिए एक बहुत ही उपयोगी मेटाचैकर और संदर्भों के उपशामक के रूप में जो अभी तक लागू नहीं किया गया है।
  उदाहरण:
  "डाई% (% *%) बालों के लिए> हेयर डाई% 1" - हम बालों के रंगों के वर्गीकरण के नामों को एकीकृत करते हैं।
  "बैग% (% *%) एल्क%> बैग% 1 एल्के प्लास्टिक" - एल्क प्लास्टिक के लिए एल्क छोटा है, लेकिन हर जगह नहीं। पैकेज (बैग) के संदर्भ में - हां।
• % @ कोर्टेगेनमे। कॉर्टेजेनेम (डॉट के बाद "कॉर्टेजेनम" नामक एक टपल के लिए एक कॉल महत्वपूर्ण है - यह ट्यूपल प्रतीक को बाद के पाठ से अलग करता है)। टुपल्स के उपयोग के उदाहरण नीचे दिए गए हैं।
• % | विकल्प। उनमें से प्रत्येक के लिए एक ही ऑपरेटर को लागू करने के लिए मूल अभिव्यक्ति के दो वेरिएंट को अलग करता है।
  उदाहरण:
  गिफ्ट बैग% <गिफ्ट बैग% | gft bg% | gft bgs% | gft / bg - "गिफ्ट बैग्स", "gft bg", "gft bgs", "gft / bg" को इस गिफ्ट बैग के साथ बदल दिया जाएगा।
  के लिए सिमुलेशन% <मॉडल% के लिए।% | मॉडल% के लिए। - संक्षिप्त "सिमुलेटर के लिए" और "सिमुलेटर के लिए" (वैकल्पिक बिंदुओं के साथ) पूर्ण संस्करण के लिए "मॉडलिंग के लिए" विस्तारित किया जाएगा।

लक्ष्य अभिव्यक्ति

जैसा कि पहले ही उल्लेख किया गया है, लक्ष्य अभिव्यक्ति का उपयोग या तो मूल अभिव्यक्ति को बदलने के लिए किया जाता है, या मूल अभिव्यक्ति की घटना को इंगित करने के लिए।
मूल की तरह लक्ष्य अभिव्यक्ति में टोकन और आधिकारिक निर्माण शामिल हैं। यहाँ मेटाचैटर्स का वर्गीकरण खराब है:

• % [1-9] - प्रतिस्थापन के लिए मूल अभिव्यक्ति में समूह की अनुक्रम संख्या का संदर्भ।
  एक उदाहरण:
  "Mr%।% S% (% w%)%> mr।% 1" - "mr।" और अंतिम नाम के बीच के संयोजन में रिक्त स्थान निकालें और "mr" (यदि ऐसा नहीं है) के बाद एक डॉट जोड़ें।
• % _ - बस एक स्पष्ट स्थान है।
• % ई - एक खाली स्ट्रिंग। इस तथ्य के कारण कि नियम सिंटैक्स लक्ष्य अभिव्यक्ति की लंघन की अनुमति नहीं देता है, जहां यह प्रदान किया जाता है, यह मेटाचैकर बचाता है, यदि आवश्यक हो, तो पाया गया स्रोत अभिव्यक्ति।
  एक उदाहरण:
  "% ^ _%>% E" - पाठ में अग्रणी स्थान हटा दें।

ऑपरेटरों

उपरोक्त उदाहरणों में, मैंने पहले ही%> (TO) और% <(FROM) प्रतिस्थापन ऑपरेटरों के उपयोग का प्रदर्शन किया है।
यहां मैं सभी संभावित ऑपरेटरों को सूचीबद्ध करूंगा और आवश्यक स्पष्टीकरण दूंगा:

• %> रूपांतरण ऑपरेटर "B" ("TO")। यह बाईं अभिव्यक्ति (जिसे स्रोत के रूप में व्याख्या की गई है) को दाईं ओर (लक्ष्य) में परिवर्तित करने का निर्देश देता है।
  एक उदाहरण:
  "% (% d%)% zcm3%>% 1ml" - माप की इकाई "cc cm" को "ml" से बदलें।
• % <दर्पण "से" रूपांतरण ऑपरेटर "FROM" करने के लिए। बाएं (लक्ष्य) के साथ सही अभिव्यक्ति (स्रोत के रूप में व्याख्या की गई) को बदलने के लिए निर्धारित करता है।
  एक उदाहरण:
  "20% <20 वें" हम अंतरिक्ष को हटाते हुए अंग्रेजी में 20 वीं के लेखन को एकीकृत करते हैं।
• स्रोत अभिव्यक्ति के सभी अक्षरों को अपरकेस में परिवर्तित करने वाला एक ऑपरेटर।
• स्रोत अभिव्यक्ति के सभी अक्षरों को कम करने के लिए परिवर्तित करने वाला एक ऑपरेटर।
• % K मूल अभिव्यक्ति के सभी अक्षर टोकन को इस तरह से परिवर्तित करने का संचालक है कि शब्द का पहला अक्षर अपरकेस और बाकी लोअरकेस (राजधानी) बन जाता है।
• %! सिग्नल ऑपरेटर। यह लक्षित अभिव्यक्ति के साथ संकेत देने का निर्देश देता है कि किसी दिए गए स्रोत का सामना किया गया है।
  एक उदाहरण:
  "डेल मोंटे%! ब्रांड = डेल मोंटे" - यदि संयोजन "डेल मोंटे" पाठ में पाया जाता है, तो कॉलिंग मॉड्यूल को फॉर्म "ब्रांड = डेल मोंटे" का संकेत प्राप्त होगा (जैसा कि पैपिरस प्रणाली पर लागू होता है, इसका मतलब यह होगा कि विशेषता " ट्रेडमार्क "डेल मोंटे" नाम के अर्थ के साथ)।
  नीचे मैं संकेतों का उपयोग करने का अधिक जटिल उदाहरण दूंगा।
• % = टपल नामकरण संचालक। आमतौर पर बाद के उपयोग के लिए इसे नाम देने के लिए एक क्लस्टर का अनुसरण करता है।
  मैं नीचे दिए गए समूहों पर चर्चा करूंगा, यहां मैं केवल एक सरल उदाहरण प्रस्तुत करना चाहता हूं:
  

  %{ l'oreal garnier revlon %}%=brandbeauty 

समूहों

नियमों को सरल बनाने के लिए समूहों की आवश्यकता होती है।
क्लस्टर को मेटाट्रेक्टर% {और%} के साथ पंक्तियों की शुरुआत में जोड़ दिया जाता है, और क्लस्टर सामग्री को इन दोनों के बीच की रेखाओं में रखा जाता है।
क्लस्टर का निर्धारण करने के बाद, ऑपरेटर को पालन करना चाहिए।
गुच्छेदार केस-परिवर्तन कथन का एक उदाहरण:

 %{ edt edp edc bic lg cd usa e%_ qvs vs vsop xo       %}%A 

tuples

मैं पहले से ही कुछ विस्तार से टुपल्स के माध्यम से चला गया। यहाँ एक tuple की परिभाषा और उपयोग का उदाहरण दिया गया है:

 %{ %dml %dl %d %d %}%=volume PET %1%<pet%z%(%@volume.%)%|(pet%.)%.%z%(%@volume.%)%|pet%.%z%(%@volume.%)%|(pet)%.%z%(%@volume.%) 

इस उदाहरण में, बोतल की क्षमता का निर्धारण करने से पहले एक प्लास्टिक कंटेनर के पदनाम को एकीकृत किया जाता है। संख्यात्मक मान के साथ क्षमता के माप की सभी संभावित इकाइयों को सूचीबद्ध नहीं करने के लिए, हमने उन्हें नाम मात्रा के साथ एक टपल में जोड़ा। मैं ध्यान देता हूं कि हम केवल प्रतिस्थापन नियम नहीं बना सकते हैं "PET% <pet% | (pet%।)% | Pet%।% (Pet)%।" चूंकि मूल भाव कंटेनर क्षमता के संदर्भ में पूरी तरह से अलग अर्थ हो सकते हैं।

वादा किया गया परिष्कृत सिग्नल उपयोग उदाहरण

अपने कॉर्पोरेट सिस्टम से ऑटोमोबाइल टायर बेचने वाला एक उद्यम अपने ऑनलाइन स्टोर के नाम पर शेष राशि और कीमतों के साथ निर्यात करता है। उनके कार्यालय में, हर कोई सामान के नाम और अन्य वर्गीकरण से संतुष्ट है। उसी समय, इंटरनेट साइट पर, एक संभावित ग्राहक को आकार, समूह, ब्रांड द्वारा टायर चुनने में सक्षम होना चाहिए।
निम्नलिखित उदाहरण टायर के आकार के लिए संख्यात्मक मापदंडों के बाद की व्यवस्था के साथ ऑनलाइन स्टोर का प्रबंधन करने वाले सर्वर पर कार्यालय प्रणाली से आए सामानों के नाम को सुधारने की प्रक्रिया को प्रदर्शित करता है। मैं एक आरक्षण करूंगा कि उदाहरण, भले ही वास्तविक हो, लेकिन कम हो - केवल "w / h Rd" प्रारूप में नाम में निहित आकार को यहां औपचारिक रूप दिया गया है।

 %{    %}%=tiretitle %(%@tiretitle.%) %(%f/%d%)x%(%f%)%>%1 %2 R%3 %(%@tiretitle.%) %(%f%)x%(%f%)%>%1 %2 R%3 %(%@tiretitle.%) %(%f/%d%)%(R%f%)%>%1 %2 %3 %(%@tiretitle.%) %(%f/%d%)%(R%f%)%>%1 %2 %3 %(%@tiretitle.%) %(%f%)%(R%f%)%>%1 %2 %3 %(%@tiretitle.%) %(%f%)%(R%f%)%>%1 %2 %3 %(%@tiretitle.%) %(%f/%d R%f%) %>%1 %2c %(%@tiretitle.%) %(%f/%d R%f%) c%>%1 %2c %(%@tiretitle.%) %(%f R%f%) %>%1 %2c %(%@tiretitle.%) %(%f R%f%) c%>%1 %2c %@tiretitle. %(%d%)/%(%d%)%sr%(%f%)%!class=tire; gcdimx=%1; gcdimz=%2; gcdimy=%3 

शुरुआत में, एक ट्यूपल को परिभाषित किया गया है जो आपको डेटाबेस में संग्रहीत अन्य सामानों से टायर को भेद करने की अनुमति देता है।
निम्नलिखित लाइनें हैं जो (आंशिक रूप से) समान रूप से नामों को प्रारूपित करती हैं। अंत में, अंतिम सिग्नल निर्देश, किसी दिए गए प्रारूप, वर्ग और संख्यात्मक क्लासिफायर के तहत आने वाले सामानों के लिए सेट करने के लिए सिस्टम को निर्देश देता है।

उत्पादकता

बड़ी संख्या में उन टेक्स्ट ऑब्जेक्ट्स को संसाधित किया जाना है और इनमें से प्रत्येक ऑब्जेक्ट (हजारों और दसियों हजारों) पर लागू होने वाले नियमों की एक बड़ी संख्या को देखते हुए, प्रश्न में प्रोसेसिंग में शामिल एल्गोरिदम के प्रदर्शन का सवाल बेकार नहीं है।

हमने निष्पादन की गति को अनुकूलित करने के लिए क्या किया है

• सबसे पहले, जैसा कि ऊपर उल्लेख किया गया है, तुलना प्रक्रिया टोकन के पूर्णांक पहचानकर्ताओं के स्तर पर की जाती है। अपने आप में, यह पाठ के प्रतीकात्मक लंबाई और नियमों को टोकनों की श्रृंखला को निर्धारित करने की शर्तों से अपने आयाम का अनुवाद करके कार्य को बहुत सुविधाजनक बनाता है।
• पाठ के साथ नियम के स्रोत अभिव्यक्ति के मिलान की पुनरावृत्ति के निरंतर निष्पादन समय को कम करने के लिए, मुझे मेमोरी आवंटन और मुक्त संचालन से छुटकारा (जहां तक ​​संभव हो) प्राप्त करना था। एक बार आवंटित किए गए सभी बफ़र्स, बाद के पुनरावृत्तियों पर पुन: उपयोग किए जाते हैं।
• अंत में, सबसे महत्वपूर्ण त्वरण (कार्य के आयाम को कम करना) को संसाधित करने के लिए पाठ को अनुक्रमित करके हासिल किया जाता है। इंडेक्सेशन, सामान्य तौर पर, कोई नई बात नहीं है: इंडेक्स को टेक्स्ट में शामिल प्रत्येक टोकन के लिए संकलित किया जाता है और इसकी तुलना टेक्स्ट में स्थिति संख्याओं के साथ होती है जहां यह होता है। चूंकि हम मेटाचैकर्स द्वारा परिभाषित सामान्यीकृत वर्गों का उपयोग करते हैं, इसलिए पाठ में उनमें से कई की घटनाओं को भी अनुक्रमित किया जाता है (99 संभावित लंबाई में से प्रत्येक के डिजिटल अनुक्रम तक)।
  जाहिर है, पाठ में टोकन की अनुपस्थिति के तथ्य को जल्दी से पहचानने या पाठ में वांछित स्थिति में जल्दी से स्विच करने से यहां त्वरण प्राप्त किया जाता है।
  हमने परिणामी एल्गोरिथ्म की जटिलता के एक सैद्धांतिक अनुमान को प्राप्त नहीं किया, लेकिन परीक्षण पर पूर्ण क्रम, 4E9 से अधिक मिलान आपरेशनों का प्रदर्शन करते हुए, एक तिहाई द्वारा सुधार किया गया।
  मैं स्वीकार करता हूं, मुझे याद नहीं है कि इसे क्या कहा जाता है, लेकिन समान अनुक्रमण के साथ पाठ के साथ कई नमूनों की सरल तुलना के लिए एक शास्त्रीय एल्गोरिथ्म है।

सामान्य तौर पर, यूनिवर्स-एचटीटी उत्पाद निर्देशिका के पहले उल्लिखित प्रसंस्करण, जिसमें कई हजार नियमों के एक सेट में 1300000 से अधिक आइटम शामिल हैं, साढ़े 3 घंटे है। अगर कोई इसकी तुलना करने के लिए कह सकता है - मैं आभारी रहूंगा।

आगे क्या है?

वह सब जो मैं नहीं भूली, उसने बताया। यह क्या गायब है के बारे में जनता को सूचित करने के लिए रहता है।
कई महत्वपूर्ण स्पर्श हैं जिन्हें वर्णित तकनीक में जोड़ा जाना चाहिए:

• प्रसंग (मैंने उनके बारे में थोड़ा और अधिक लिखा है)। सामान्य शब्दों में, विचार अभिव्यक्ति के एक सेट को निर्दिष्ट करना है जो पाठ में दिखाई देना चाहिए ताकि कुछ नियम लागू किए जा सकें।
• स्टेमिंग। भाषा में एक निर्माण शुरू करना आवश्यक है जो टोकन को खाते में लेने की तुलना में लेने की अनुमति देगा।
• फाइलों को शामिल करने के निर्देश को शामिल करें, उदाहरण के लिए, तैयार किए गए ट्यूपल्स (शहरों, ब्रांडों, आदि की सूची) के साथ।
• सरलीकृत वाक्यविन्यास निर्देश। प्रतिशत प्रतीक बहुत कठिन दिखते हैं - कुछ मामलों में, आप सरलीकृत वाक्यविन्यास को चालू कर सकते हैं और केवल प्रतीकों का उपयोग कर सकते हैं () {} <>! आधिकारिक तौर पर। यदि भ्रम की स्थिति है, तो सरलीकृत सिंटैक्स को अक्षम करें।