FAST पर डॉक्यूमेंट प्रोसेसिंग सेट करना

सिस्टम में एक तृतीय-पक्ष खोज इंजन को एकीकृत करते समय कार्यों में से एक प्रसंस्करण स्रोत दस्तावेजों की प्रक्रिया को कॉन्फ़िगर करना है (मोटे तौर पर बोलना, अनुक्रमित करना)। ऐसी प्रक्रिया को स्थापित करने की जटिलता खोज प्रणाली की कार्यात्मक आवश्यकताओं और खोज इंजन की क्षमताओं पर निर्भर करती है। खोज इंजन के व्यवस्थापक पैनल में क्लिकों के सिर्फ़ एक जोड़े तक सीमित हो सकते हैं, या अपनी स्वयं की प्रक्रियाओं, लिपियों आदि को लिखने में परिणाम कर सकते हैं। अगर हम सिस्टम की मानक क्षमताओं पर भरोसा करने के आदी हैं (विशेषकर यदि इसका कोड संशोधित नहीं किया जा सकता है), तो हमारी अपनी स्क्रिप्ट के लिए मैं ऐसे परीक्षण करना चाहूंगा जिनका कार्यान्वयन हमेशा इंजन द्वारा प्रदान नहीं किया जाता है।

हमें एमएस फास्ट ईएसपी 5.3 प्लेटफॉर्म पर एक खोज को लागू करने की आवश्यकता का सामना करना पड़ा। इस गंभीर इंजन में दस्तावेज़ प्रसंस्करण को अनुकूलित करने की प्रभावशाली क्षमताएं हैं, जिनमें से कुछ को हमने अपनी परियोजना में छुआ है। सामान्य तौर पर, हम इस इंजन पर कस्टम चरणों के परीक्षण के अपने तरीके को साझा करना चाहते हैं।

प्रलेखन चरणों के निर्माण की प्रक्रिया को काफी अच्छी तरह से वर्णन करता है। हम इसे दोबारा नहीं लिखेंगे, हम केवल पूर्वगामी को समझने के लिए आवश्यक जानकारी तक ही सीमित रखेंगे।
फास्ट ईएसपी शब्दावली में, किसी एकल दस्तावेज़ को अनुक्रमित करते समय होने वाली क्रियाओं का संपूर्ण अनुक्रम पाइपलाइन कहा जाता है, और व्यक्तिगत क्रियाओं को स्टेज कहा जाता है। चरण एक विशिष्ट संदर्भ में शुरू होता है जिसके साथ यह बातचीत कर सकता है, जिनमें से एक तत्व एक दस्तावेज है। उदाहरण के लिए, मंच संसाधित दस्तावेज की विशेषताओं को पढ़ और लिख सकता है। योजनाबद्ध रूप से, प्रसंस्करण दस्तावेजों की पूरी प्रक्रिया इस तरह दिखाई देती है:



चरण को दो फ़ाइलों के रूप में प्रस्तुत किया गया है - एक्सएमएल विनिर्देश और कार्यान्वयन (फास्ट ईएसपी 5.3 में, कार्यान्वयन पायथन v.2.3 भाषा के उपयोग के लिए प्रदान करता है)।

नीचे एक मंच का एक उदाहरण है जो हॉटन्यू डॉक्यूमेंट की विशेषता सच होने पर गुणवत्ता के क्षेत्र में 500 लिखता है।

 <प्रोसेसर>
  <प्रोसेसर>
   <लोड मॉड्यूल = "प्रोसेसर। साइटऑनक्वल" वर्ग = "सेटऑनक्वाल" />
   <desc> उच्च रैंक को दस्तावेजों पर सेट करें, जिसमें HotOrNew = Yes है
   </ वर्णन>
   <कॉन्फिग>
         <param name = "Input" value = "hotornew" type = "str" ​​/>
         <param name = "आउटपुट" मान = "गुणवत्ता" प्रकार = "str" ​​/>
         <param name = "InputFieldValue" value = "true" टाइप = "str" ​​/>
         <param name = "OutputFieldValue" मान = "500" प्रकार = "int" />
        
   </ कॉन्फिग>
   <ऑप्स>
     <जोड़ें />
   </ ऑप्स>
  </ प्रोसेसर>
 </ प्रोसेसर>

(विनिर्देश सीधे परीक्षणों में शामिल नहीं है, चित्र की अखंडता के लिए दिया गया है)

from docproc import Processor, DocumentException, ProcessorStatus class SetOnEqual(Processor.Processor): def ConfigurationChanged(self, attributes): self.input = self.GetParameter('Input') self.output = self.GetParameter('Output') self.inputfieldvalue = self.GetParameter('InputFieldValue') self.outputfieldvalue = self.GetParameter('OutputFieldValue') def Process(self, docid, document): testField = str(document.GetValue(self.input, None)) if testField == str(self.inputfieldvalue): output = int(self.outputfieldvalue) document.Set(self.output,output) else: document.Set(self.output, 0) return ProcessorStatus.OK 

दस्तावेज़ प्रसंस्करण के मूल संदर्भ में बनाए गए चरण के काम को सत्यापित करने के लिए, दस्तावेज़ में इंगित कार्यों का क्रम करना आवश्यक है:
1. विशिष्ट निर्देशिकाओं में विनिर्देश और कार्यान्वयन फाइलें डालें;
2. डॉक्यूमेंट प्रोसेसिंग सर्विस को फिर से शुरू करें - डॉक्यूमेंट प्रॉसेसर (खरीददार। जब यह शुरू होता है, तो यह स्टेज कोड को संकलित करता है);
3. पाइपलाइन में एक नया चरण शामिल करें;
4. परीक्षण दस्तावेज़ को अनुक्रमित करें;
5. दस्तावेज़ को संसाधित करने के परिणाम को देखें (आप इसे एक लॉग फ़ाइल में प्रदर्शित कर सकते हैं, या आप मानक फ्रंटएंड के माध्यम से एक नया दस्तावेज़ "खोज सकते हैं" और दस्तावेज़ की सभी विशेषताओं को देख सकते हैं)।

यदि हमें अपेक्षित परिणाम नहीं मिला (उदाहरण के लिए, दस्तावेज़ में हमने फ़ील्ड को हॉटन्यू = सच निर्धारित किया है, लेकिन गुणवत्ता फ़ील्ड का मूल्य नहीं बदला है), तो हमें डीबगिंग करना होगा, जिसका अर्थ है:
- procserver'a के लॉग में एक त्रुटि के लिए देखो;
- जांचें कि क्या हमारे चरण ने विशेष रूप से परीक्षण चरण के प्रदर्शन से पहले और बाद में स्पाई चरणों को डालकर उनसे पूछा गया था। (जासूस डिस्क पर एक फ़ाइल के लिए अपनी विशेषताओं के साथ दस्तावेज़ डंप डंप करता है);
- मंच कोड में एक त्रुटि के लिए खोजें।

त्रुटि तय होने के बाद, आपको फिर से जांच करने की आवश्यकता है - अर्थात चरण 1, 2, 4, 5 फिर से करें।
यह नीरस है। सामान्य तरीके से, उदाहरण के लिए, यूनिट टेस्ट में "जैसा है" स्टेज कोड डिबग करना अधिक सुविधाजनक है:



इसलिए, संदर्भ को फिर से बनाने के लिए, हमने उन वस्तुओं के साथ आदिम मोचा कक्षाएं बनाईं जिनके साथ मंच काम करता है:

 class Document(object): """ Mock  Document """ def GetValue(self, name, default): return getattr(self, name, default) def Set(self, field, value): setattr(self, field, str(value)) class Processor (object): """ Mock  Processor """ def GetParameter(self, name): return getattr(self, name) def Set(self, field, value): setattr(self, field, str(value)) 

वास्तव में, दस्तावेज़ इकाई अन्य तरीके प्रदान करती है। हमने अपने आप को उन तक सीमित कर लिया, जिनका हम उपयोग करते हैं।
अब आप सर्च इंजन के बिना / डिबग / टेस्ट स्टेज लिख सकते हैं:

 import unittest import docproc.Processor as proclib from docproc import ProcessorStatus import SetOnEqual class testSetOnEqual(unittest.TestCase): def setUp(self): self.stage = SetOnEqual.SetOnEqual() self.stage.Set('Input', 'hot') self.stage.Set('Output', 'quality') self.assertEquals(self.stage.GetParameter('Input'), 'hot') self.assertEquals(self.stage.GetParameter('Output'), 'quality') def test_true(self): self.stage.Set('InputFieldValue', 'true') self.stage.Set('OutputFieldValue', '600') doc = proclib.Document() doc.Set('hot', 'true') self.stage.ConfigurationChanged('') status = self.stage.Process("docid", doc) self.assertEquals(status, ProcessorStatus.OK) self.assertEquals(doc.GetValue('quality', ""), '600') def test_false(self): self.stage.Set('InputFieldValue', 'true') self.stage.Set('OutputFieldValue', '600') doc = proclib.Document() doc.Set('hot', 'no') self.stage.ConfigurationChanged('') status = self.stage.Process("docid", doc) self.assertEquals(status, ProcessorStatus.OK) self.assertEquals(doc.GetValue('quality', ""), '0') def suite(): suite = unittest.TestSuite() suite.addTest(unittest.makeSuite(testSetOnEqual)) return suite if __name__ == "__main__": unittest.main() 

पूरा कोड आर्काइव में है ।

इस दृष्टिकोण ने हमें क्या दिया:
- स्वयं के लिए जीवन का सरलीकरण (बहुत समय बचाता है और यूनिट परीक्षण के अभ्यास से विदा नहीं होने देता है);
- परीक्षक को जीवन का सरलीकरण।

द्वारा पोस्ट किया गया
लिआ शबकयव
लीड डेवलपर
सॉफ्टलाइन विकास विभाग