मध्यस्थों के बिना स्वचालित पाठ विश्लेषण

हाल ही में Habré पर लेखों के स्वचालित सार के बारे में एक लेख था। यह संयोग से ऐसा हुआ कि मैं भी ग्रंथों के स्वत: विश्लेषण में लगा हूं और इसमें कुछ सफलता हासिल की है।

मैं डुप्लिकेट और समान सामग्री ग्रंथों को खोजने के लिए एल्गोरिथ्म प्राप्त करने में कामयाब रहा। यह स्वचालित रूप से कुछ विषयों के लिए पाठ की निकटता को निर्धारित करता है और कुल द्रव्यमान से अर्क उन ग्रंथों को बनाता है जो कुछ मुख्यधारा बनाते हैं। अर्थात्, मुख्य बात को समझने के लिए पाठक को सभी सूचनाओं के माध्यम से झारना नहीं है। विश्लेषण किए गए ग्रंथों की मात्रा में वृद्धि के साथ, सभी निम्न-गुणवत्ता, निर्बाध, अश्लील, अप्रासंगिक, आदि स्वचालित रूप से समाप्त हो जाएंगे।

एल्गोरिथ्म का विचार यह है कि पाठ को जंजीरों में विभाजित किया जाता है, फिर उनका तुलनात्मक विश्लेषण किया जाता है, विशेष मार्करों का चयन किया जाता है, जिसके आधार पर निर्णय किए जाते हैं।

विश्लेषण पूरी तरह से स्वचालित रूप से एक मॉडरेटर और मुख्य संपादक के बिना किया जाता है। इस वजह से, एल्गोरिथ्म को कभी-कभी गलत किया जाता है और पाठ को गलत खंड में रखा जा सकता है, लेकिन इसका कारण यह है कि ग्रंथों का मूल सेट आमतौर पर और भी कम संपूर्णता के साथ समूहीकृत होता है। समय के साथ, एल्गोरिथ्म अधिक से अधिक सटीक हो जाता है, समय के साथ पर्याप्त सांख्यिकीय जानकारी जमा होती है।

वह सब नहीं है। एल्गोरिथ्म हास्य को समझने में सक्षम है। यदि पाठ को सामान्य द्रव्यमान से बाहर खटखटाया जाता है और असमानताओं के साथ चमकता है, तो एल्गोरिथ्म इसे चुनकर "हास्य" के रूप में चिह्नित करेगा। एल्गोरिथ्म में चुटकुले काफी गुणात्मक रूप से पाए जाते हैं, और अगर कुछ मज़ेदार नहीं है, तो यह अधिक संभावना है कि एल्गोरिथ्म बहुत लंबे समय तक काम नहीं करता है, केवल कुछ सप्ताह। यही है, वह अभी तक यह समझने में कामयाब नहीं हुआ है कि कुछ अब मज़ेदार नहीं है।

स्वचालित मोड में भी, आप नए विचार पा सकते हैं। उदाहरण के लिए, कोपेयस्क शहर में, प्रसूति अस्पताल इंटरनेट से जुड़ा हुआ था ताकि पिता खिड़कियों के नीचे खड़े न हों और अपने बच्चों को दूर से देखने के प्रयास में अपनी पत्नियों को चिल्लाएं, लेकिन स्काइप के माध्यम से उसे देखा। याल्टा रिसॉर्ट के निवासियों को सलाह दी जाती है कि वे सीटी पहनें और खुद को गैस कनस्तरों के साथ बांधे, क्योंकि शहर में चोरी और डकैती का मौसम खुला है। लेकिन पोलैंड यूरोपीय संघ के धन के साथ रूस में अपने सेब का विज्ञापन करेगा।

विचार हमेशा दिलचस्प नहीं होते हैं, लेकिन "अनुभव" के संचय के साथ और इसे सही किया जाना चाहिए। जो लोग चाहते हैं वे पहले से ही मांगे जा रहे हैं के बीच एक उपयुक्त विचार पा सकते हैं।

वर्तमान एल्गोरिथ्म और इसके संचालन को nfos.ru वेबसाइट पर देखा जा सकता है। साइट कई स्रोतों से समाचार एकत्र करने, विश्लेषण करने और सब कुछ प्रकाशित करने के लिए प्रतिबद्ध है जिसे वह प्रकाशित करना आवश्यक मानता है। अब मैं डींग मार सकता हूं कि बिना तनाव के मैं सभी मुख्य समाचारों को जानता हूं। जिसकी मैं आपको कामना भी करता हूं।

उदाहरण के लिए, क्या आप पहले से ही जानते हैं कि उन्होंने छापे के संदेह पर नवलनी पर एक मामला शुरू किया था? या आपने सुना है कि पाकिस्तान में रिकॉर्ड संख्या में ओसामा पोर्ट्रेट बेचे गए हैं?

मुझे लगता है कि एल्गोरिथ्म न केवल ग्रंथों के विश्लेषण के लिए, बल्कि छवियों और अन्य असंरचित डेटा या स्पष्ट संरचना के साथ डेटा के विश्लेषण के लिए भी फिट होगा। उदाहरण के लिए, शोर को फ़िल्टर करने के लिए, डिक्रिप्ट करने के लिए, उनके काम के परिणामों के आधार पर एल्गोरिदम का विश्लेषण करना, आदि। आदि एल्गोरिथ्म स्टॉक कोट्स और विनिमय दरों की भविष्यवाणी के लिए संभावित रूप से उपयुक्त है, लेकिन निकट भविष्य में मुझे यह सब करने की संभावना नहीं है, क्योंकि पर्याप्त समय नहीं है।

पूरे विश्लेषण एल्गोरिथ्म PHP कोड के 40 kbytes में फिट है, प्लस एक समाचार संसाधन डिजाइन करने के लिए कोड के बारे में 70 kbytes। सहमत हूं कि जो कार्यक्षमता दिखाई देती है, उसके लिए यह केवल एक छोटा है। लेकिन क्या एल्गोरिथ्म वास्तव में कब्जे वाली जगह के लिए लस है। कई हफ्तों के लिए, डेटाबेस में 1.5 जीबी से अधिक जानकारी जमा हो गई है। और यह मात्रा लगातार बढ़ रही है।

एल्गोरिथ्म व्यावहारिक रूप से विफलताओं के प्रति असंवेदनशील है। यदि किसी समय गलत, गलत, गलत, गलत जानकारी डेटाबेस में मिल जाती है, तो यह या तो आगे के विश्लेषण को प्रभावित नहीं करेगा, या इसका प्रभाव समय के साथ नगण्य हो जाएगा।

अंत में, मैं कहना चाहता हूं कि विश्लेषण के लिए एक शक्तिशाली होस्टिंग की आवश्यकता नहीं थी। लगभग 150 स्रोतों से सभी समाचारों का विश्लेषण एक सस्ते होस्टिंग FirstVDS-त्वरण पर किया जाता है, जिसकी लागत 249r / महीना है। सीपीयू समय, निश्चित रूप से, पर्याप्त नहीं है, लेकिन इसने मुझे एल्गोरिथ्म को अनुकूलित किया, जिसे मैं दृश्यमान नुकसान के बिना करने में कामयाब रहा।