प्राकृतिक भाषा पर प्रकाश डाला

दिसंबर 2013 में अमेरिकी कांग्रेस द्वारा माने जाने वाले विदेशी 416D6572696363643616E20436F646520 के साथ कंप्यूटर भाषाओं को समान करने के बिल के संबंध में इस तरह का हाइलाइटिंग का विचार मेरे पास आया। प्रोग्राम बनाते समय वाक्य रचना हाइलाइट का उपयोग लंबे समय से प्रचलन में है, लेकिन इस सामग्री के लेखन के समय प्राकृतिक भाषाओं को उजागर करने का मुद्दा कुछ हद तक सीमित था। अंग्रेजी बोलने वाले मंच। फिर भी, यदि आप कुछ शब्दों को स्वचालित रूप से उजागर करके पाठ की दृश्य धारणा को सुविधाजनक बना सकते हैं, तो प्रयास क्यों न करें।

कंप्यूटर की भाषा बिना शर्त के सख्त होती है, निर्माण आमतौर पर किए गए फ़ंक्शन (ऑपरेटर, संख्या, स्ट्रिंग, आदि) के अनुसार हाइलाइट किया जाता है और पहला विचार जो मन में आता है वह प्राकृतिक ग्रंथों (विषय, विधेय आदि) के समान हाइलाइटिंग है। एक उदाहरण के रूप में, एफ। एम। दोस्तोवस्की द्वारा "फैंटास्टिक स्टोरी" की शुरुआत पर विचार करें, हरे रंग में सभी विषयों का चयन करें, और नीले रंग में भविष्यवाणी करें:



इस तरह के मार्कअप को पाठ के बजाय जटिल विश्लेषण की आवश्यकता होती है, लेकिन मेरी राय में हाइलाइटिंग जटिल नहीं होनी चाहिए (हाइलाइटिंग एल्गोरिदम की गति लगभग पृष्ठ लोडिंग गति के समान होनी चाहिए) ताकि इसे आराम से उपयोग किया जा सके। मैंने एक सरल संस्करण पर रहने का फैसला किया, अर्थात्, आवृत्ति को उजागर करने पर, इस विचार के आधार पर कि एक शब्द को जितनी बार दोहराया जाता है, उतना ही कम समझ में आता है। कड़ाई से बोलते हुए, यह निश्चित रूप से सच नहीं है, लेकिन अगर आप पहले से ही Dostoevsky के संकेतित मार्ग को चिह्नित करते हैं, तो उन शब्दों को बोल्ड में चिह्नित करना जो कहानी में आगे उपयोग नहीं किए जाते हैं, आपको निम्नलिखित मिलते हैं:



चूँकि शब्दों का चयन पाठ की धारणा को बहुत प्रभावित करता है, इसलिए आपके स्वयं के समाधान या समाधान के लिए उपयोगी है, जिसका एल्गोरिथ्म खुला है। इस कारण से, शेष लेख क्रोम के लिए इस तरह के विस्तार के विकास के लिए समर्पित है।

इसके साथ शुरू करने के लिए, हम एक फ़ंक्शन लिखते हैं, जो एक दिए गए नियमित अभिव्यक्ति के अनुसार, शब्द आवृत्ति शब्द को अपडेट करता है:

function collect(text, frequences, pattern) { var words = text.split(/\s+/); //    for (var j = 0; j < words.length; j++) { //            var current = words[j].toLowerCase().replace(pattern,''); //      if (!current || current.length < MIN_LENGTH) continue; //       --  ,   --   if (!frequences[current]) frequences[current] = 1; else frequences[current] += 1; } } 

DOM से शब्दों के उपयोग पर आँकड़े इकट्ठा करें:

 var pattern = /[^-]/g var freq = {} function stat(element) { if (/(script|style)/i.test(element.tagName)) return; //       if (element.nodeType === Node.ELEMENT_NODE && element.childNodes.length > 0) for (var i = 0; i < element.childNodes.length; i++) stat(element.childNodes[i]); //      collect if (element.nodeType === Node.TEXT_NODE && (/\S/.test(element.nodeValue))) { collect(element.nodeValue, freq, pattern); } } stat(window.document.getElementsByTagName('html')[0]); 

फिर, हम उन आंकड़ों से बाहर निकालते हैं, जो हमारे लिए आवश्यक से अधिक सामान्य हैं:

 function remove(o, max) { var n = {}; for (var key in o) if (o[key] <= max) n[key] = o[key]; return n; } freq = remove(freq, maxFreq); 

और अंत में, हम हमारे लिए दिलचस्प शब्दों की सभी घटनाओं को उजागर करते हैं:

 function markup(element, pattern) { if (/(script|style)/i.test(element.tagName)) return; //         if (element.nodeType === Node.ELEMENT_NODE && element.childNodes.length > 0) { //   ,    -,     ,   var freq = {}; for (var i = 0; i < element.childNodes.length; i++) if (element.childNodes[i].nodeType === Node.TEXT_NODE && (/\S/.test(element.childNodes[i].nodeValue))) collect(element.childNodes[i].nodeValue, freq, pattern); if (freq && freq.length !== 0) { var efreq = []; var total = 0; //    ,      //      [, ]  ,        //    ,        for (var key in freq) if (freqRus[key]) efreq.push([key, freq[key]]); efreq.sort(function(a, b) {return a[0].length - b[0].length}); //       ,    -, //           var max = element.childNodes.length*efreq.length*2; for (var i = 0; i < element.childNodes.length; i++) { if (total++ > max) break; if (element.childNodes[i].nodeType === Node.TEXT_NODE) { var minPos = -1, minJ = -1; //              for (var j in efreq) { key = efreq[j][0]; var pos = element.childNodes[i].nodeValue.toLowerCase().indexOf(key); if (pos >= 0 && (minJ === -1 || minPos>pos)) { minPos = pos; minJ = j; } } //     --   if (minPos !== -1) { key = efreq[minJ][0]; val = efreq[minJ][1]; //     ,   ,      "strong" var spannode = window.document.createElement('strong'); var middle = element.childNodes[i].splitText(minPos); var endbit = middle.splitText(key.length); var middleclone = middle.cloneNode(true); spannode.appendChild(middleclone); element.replaceChild(spannode, middle); } } } } } } } markup(window.document.getElementsByTagName('html')[0], pattern); 

निष्कर्ष

शब्द रूपों को ध्यान में रखना अच्छा होगा और इतिहास को संचित करना संभव है (यानी, एक पृष्ठ के भीतर काम करने के लिए नहीं, बल्कि सब कुछ एक साथ एकत्रित करके एक आवृत्ति शब्दकोश बनाने के लिए)। इसके अलावा, शब्दकोश को प्रभावित करने में सक्षम होना अच्छा होगा (कुछ शब्दों को ठीक करें, और कभी भी शामिल न करें)।

पूरा उदाहरण जीथब के साथ लिया जा सकता है:
github.com/parsifal-47/nalacol

या तुरंत क्रोम के लिए एक आवेदन के रूप में:
chrome.google.com/webstore/detail/natural-language-colorer/jjcldlhpnolppcclcgdbblbilmealfjd

मुझे खुशी होगी अगर यह लेख पाठकों को प्राकृतिक भाषा में ग्रंथों को उजागर करने के लिए कुछ दिलचस्प एल्गोरिदम बनाने के लिए प्रेरित करता है।