नोट पर टिप्पणी "यूक्रेनी भाषा की आवृत्ति विश्लेषण"

लेख "यूक्रेनी भाषा की आवृत्ति विश्लेषण" पर एक टिप्पणी के रूप में [1], पत्र जोड़े की आवृत्ति पर सरल टिप्पणियों को प्रस्तुत किया जाता है। ग्रंथों के विश्लेषण के लिए विकसित तकनीक को लागू करने का प्रस्ताव है। मुख्य परिकल्पना: कई ज्यामितीय रूप से जुड़े प्रतीक समूह लेखक और अन्य महत्वपूर्ण अभिन्न डेटा के बारे में जानकारी रखते हैं।

विशेष रूप से, यह मुझे लगता है कि देशी वक्ताओं (मंचों, आदि) के अलग-अलग समुदायों से अपेक्षा करना अनुचित लगता है।

प्रेरणा

यूक्रेनी भाषा में आवृत्ति पर एक नोट के लेखक अपनी गणना के लिए प्रेरणा नहीं देता है। ऐसा लगता है कि अक्षरों की आवृत्ति, साथ ही जोड़े, एक भाषा में पत्रों के त्रिगुणों का विश्लेषण, सरल पासवर्ड को डिक्रिप्ट करने के लक्ष्यों और क्रिप्टैनालिसिस के समान कार्यों के द्वारा शुरू किया गया था।

लगभग छह से सात साल पहले, एक दोस्त और मैंने ऐसा ही किया था, लेकिन कम महत्वाकांक्षी गणनाएं। हमारी प्रेरणा शौकिया, आदिम, लेकिन अलग थी। इन गणनाओं, जैसा कि हमने माना था, मशीन के प्रयास का पहला चरण हो सकता है कि वह उस जानकारी के चयन को निर्धारित करे जो किसी पाठ से किसी व्यक्ति के लिए सार्थक है। (बाद में, यह पता चला कि वे, सबसे दिलचस्प भाग में, मूल नहीं हैं [1-3])।



यह माना जाता था कि मशीन "पढ़ने" में सक्षम थी, अक्षरों और विराम चिह्नों के पात्रों को जानती थी, गणनाओं को सक्षम करने में सक्षम थी, आदि। लेकिन वह विशेष रूप से "समग्र रूप से पाठ के बारे में सामान्यीकृत अभिन्न जानकारी प्राप्त करना" नहीं जानता है। अच्छाई और बुराई क्या है, क्या या किस पर चर्चा की जा रही है आदि। तब कार्य पाठ की संरचना का अध्ययन करना और "एल्गोरिदम" का चयन करना होगा जो हमें उस आवृत्ति से सार्थक जानकारी निकालने की अनुमति देगा जो पत्र स्तर पर एम्बेडेड नहीं थी। उदाहरण के लिए, मानवीय दृष्टिकोण से, आइए हम अपने सीखने के अनुभव को बंद करें और उन निरंतर अक्षरों के समूहों के अर्थ को समझने की कोशिश करें जो हमारे लिए स्पष्ट नहीं हैं। उदाहरण के लिए, सभी अक्षर a, b, c, आदि जैसे x, y, z, अल्फा, बीटा और गामा, या, बेहतर, बेबीलोन के वचन। और इसके बाद पूछें कि हम समग्र रूप से पाठ के बारे में क्या कह सकते हैं। यह स्पष्ट नहीं है, लेकिन यह माना जाता है कि लगभग एक ही क्षेत्र में समस्या डीएनए लेने और चार अक्षरों के लंबे अनुक्रम में "अर्थ" खोजने की है।

एक बहुत ही संकीर्ण अर्थ में महत्वपूर्ण जानकारी पाठ की समानता दूसरे के साथ हो सकती है, लेखकीय, पाठ की लय और गति, आदि। इस तरह की आदिम समस्याओं को सुलझाने में हम इतना आगे नहीं बढ़ पाए हैं। कुछ अवलोकन हैं, लेकिन कई और प्रश्न हैं। मैं यह मानना ​​चाहता हूं कि कार्य सार्थक और आंशिक रूप से हल करने योग्य है। हमने साधारण अनुमानों (अंग्रेजी ग्रंथों पर आधारित) के बाद इस तरह की एक आदिम आवृत्ति विश्लेषण किया। सबसे पहले, हमने डी। लन्दन के एपिग्निशन उपन्यास में निर्धारित व्हाइट फांग चरित्र की उपस्थिति के आरेख को देखा। पहले हिस्सों में कुत्ते का नाम पूरी तरह से अनुपस्थित था! और छोटे पैमाने पर, पुस्तक के मुख्य भाग में, शब्दों के घनत्व में उतार-चढ़ाव, ज़ाहिर है, शोर से अभिभूत थे। हालांकि, यह स्पष्ट था कि उपन्यास की शुरुआत में "व्हाइट फैंग" शब्दों की कड़ाई से शून्य आवृत्ति भूखंड के साथ संबंधित थी। एक स्पष्ट भावना थी कि या तो मुख्य चरित्र का जन्म नहीं हुआ था, या उस तरह का नाम नहीं था, या उपन्यास में कई भाग होते हैं (फेंग के बारे में या फेंग के बारे में नहीं)। इस तरह के निष्कर्ष को सख्त कहना असंभव है। फिर भी, यह माना जाता है कि शब्द "व्हाइट फैंग का उल्लेख पहले अध्यायों में नहीं किया गया है ..." पाठ के बारे में मानव प्रतिक्रिया का एक सामान्य हिस्सा होगा। अपूर्ण, आदिम, लेकिन मशीन "विश्लेषण" ने भी मिलीसेकंड लिया और कोई एल्गोरिदम नहीं था। दूसरे, अंतिम हैरी पॉटर पुस्तक में चरित्र के नामों की उपस्थिति के आंकड़ों ने यह भी संकेत दिया कि यह केवल आवृत्ति द्वारा ट्रेस करना बहुत संभव है, जब और जिनके साथ हैरी करीब था (पाठ में ज्यामितीय रूप से, लेकिन यह निकला है कि अर्थ में), जब रॉन और हॉगवर्ट्स ने हैरी से प्लॉट गिरा दिया जब वोल्डेमॉर्ट दिखाई दिया, आदि। यानी "हैरी" शब्द लेने और पृष्ठ पर ज्यामितीय पड़ोस में अन्य पात्रों के घनत्व को देखते हुए, कोई "साजिश रेखा" के बारे में कुछ बहुत अस्पष्ट और अस्पष्ट निष्कर्ष निकाल सकता है।

तकनीकी चुनौती

नायक की पहचान करने में पहला कदम अक्षरों की आवृत्ति का अध्ययन करने के लिए तकनीकों का विकास है। इस पहले कदम पर, हमारी उपलब्धियाँ सामान्य रूप से समाप्त हो गईं। उस समय इंटरनेट की उच्च लागत के कारण, हमने मंचों और मीडिया का गहन विश्लेषण नहीं किया था, लेकिन लियो टॉल्स्टॉय के उपन्यासों से शुरू होकर और डारिया डोनट्सोवा के गुप्तचरों के साथ समाप्त होने पर बस एक लेखक द्वारा पुस्तकों के साथ पाठ फ़ाइलों को ले लिया। कुल में 300Kb से वॉल्यूम की कई सौ किताबें थीं। यह दिलचस्प है कि ग्राफोमनियाक लेखकों में व्यक्तिगत पत्रों की आवृत्ति में उनके कार्यों में स्पष्ट संबंध थे। विशेष रूप से, अक्षरों की वर्णक्रमीय श्रृंखला "विडंबनापूर्ण गुप्तचरों" के विपुल लेखक के लिए संकेत थी।

ग्रंथों की वर्णक्रमीय रचना का परीक्षण जिसमें आसन्न अक्षरों के समूहों का अध्ययन किया जाएगा, अगला कदम था। विशेष रूप से, हमने सबसे सरल ज्यामिति में समस्या की गणना की - निकटतम महत्वपूर्ण पात्रों "आ", "अब", "एवी", ..., "याया" के जोड़े की सामान्यीकृत आवृत्ति। प्रतीक जोड़ों के सबसे आवृत्ति संयोजनों में, पहले 30-60 प्रतिष्ठित थे, जिनकी तुलना विभिन्न ग्रंथों के लिए की गई थी। सापेक्ष संकेतक पर विचार किया गया - जोड़े की कुल आवृत्ति से विभाजित आवृत्ति। पाठ के 300-400 Kb के लिए समस्या में सांख्यिकीय योग काफी बड़ा हो गया। विशेष रूप से, त्रयी "बचपन", "किशोरावस्था", "युवा" की आवृत्ति ली गई, जिसके खिलाफ अन्य कार्यों की आवृत्तियों में उतार-चढ़ाव देखा गया। परिणाम, विशेष रूप से, विभिन्न लेखकों के बीच स्पेक्ट्रम में एक महत्वपूर्ण अंतर, यहां तक ​​कि रूसी साहित्यिक भाषा के संस्थापकों द्वारा मान्यता प्राप्त लोगों के बीच भी।

रूसी भाषा के दृढ़ता से स्थापित "कानूनों" में से एक, जिसके बारे में हम पहले नहीं जानते थे, वह तथ्य यह है कि सभी ग्रंथों में परिमाण के क्रम में पाठ में अल्पविराम की संख्या सबसे अधिक बार सामना किए जाने वाले पत्रों की सबसे अधिक संख्या वाले जोड़े की तुलना में है। यह संभव है कि यह आदिम ज्ञान है, लेकिन हमारे लिए यह कुछ "खोज" था, जिसका महत्व, कम से कम, पर जोर नहीं दिया जाता है।

शेष प्रेक्षण इतने सटीक नहीं थे। विशेष रूप से, एक ही अवधि (जल्दी चेखव, या स्वर्गीय चेखव, जल्दी टॉल्सटॉय या देर से) के अपने कार्यों में अच्छे लेखकों ने भी आंख को पकड़ने वाले वर्णक्रमीय वक्र थे। हालाँकि, ये कॉपीराइट घटता अन्य लेखकों के घटता से अलग थे। जैसा कि आधुनिक लेखकों के लिए, उनके ग्रंथों के लिए घटता का संबंध सभी मजबूत था जितना अधिक इस लेखक को अधिक "जंक" माना जाता था। यह निष्कर्ष कई उदाहरणों के आधार पर बनाया गया था और कठोर नहीं है। उदाहरण के लिए, समीज़दत के नवागंतुकों के विभिन्न ग्राफोमेनियन कार्यों की वक्र लगभग एक दूसरे के ऊपर स्थित हैं। वही अधिक उन्नत कार्यों के बारे में कहा जा सकता है, उदाहरण के लिए, अकुनिन के फैंडोरिन्स, प्रारंभिक और मध्य लुकेनेंको के विज्ञान कथा, मैरिनिन के जासूस आदि। क्लासिक्स और, विशेष रूप से, दोस्तोवस्की ने खुद पर बहुत बुरा झूठ बोला। टॉल्स्टॉय के उपन्यास, आखिरी अवधि के एक विशेष, को लेखक के स्पेक्ट्रम से बाहर खटखटाया गया था। सभी लेखकों के लिए, लेखकों की कक्षाओं में घटता को अलग करने के लिए, मुझे घटता की निकटता की विभिन्न परिभाषाओं की कोशिश करनी थी। हालांकि, सामान्य तौर पर, शैली निर्धारण तकनीक ने काम किया। अधिकांश मामलों में, विभिन्न लेखकों के वर्णक्रमीय वक्र एक दूसरे से अलग होने में सक्षम थे (सौ से अधिक लेखक)।

हमारे दृष्टिकोण में, तीन आसन्न पत्रों के समूहों के समावेश ने लेखक की शैली की परिभाषा में महत्वपूर्ण मात्रात्मक संशोधन नहीं दिए हैं। में अंतर
विराम चिह्नों की आवृत्ति। (खमेलेव और अनुयायियों के कामों में, ट्रिगर्स को एक आधार के रूप में लिया गया था [2-4])। "एक के माध्यम से" और अन्य सरल संशोधनों में जोड़े की गिनती करते समय कोई संरचना भी नहीं देखी गई थी।

क्यों आसन्न अक्षरों के एक जोड़े के समूहों ग्रंथों में बहुत कुछ स्पष्ट करते हैं, यह आमतौर पर एक रहस्य है। आवृत्ति के बारे में मूल पोस्ट की टिप्पणियों में ऐसी टिप्पणी थी:

Robotex
वैसे, अगर कोई जानता है कि एक फ़ोनेमे अनुक्रम को कैसे परिवर्तित किया जाए (जिससे उन्हें दोहराया जा सकता है, अर्थात माँ शब्द कार्यक्रम को mmmmmmmaaaaaaammmmmmmmmaaaa) के रूप में पहचानता है, तो मुझे पढ़ने में खुशी होगी (मैंने अभी के लिए रोक दिया है)

यह संभव है कि मैं मूल प्रश्न की सही व्याख्या नहीं करता। लेकिन यह उदाहरण स्पष्ट रूप से वर्णों के ठीक जोड़े के महत्व को दर्शाता है जब पात्रों के अनुक्रम का एक महत्वपूर्ण हिस्सा उजागर करता है। जोड़े पर विचार करते समय, हम देखते हैं कि बड़े शब्द में "मिमी", "मा", "हूँ", "आ" के क्लस्टर हैं। फोल्डिंग कम-आवृत्ति "मिमी" और "आ" से "मा" और "मा", या "मा", "एम", "मा" की ओर जाता है, यदि सभी दो-वर्ण संयोजनों को गिना जाता है। यह स्पष्ट है कि शब्द "माँ" में उच्च-आवृत्ति दो-अक्षर पैकेट के संदर्भ में mmmmmmmaaaaaaaammmmmmmmmaaaaaa के समान स्पेक्ट्रम है। पासवर्ड को डिक्रिप्ट करने के लिए, मूल अनुमान लगाते हुए, यह, ज़ाहिर है, बेकार है। शोर की कतरन, मूल के विश्लेषण के दृष्टिकोण से, यह अच्छी तरह से काम करता है: अतिरिक्त ए और एम नई जानकारी नहीं ले जाता है।

अर्थ के संदर्भ में, रूसी भाषा में अक्षरों के जोड़े में शब्दों को तोड़ना शब्दांशों में टूटने के काफी करीब है। ध्यान दें कि हिरागाना जैसे अक्षर हैं, जिसमें ठीक जोड़े में मूल तत्वों का अर्थ है। शब्द "आवृत्ति" (आप किसी अन्य का उपयोग कर सकते हैं) लें। युग्मित समूहों के दृष्टिकोण में, यह "चा," "एसी", "उस", "से," "हम," "ओह" में टूट जाता है। दुर्लभ अपवाद (nn, आदि) के साथ व्यंजन-व्यंजन जोड़े पृष्ठभूमि के साथ विलय के कारण स्पेक्ट्रम से बाहर हो जाते हैं। मोटे तौर पर, आप व्यंजन-व्यंजन जोड़े को निकाल सकते हैं और लेखक और शैली के बारे में निष्कर्ष नहीं बदलेगा। इस प्रकार, केवल व्यंजन + स्वर जोड़े बने हुए हैं, जो भाषा द्वारा बनाई गई ध्वनियों के अनुरूप हैं। विराम चिह्नों (जैसे साँस लेना और साँस छोड़ने के लिए समय) का समावेश शायद जोड़े के विश्लेषण को भी शब्दांश और मौखिक भाषण के विश्लेषण के करीब बनाता है।

यह निष्कर्ष भी सुखद था कि पुराने जमाने के कोमर्सेंट या यूक्रेनी "i", रूसी या यूक्रेनी भाषाओं ने इस लेखक के वर्णक्रमीय वक्र को प्रभावित नहीं किया था (केवल बुनिन को एक उदाहरण के रूप में लिया गया था, लेखकों पर कोई आँकड़े नहीं हैं)। लेखक से लेखनी और पाठ शैली पर अनुवाद के प्रभाव को सत्यापित करना संभव नहीं था। केवल अंग्रेजी ग्रंथों का विश्लेषण हैरी पॉटर और जैक लंदन द्वारा किए गए कुछ कार्यों तक सीमित था, अर्थात्। फिर से, कोई भी आंकड़े एकत्र नहीं किए गए हैं, लेकिन इन दो लेखकों के दो प्रतीकात्मक सहसंबंध भी दिखाई दे रहे थे।

सबसे पहले, हमने कार्य को छोड़ दिया क्योंकि इंटरनेट पर एक खोज ने यह भी दिखाया कि पिछली शताब्दी की शुरुआत के बाद से मोरोविजिम [1] सहित ग्रंथों की आवृत्ति का एक समान विश्लेषण किया गया है, जिसके काम में मार्कोव खुद रुचि रखते थे। इस स्कोर पर कुछ Fomenkovism भी थे। डी। खमेलेव [2,3] द्वारा 2000 के क्षेत्र में पहले से ही ट्रिगर्स पर आधारित ग्रंथों के लेखकों के निर्धारण की संभावना के बारे में बहुत निष्कर्ष तैयार किया गया था। अन्य लेखकों द्वारा काम किया गया था, उदाहरण के लिए, देखें [4]। खमेलेव के कामों में, निश्चित रूप से पाठ के आक्रमणकारियों के बारे में शब्द, मार्कोव श्रृंखलाएं, संक्रमण मैट्रिसेस के विकर्णीकरण आदि शामिल हैं। वास्तव में, शैली को निर्धारित करने के लिए पत्रों के सबसे आम त्रिगुणों के महत्व के बारे में वहां इसी तरह के बयान दिए गए थे। इन कामों के लिए हमारे पास कई सवाल हैं। उदाहरण के लिए, दोस्टोव्स्की को कैसे पकड़ा जाता है, उदाहरण के लिए, ट्रिगर्स द्वारा, हमारे लिए स्पष्ट नहीं है। आदि

गणितीय शब्दों के बिना भी, यह देखा जा सकता है कि पत्रों के जोड़े कई लेखकों के लिए काफी समान वर्णक्रमीय रेखांकन देते हैं। मात्रात्मक रूप से, लेखक की सीमा के आंकड़े दृढ़ता से इस बात पर निर्भर करते थे कि दो रेखांकन की निकटता का निर्धारण कैसे किया जाता है, क्या द्विघात त्रुटि को लिया गया था, घन, आदि। लेकिन ये विवरण हैं। तथ्य यह है कि "शैली" में पैटर्न अक्षरों और विराम चिह्न के स्तर के स्तर पर है, काफी स्पष्ट है। जब उपन्यास "परियोजना में अश्वेतों" द्वारा लिखा गया था, तो उदाहरण पर स्पष्ट पंचर देखे गए थे। अनूदित पुस्तकें भी एक समस्या थी।

सामान्य तौर पर, 6 साल पहले हमारा निष्कर्ष यह था कि ये सभी कार्य मूल नहीं हैं, और उनका "अध्ययन" जारी रखने में कोई समझदारी नहीं है। यह संभव है कि साइट पर ऐसी आवृत्तियों पर चर्चा की गई थी, निश्चित रूप से। हमने जो देखा वह यह था कि डिग्रियों के विश्लेषण में लेखकीय स्थिति में एक महत्वपूर्ण अंतर को विराम चिह्न के रूप में लिया जाता है। कुछ हद तक, विराम चिह्नों का अनुपात पाठ की गति का एक माप है। ट्रिगर्स पर विचार करते समय, विराम चिह्नों को सबसे अधिक संभावना आँकड़ों में शामिल नहीं किया जाता है और यह मेरी राय में, एक गलती और महत्वपूर्ण जानकारी का नुकसान है।

तथ्य यह है कि भाषा केवल प्रतीकों के एक जोड़े की आवृत्ति पर बनाई गई है, और कोई अधिक उद्देश्य मात्रात्मक विशेषताओं और कानून नहीं हैं, बहुत खराब माना जाता है। यह माना जाता है कि पिछले वर्षों में विश्लेषण की जटिलता के कारण कोई नहीं देख रहा था। हालांकि, ग्रंथों के संगठन के सिद्धांतों के लिए हमारी आगे की खोज, रूसी भाषा में प्रतीकों की ज्यामिति ने कोई स्पष्ट परिणाम नहीं दिया। उदाहरण के लिए, परिकल्पनाओं में से एक यह था कि एक ही वाक्य के भीतर समान समूहों की उपस्थिति, उदाहरण के लिए, एक ही वाक्य के अंदर जोड़ी "मा", पाठ और शैली की एक महत्वपूर्ण विशेषता है। उदाहरण के लिए, स्कूल में, वे सिखाते हैं कि उनके बगल में खड़े वाक्यों में दो बार "जो" नहीं कहना चाहिए। या नायक का नाम दोहराएं। यह माना जाता था कि कुछ अक्षरों को दोहराना खराब पाठ गुणवत्ता के लिए एक मानदंड के रूप में काम करेगा, मेलोडी का उल्लंघन होगा, आदि। एक ही बच्चों के शब्द "माँ", "पिता", "महिला": यह स्पष्ट है कि दूसरी "मा", "पा", "बा" नई जानकारी के दृष्टिकोण से अनावश्यक हैं। एक बिंदु से अलग किए बिना बहुत सारे "मा" - से भी बचा जाना चाहिए। इसलिए, इस तरह के संयोजनों को एक बढ़ाया-घटाए गए योगदान के साथ लिया गया - 2, 3 बार, आदि। हालांकि, इस परिकल्पना ने कोई नया स्पष्ट रूप से तैयार परिणाम नहीं लाया। क्लासिक्स के विश्लेषण से पता चला कि कई कार्यों में दो बिंदुओं के बीच युगल शामिल हैं। इस तरह के स्तर पर ज्यामिति में जटिलताओं ने, बेशक, कविताओं को तुरंत पकड़ लिया, लेकिन यह पहले से ही स्पष्ट है।

यह संभव है कि ग्रंथों की संरचना का अधिक सूक्ष्मता से अध्ययन करना आवश्यक है। या कार्य को पूरी तरह से अलग तरीके से सेट करें। दुर्भाग्य से, एक भी सक्षम विशेषज्ञ नहीं है जो हमारे पर्यावरण में इस मुद्दे को गंभीरता से लेगा। विज्ञान क्या पहले से जानता है, हम समझ नहीं पाए। मॉस्को स्टेट यूनिवर्सिटी के मैक्मथ के लोगों ने कहा कि "यह सब सौ साल पहले बाउमन में किया गया था," और इसलिए अप्रासंगिक है। लेकिन हम प्रकाशित ग्रंथों और बुमंका के लोगों आदि को नहीं खोज सके।

शायद एक नई चुनौती

प्रोग्रामिंग में बुनियादी ज्ञान की कमी और इंटरनेट की उच्च लागत के कारण हमारे "प्रयोग" भी आगे नहीं बढ़ पाए। कार्यक्रम और उपकरणों की आदिम प्रकृति के कारण, 500 पृष्ठ के पाठ के विश्लेषण में कई मिनट लगे, यह एक कंप्यूटर, आदि के माध्यम से लटका। हम इंटरनेट पर गीगाबाइट्स, एचटीएमएल टैग्स के विश्लेषण आदि द्वारा ग्रंथों को स्वचालित और मुफ्त डाउनलोड करने के बारे में नहीं सोच सकते थे। यानी ऊपर दिए गए निष्कर्ष - यह (और है) हमारी तकनीकी सीमा।

हालांकि, रूसी में पाठ की ज्यामितीय संरचना का अध्ययन करने का कार्य शुरू में हमारे द्वारा निर्धारित किया गया था (गंभीरता से नहीं, निश्चित रूप से) अधिक मोटे तौर पर।

यह संभव है कि समुदाय का कोई व्यक्ति अब परिकल्पना का परीक्षण कर सकेगा ... इसमें यह तथ्य शामिल है कि प्रत्येक ऑनलाइन समुदाय, समाचार पत्र इत्यादि। इसका अपना स्पेक्ट्रम है, जो कि मात्रा निर्धारित करना दिलचस्प होगा।

संक्षिप्तता और जीवन शक्ति के लिए, आइए इस समस्या पर विचार करें कि एक राजनेता, कंपनी, घटना - "XYZ" से संबंधित एक या दूसरी बड़ी साइट किस तरह से संबंधित है। स्पष्ट विचार यह था कि साइट के कई वेब पेजों के बीच जहां "XYZ" अक्षरों का संयोजन अक्सर पाया जाता है, अक्षरों, शब्दों के विशिष्ट समूहों का एक समान वातावरण भी होगा। उदाहरण के लिए, एक प्रकाशन, एक समुदाय, का XYZ ब्रांड के प्रति नकारात्मक रवैया है। सिद्धांत रूप में, प्रतीकों के इस संयोजन के साथ ज्यामितीय रूप से पृष्ठ के करीब , औसतन, बिल्कुल नकारात्मक प्रतीकों को खड़ा होना चाहिए - "पतन", "बर्बाद", "संकट", "गिरावट", गिरने वाले विमानों की तस्वीरें, धँसा जहाज आदि। एक अन्य समुदाय में, "XYZ" संयोजन के बगल में, औसतन, अच्छे प्रतीक करीब खड़े हो सकते हैं - "आत्मविश्वास", "प्रगति", "उपलब्धि", आदि।

सामान्य तौर पर, संसाधनों का ऐसा विश्लेषण इंटरनेट को सुव्यवस्थित करने में मदद करेगा। यह, निश्चित रूप से, पाठ्य सूचना के अर्थ को पहचानने की समस्या से बहुत दूर है, लेकिन समुदायों, एक मशीन के बारे में कुछ प्रकार के नए ज्ञान भी ऐसे ज्यामिति से प्राप्त किए जाने चाहिए। निम्नलिखित मतलब है। भाषा में अक्षरों की आवृत्ति के अनुरूप, पाठ विश्लेषण का सबसे सरल कार्य, निश्चित रूप से, महत्वपूर्ण शब्दों की आवृत्ति, शब्दार्थ कोर की संरचना या टैग क्लाउड की गणना करना है। यह अतिरिक्त वजन के साथ बोल्ड, रंग और तिरछा लेने के लिए पूरी तरह से विवेकपूर्ण है। यह Google, Yandex, सभी seoshniki द्वारा किया गया है और किया जा रहा है। अगला चरण सिमेंटिक कोर की ज्यामिति का समावेश है। टोपी के करीब, शब्द का अर्थ है उच्च वजन, तहखाने के करीब - निचला। हेडर में या शरीर के अंदर। और यह तब भी किया जाता है जब खोज इंजन द्वारा रैंकिंग और जारी किया जाता है।

लेकिन क्या मीट्रिक को रीमैन के अर्थ में शामिल किया गया है, अर्थात्। एक मशीन द्वारा ग्रंथों का मूल्यांकन करते समय महत्वपूर्ण शब्दों के बीच ज्यामितीय दूरी (उदाहरण के लिए, पृष्ठ पर मूल माध्य वर्ग की दूरी, क्लिक में दूरी आदि), मुझे अभी भी नहीं पता है।

यहां तक ​​कि एसईओ शुरुआती के लिए मुफ्त ऑनलाइन टूल में, आप वेब पेज के पाठ से महत्वपूर्ण शब्दों को छोड़कर सब कुछ मिटा सकते हैं। बड़े पाठ से सार्थक शब्दों के कुछ फ्रेम बने हुए हैं। इस कंकाल में कुछ महत्वपूर्ण होना चाहिए, न कि केवल एक मात्रा - आवृत्ति। उदाहरण के लिए, सापेक्ष दूरी। हालांकि, मुझे नहीं पता कि इस तरह के कंकाल के साथ पाठ के लिए इस तरह के आधार के साथ आगे कम्प्यूटेशनल कार्य किया जाता है या नहीं। खोज इंजन के लिए पाठ संगठन के नियमों का अध्ययन करना स्वाभाविक होगा, क्योंकि हम में से अधिकांश "तिरछे" पढ़ते हैं। हमें यह निर्धारित करने के लिए कुछ उपाय की आवश्यकता है कि लेखक ने पाठ में क्या कहना चाहा है, यदि आप सभी अनावश्यक हटा दें। लेकिन ... खोज इंजन में अरबों पृष्ठ हैं, और यह बिल्कुल भी नहीं है कि Google जैसे दिग्गजों के लिए भी इस तरह का विश्लेषण पहले से ही तकनीकी रूप से संभव है। यानी खोज इंजन (हजारों, अरबों पृष्ठों में नहीं) के लिए कार्य का पैमाना मानक से बहुत छोटा होता है, लेकिन विश्लेषण को गहराई से पेश किया जाता है। इसके अलावा, यह दिशा इंटरनेट के हाइपरटेक्स्ट संरचना द्वारा बहुत बाधित हो सकती है। , , . … — , . - .

निष्कर्ष

, , , , , [1-4]. [1-4], «» , . « », «»; , , .

, , . . , , , .

, — . N (N-1)! , . , .

, . , , 2012, - .. .

, — , , .. html .

, -, . , , .

.

[1] professor_k « »

[1] ., « : » 1915;

[2] . . .. // , .9: . "- 2000. "- N 2. "- . 115-126.

[3] Khmelev D., Tweedie F. Using Markov Chains for Identification of Writers // Literary and Linguistic Computing. "- 2001. "- Vol. 16, no. 4. "- Pp. 299-307.

[4] .., .., .