फ्लिबुस्ट के पुस्तकालय के अनुसार रूसी में सबसे आम वाक्य संरचना

मैं एक php प्रोग्रामर हूं, लेकिन मैं अपने क्षितिज का विस्तार करना चाहता था, ताकि कुछ नया सीख सकूं। इसलिए, मैंने अन्य भाषाओं और प्रौद्योगिकियों को सीखने का फैसला किया। चुनाव अब तक गिर गया है, पर्ल, अजगर और mysql पर।

उन्होंने एक अद्भुत झोले का पैकेज लिया, फ्लिबुस्ट लाइब्रेरी (केवल .fb2), भंडारण के लिए sedna fb2, आँकड़े संग्रहीत करने के लिए mysql percona 5.1 और एक छोटी फ़ाइल। एक आदिम माईसम प्लेट बनाई गई थी जहाँ वाक्य रिकॉर्ड किया गया था, और इस वाक्य के भाषण भागों का विवरण।

विवरण के अनुसार, मैंने एक अद्वितीय पाठ सूचकांक बनाया, लेकिन मैं संख्या क्षेत्र द्वारा सूचकांक बनाना भूल गया (मुझे लगा कि यह उपयोगी नहीं होगा)।

फाइबस्टर से एफबी 2 को सेडना डेटाबेस में रखा गया था, यह पता चला कि बेस कहीं 90 जीबी में है।

पहला चरण मैंने पुस्तकालय में पाए गए सभी अद्वितीय शब्दों को एकत्र किया। यह लगभग 14 मिलियन शब्द निकला। ये दोनों अद्वितीय शब्द और उनके रूप थे, और अन्य बकवास थे।

यह प्रायोगिक तौर पर पाया गया कि अचार मोड में पाइमोर्फी को आरंभीकरण पर काफी समय खर्च होता है, और इसे शेल के माध्यम से php से खींचने में बहुत लंबा समय लगेगा। अजगर के बाद से मैं बस सीखना शुरू कर रहा था, और भाषण में से कुछ को पाने के लिए मुझे pymorphy का उपयोग करना पड़ा, मैंने बाद में एक सर्वर के रूप में चलाने का फैसला किया। इसने लंबे इनिशियलाइज़ेशन की समस्या को दूर किया, और लगभग यही हुआ है:

#!/usr/bin/env python <br/>
# -*- coding: utf-8 -*- <br/>
from pymorphy import get_morph<br/>
import re , sys , socket , pprint ,json,chardet, ConfigParser <br/>
<br/>
def do_word ( data ) :<br/>
if ( data == False or data == '' ) : print "error incoming data !!!" <br/>
tmpWord = re . sub ( r "rn" , '' ,data ) <br/>
word = tmpWord. decode ( 'utf-8' ) . upper ( ) <br/>
if ( DEBUG == 1 ) : print word<br/>
info = morph._decline ( word ) <br/>
if ( DEBUG == 1 ) : pprint . pprint ( info ) <br/>
sjSon = json. dumps ( info ) <br/>
return sjSon<br/>
<br/>
config = ConfigParser . ConfigParser ( ) <br/>
config. read ( 'pymorphy_conf.ini' ) <br/>
DEBUG = config. getint ( 'decline' , 'DEBUG' ) <br/>
HOST = config. get ( 'decline' , 'HOST' ) <br/>
PORT = config. getint ( 'decline' , 'PORT' ) <br/>
<br/>
morph = get_morph ( "/pymorphy/dicts/converted/ru/morphs.pickle" , 'pickle' ) <br/>
<br/>
srv = socket . socket ( socket . AF_INET , socket . SOCK_STREAM ) <br/>
srv. bind ( ( HOST,PORT ) ) <br/>
while 1 :<br/>
if ( DEBUG == 1 ) : print " " ,PORT<br/>
srv. listen ( 1 ) <br/>
sock,addr = srv. accept ( ) <br/>
while 1 :<br/>
pal = sock. recv ( 1024 ) <br/>
if not pal:<br/>
break <br/>
lap = do_word ( pal ) <br/>
sock. send ( lap ) <br/>
sock. close ( )


फिर, इस तात्कालिक सर्वर का जिक्र करते हुए, उन्होंने पहले पाए गए शब्दों के लिए भाषण के कुछ हिस्सों को नीचे रखा। यह सब शाम को किया गया था, और बहुत कठिनाई नहीं हुई।

उसके बाद, सबसे सरल चीज़ आँकड़ों को इकट्ठा करना है। मैंने इसे 2 महीने तक एकत्र किया, जिसके बाद मैं थक गया। अड़चन क्या बन गई कहना मुश्किल है। शब्द ~ 0.0046 सेकंड के भाषण के एक भाग के लिए खोज करना, शेष संचालन भी समझदार हैं, क्योंकि यह केवल शब्दों को जल्दी से इकट्ठा करना संभव था। सेडना को पिछले चरणों में भी परीक्षण किया गया था, और निश्चित रूप से उड़ान नहीं भरी थी, लेकिन मैंने कुछ घंटों में शब्दों को इकट्ठा करने में कामयाब रहा, इसलिए प्रस्तावों पर आंकड़े एकत्र करने के लिए इसका प्रदर्शन पर्याप्त था।
परिणामस्वरूप, निम्नलिखित डेटा प्राप्त किए गए:



आदि
द्वारा पूरक
के अनुसार (यह डेटा केवल फ्लिबुस्टा नहीं है, अभी भी कुछ अन्य ग्रंथों का मिश्रण है)

टॉप		1500 और कम		150 और कम		15 और उससे कम
नहीं	60,300	खिड़की	1500	नाजियों	150	Eyh	15
मैं	53,847	लकड़ी	1500	कुटिल	150	lanter	15
हां	50,813	फेंक दिया	1499	Yura	150	Butovsan	15
कि	48819	नाम	1499	पुनर्जन्म	150	iksaytov	15
इतना	45,926	बढ़ी	1499	स्टालों	150	Traggo	15
सब	44,672	उच्च	1499	अल्ला	150	Atkal	15
यह है	42,825	दीप	1499	भेड़	150	Yummi	15
वह है	42,154	सक्रिय रूप से	1499	स्थानांतरित कर दिया	150	mollyuskorom	15
आप	38073	वंडरलैंड	1498	लेज़रों	150	शहद	15
मुझे	35976	समझाना	1498	कन्वेयर	150	hronohirurgov	15
और	35,900	लग रहा था	1498	सुनहरे बालों वाली	150	Ivashury	15
उसकी	35,394	फूटना	1498	छात्रा	150	hronouskoritelya	15
कैसे	34,347	आकृति	1498	चोरों	150	दोलनों	15
मेरे लिए	34078	रातों	1498	स्काउट्स	150	pentarchy	15
और	33,836	काम करता है	1498	शारीरिक	150	Gorshina	15
वह है	31,373	अच्छा	1498	कविता	150	roidy	15
अच्छी तरह से	30,932	असंतोष	1498	ऊपर खींच लिया	150	marshalessy	15
आप	30,738	रुपये	1497	सिलेंडर	150	evmenarh	15
यहां	29,969	फोन किया	1497	ट्रिपल	150	evmenarha	15
वहाँ है	29579	बदल गया	1497	बहस	150	hronogen	15
यह था	29297	पहुंचे	1497	कम से कम	150	Kovali	15
लेकिन	29009	शैम्पेन	1497	सुविधा	150	यज्ञ	15
वहाँ	28955	बम	1497	छापा	150	ऊर्जा की जानकारी	15
अच्छी तरह से	28612	की मांग की	1496	डेस्क	150	konsortliniyu	15
कुछ नहीं	28605	प्रतिबिंब	1496	निर्वासित	150	efanaliza	15
सौदा	27,653	उत्साह	1496	आनुवंशिक	150	psisfery	15
समान	26,973	निरीक्षण करने के लिए	1496	जन्मदिन	150	foring	15
यहां	26,898	पर पहुंच गया	1495	पुराना	150	refleziantsev	15
अधिक	26,640	के स्रोत	1495	बंजर	150	refleziantsy	15
इसके	26,556	संबोधित	1495	बल्ब	150	हत्यारा	15
व्यक्ति	26415	उठा लिया	1495	जनक	150	Levikov	15
अभी	26,408	निकाला हुआ	1495	सरल	150	Glencoe	15
की जरूरत है	25,657	धूसर	1495	चादर	150	Irrashi	15
बेशक	25,568	दुर्भाग्य से	1494	स्वादिष्ट	150	कामरा	15
क्यों	25,216	को देखा	1494	बदल गया	150	Arvarohe	15
कर सकते हैं	25012	astoundingly	1494	गोलियाँ	150	Uanduk	15
हम हैं	24,847	चाचा	1493	जासूसी	150	shefattashe	15
मुझे पता है	24,843	चेकों	1493	तिलचट्टे	150	Tarkhanov	15
वे हैं	24070	निमंत्रण	1493	दुबला	150	gnorr	15
आप	23922	कठोर	1493	समाशोधन	150	Ornumhoniorov	15
में	23600	हस्तक्षेप करना	1493	अभूतपूर्व	150	Ganfaly	15
समय	23,598	विश्वास है	1493	इरादा	150	Gamelin	15
उनके	22,956	देखा	1493	मुनाफा	150	Uraynom	15
आप	22,780	जारी रखने के लिए	1492	खिला	150	Ellata	15
	22,730	विरोध किया	1492	टिप्पणी	150	Uraynu	15
समय	22508	पूरे	1492	ठाठ	150	gerverity	15
अब	22,488	Eybogu	1492	कंपनियों	150	हारिज	15
नहीं	22450	मैं शुरू करूंगा	1492	झूलना	150	giazira	15
आप को	22107	स्नैपशॉट	1492	Drozdov	150	Kotletkin	15
उसे करने के लिए	22014	समझना	1491	असली	150	काला जादू	15
उन्होंने कहा कि	21970	बैठकों	1491	का पालन	150	Durnev	15
हमें	21950	गर्मी	1491	धुंधला	150	Kotletkina	15
आँखें	21,763	कूदना	1491	जांच करें	150	Spurius	15
कौन	21740	कल्पना करना	1491	उदासीन	150	ROBUSGROBUS	15
स्वयं	21,656	एक पहेली	1491	आदी	150	जोहान	15
होगा	21,642	वसीली	1491	के रूप में संदर्भित	150	Tetlutsoaklya	15
एक	21,576	लग रहा था	1490	वेलेरियन	150	Yaraat	15
तो	21,438	संबद्ध	1490	की तरह देखा	150	magolody	15
होना है	21,415	ध्यान	1490	नाभिक	150	पंखुडी	15
लोग	21,368	धीमी	1490	उत्तरदायी	150	लामाओं	15
जीवन	21,322	कल	1489	पेंट	150	Warnau	15
सच्चाई	20,972	पतला	1489	सुनाई देने योग्य	150	Belirii	15
साथ	20,645	बताया	1489	सीढ़ी	150	Nimrobets	15
केवल	20603	कबूतर	1489	पानी	150	Dyunka	15
जीवन का	20517	वापसी	1489	अनर्गल	150	Legiara	15
के बारे में	20,516	झंडा	1489	सभ्यताओं	150	Charlok	15
चाहे	20,450	ऊपर	1489	लज्जाजनक	150	सर्दी का बीच	15
बड़ा	20328	कॉल	1489	अंग्रेज	150	Uklod	15
कहने के लिए	20,318	निष्ठा	1489	विरोध किया	150	Zorik	15
अपने आप को	20,299	सफल रहा	1488	दया की भरमार	150	आउटलैंड	15
से	20,291	गंभीर	1488	दौर	150	Bjarte	15
तो	20,244	परिवर्तन	1488	कड़ाही	150	रेनाल्डो	15
बेहतर है	20047	व्लादिमीर	1488	तो	150	Samonenko	15
आप को	20024	वातावरण	1487	मजाक	150	Dyushka	15
आगे	19819	भाग गया	1487	सीमा	150	Morfichev	15
जहाँ	19600	विपरीत	1487	गर्जन	150	Varykino	15
हाथ	19,545	रेनकोट	1487	शैतानी	150	Gryzach	15
करने के लिए	19525	सूंघकर	1487	मांस	150	Tsonchik	15
अगर	19522	वरिष्ठ	1487	जूते	150	Groulis	15
पर	19444	शुरू कर दिया	1487	नामित	150	Lebedinskaya	15
वर्षों पुराना है	19444	खींचना	1487	खनिज	150	Valyushok	15
घर पर	19,361	एक जोड़ी	1487	परंपराओं	150	मैं चाहता था	15
यह	19096	पीछे हटना	1487	बंद कर दिया	150	Schaaas	15
शब्द	19026	अकथनीय	1487	takieto	150	Gugima	15
हो सकता है	18966	शालीनता से	1487	साहसी	150	glongov	15
इस का	18,860	विधवा	1487	रोमानी	150	Oberporuchik	15
दिन	18,772	गलत किया गया था	1486	चर्मपत्र कोट	150	बेकहम	15
क्यों	18730	दे दी है	1486	मार्मिक	150	Vkakom	15
लोगों की	18680	उन्होंने कहा कि दे दी है	1486	ठीक हो	150	Kutevanova	15
बहुत	18,583	इंतजार	1486	पेंट	150	Kopacz	15
यह था	18,450	ताज़ा	1486	उत्तरदायी	150	Strobach	15
चाहेंगे	18,438	ताज़ा	1486	सांस्कृतिक	150	Zonova	15
इतना	18361	फ़ोटो	1486	सम्मिश्रण	150	ब्रीफ़केस	15
आदमी का	18,312	दास	1486	पढ़ना	150	लाएल	15
यह	18293	दीपक	1485	अन्तरंग	150	Bepe	15
सवाल	18,276	स्थिति	1485	भोजन	150	klastapugi	15
पूर्व	18,186	समय हो रहा है	1485	अयोग्य	150	Kupling	15
हमारे लिए	18167	व्यवहार	1485	सिहरन	150	Kuplinga	15
या	18,155	इस विषय की	1485	नए आगमन	150	Stoloki	15
यह	18116	परिणाम	1485	कॉलर	150	Moschina	15

कुल मिलाकर, 90 611 059 ऑफ़र संसाधित किए गए थे।

एक नंबर फ़ील्ड पर तुरंत एक इंडेक्स बनाने की भूल करते हुए, मैं एक गंभीर समस्या में भाग गया। जब हमने 58 मिलियन रिकॉर्ड और 12 जीबी के आकार की एक तालिका प्राप्त की, तो उस पर सूचकांक एक दिन से अधिक के लिए बनाया गया था और कभी नहीं बनाया गया था। बाहर निकल गए
myisam_sort_buffer_size=1024MB
1 जीबी पर सेट, सूचकांक घंटे में बनाया गया।

Ps। सर्वर कॉन्फ़िगरेशन: AMD Athlon (tm) II X4 635 प्रोसेसर, 16 gb DDR3, WDC WD7500AACS-00D6B1