प्राकृतिक भाषा प्रसंस्करण। उपयोगी उपकरण

हाल ही में, प्राकृतिक भाषा प्रसंस्करण के बारे में लेख बार-बार हैबे पर बने हैं।
और यह सिर्फ इतना हुआ कि हाल ही में मैं इस क्षेत्र में काम कर रहा हूं।
भावना विश्लेषण , और भाषण के कुछ हिस्सों के टैगर , बहुत अच्छी तरह से जलाया गया था।
लेकिन मैं आपको बताना चाहूंगा कि मैंने एनएलपी के लिए कौन से उपकरण का इस्तेमाल किया, और मुझे क्या नया मिला, जो अभी तक यहां नहीं था

सबसे पहले, मुझे आश्चर्य हुआ कि किसी ने भी nltk का उल्लेख नहीं किया, एक बहुत ही उपयोगी चीज। खासकर यदि आप रूसी, लेकिन अन्य यूरोपीय भाषाओं में रुचि नहीं रखते हैं। कौशल के बीच

• tokenization
• stemmirovanie
• भाषण के कुछ हिस्सों की परिभाषा
• इकाई का नामकरण
• क्लासिफायर बोनस
• चिह्नित मामलों के रूप में बोनस (रूसी के लिए नहीं)

और सबसे महत्वपूर्ण बात - एक महान रसोई की किताब शुरुआती गाइड। इसके अलावा, प्रवेश की सीमा बहुत कम है, यह भी आवश्यक नहीं है कि अजगर खुद को जानता हो, क्योंकि पुस्तक में सब कुछ विस्तार से चबाया गया है। लेकिन आप अंग्रेजी के बिना नहीं कर सकते। जापानी भाषा में अनुवाद करने के लिए वास्तव में एक और विकल्प है, यदि आप निश्चित रूप से भाषा जानते हैं। वास्तव में, वहाँ एक बहुत ही उपयोगी अध्याय है, विशेष रूप से nltk, जब जापानी के साथ काम कर रहे हैं, जो कि बहुत मदद करनी चाहिए, भाषा को हाइरोग्लिफ के साथ पार्स करने के लिए।

सामान्य तौर पर, उपरोक्त सभी रूसी भाषा के साथ काम नहीं करते हैं, जो अपमानजनक है। अब nltk रसोई की किताब को रूसी में अनुवाद करने की एक प्रक्रिया है, आप इसके बारे में पढ़ सकते हैं और Google समूह में मदद कर सकते हैं

लेकिन मुझे इंटरनेट पर जो सबसे बड़ा खजाना मिला है, वह फ्रीजिंग है

फ्रीलिंग एक वर्ड प्रोसेसिंग लाइब्रेरी है। यह C ++ में लिखा गया है, जिसकी वजह से इसकी गति अच्छी है। इसमें सभी (या लगभग सभी) भाषाओं में एक एपीआई भी है।

FreeLing की मुख्य विशेषताएं:

• tokenization
• आकृति विज्ञान विश्लेषण
• एक शब्द कास्टिंग
• एक अज्ञात शब्द सहित भाषण के एक भाग की परिभाषा
• दिनांक और संख्याओं का सामान्यीकरण और निर्धारण
• संस्थाओं की मान्यता और वर्गीकरण

स्पेनिश, कैटलन, गैलिशियन, इतालवी, अंग्रेजी, रूसी, पुर्तगाली और वेल्श वर्तमान में समर्थित हैं। दुर्भाग्य से, रूसी भाषा को धोखा दिया गया है और संस्थाओं की मान्यता और वर्गीकरण इसके लिए काम नहीं करता है, लेकिन बॉक्स से बाहर भाषण के हिस्सों की परिभाषा पहले से ही बहुत अच्छी है। क्रॉस-बुतपरस्ती के बारे में अधिक।
मुझे सबसे ज्यादा हैरानी इस बात की थी कि मुझे लगभग रननेट में फ्रीलांसिंग का कोई उल्लेख नहीं मिला, इस तथ्य के बावजूद कि रूसी में एक अच्छा मैनुअल है।

ये उपकरण मेरे लिए उपयोगी क्यों हैं?
यह कार्य एक श्रेणी या किसी अन्य और अधिक स्वचालित रूप से ग्रंथों को असाइन करना था। ऐसा करने के लिए, पहले ग्रंथों को टैग किया गया था और हाथ से वर्गीकृत किया गया था (इसे मामला कहना मुश्किल है)। नए पाठ पहले से ही स्वचालित रूप से पार्स कर दिए गए थे, शब्दकोश में आवश्यक टैग को उजागर करने के लिए पहला RegExp। तब फ्रीलिंग का उपयोग करके पाठ का विस्तार किया गया था, इसमें टोकन और भाषण के कुछ हिस्सों को पार्स करना शामिल है। और इस रूप में यह संग्रहीत किया गया था।

अगला कदम यह था कि प्रत्येक श्रेणी के लिए अपने स्वयं के क्लासिफायरियर को प्रशिक्षित किया गया था, उस समय तक यह वर्गीकरण के विषय (लेख के लिए Irokez के लिए धन्यवाद) के साथ बहुत ही सतही रूप से परिचित था। इसके लिए, मैंने इस तथ्य का उपयोग किया कि सबसे पहले हाथ में आया था, nltk से Naive Bayes क्लासिफायर, मापदंडों (सुविधाओं) के रूप में, यह एक समय में एक (unigrams) और टैग पारित कर दिया, जबकि टैग की संख्या दोगुनी हो गई, क्योंकि Naive क्लासिफायरियर में स्पष्ट रूप से वजन निर्धारित किया गया था। असंभव है, लेकिन सरल शब्दों की तुलना में टैग बहुत अधिक जानकारीपूर्ण हैं। और भाषण के कुछ हिस्सों का उपयोग अनावश्यक शब्दों को फ़िल्टर करने के लिए किया गया था: सर्वनाम, अंक, अंतर्वेशन (भावनात्मक रंग महत्वपूर्ण नहीं था), आदि।

युपीडी। किमीकाइ से आप इस सूची में scikit-learn.org/ भी जोड़ सकते हैं - यह एक पुस्तकालय है जिसमें मशीन सीखने के लिए लगभग हर चीज शामिल है: बहुत सारे अलग-अलग क्लासिफायर (एक अच्छा कार्यान्वयन, कुछ भी), tf-idf गिनती, वहाँ साइथन है एचएमएम का कार्यान्वयन (जीथब से देव संस्करण में), आदि।