मैं पुस्तकालय को अच्छे हाथों में दूंगा

बहुत समय पहले, 2008 में, जब मैं अपने शोध प्रबंध पर काम कर रहा था, तब मुझे छवि पहचान की समस्याओं के लिए दृढ़ तंत्रिका नेटवर्क का उपयोग करने के विषय में दिलचस्पी थी। उस समय, वे अब जितने लोकप्रिय नहीं थे, और तैयार पुस्तकालयों को खोजने के प्रयास से कुछ भी नहीं हुआ - केवल लुश में एक कार्यान्वयन था (एक भाषा, जो नेटवर्क के लेखक, जन LeCun द्वारा बनाई गई है)। तब मुझे लगा कि न्यूरल नेटवर्क टूलबॉक्स का उपयोग करके उन्हें मतलाब पर लागू करना संभव होगा। लेकिन मुझे इस टूलबॉक्स के ढांचे के भीतर साझा भार को लागू करने की असंभवता का सामना करना पड़ा। और फिर हमारे अपने कार्यान्वयन को लिखने का निर्णय लिया गया।

प्रारंभ में, यह एक साफ मैटलैब पर बनाया गया था। बाद में, मैंने CUDA पर अग्रेषित और रिवर्स वितरण कार्यों को लागू किया। यह संस्करण Matlabcentral पर है और अभी भी 162 डाउनलोड प्रति माह है।
यह, इंटरनेट पर CUDA पर दृढ़ नेटवर्क का पहला संस्करण था।


इस कार्यान्वयन का उपयोग करते हुए, मैंने छवि पहचान में तंत्रिका नेटवर्क का उपयोग करते हुए एक पोस्ट लिखी।

यह महसूस करते हुए कि विषय में रुचि बहुत बड़ी है, मैंने लाइब्रेरी को फिर से लिखने और इसे सी ++ / क्युडा में पूरी तरह से बनाने का फैसला किया, मतलब समर्थन को एक दृश्य के रूप में छोड़ दिया। तो वहाँ CudaCnn था। तथ्य की बात के रूप में, मैंने पहले ही अपने खाली समय में इस विकास का संचालन किया। बाद में, मैंने अपना काम बदल दिया और ओपन सोर्स डेवलपमेंट करने की मेरी क्षमता बहुत सीमित हो गई।

पुस्तकालय पर काम की शुरुआत के बाद से, दृढ़ तंत्रिका नेटवर्क और गहन सीखने का विषय बहुत लोकप्रिय हो गया है। लोकप्रियता का एक विशेष उछाल जेफरी हिंटन की टीम के बाद हुआ, जिसने CUDA (एलेक्स क्रिज्व्स्की द्वारा लिखित) पर प्रतियोगितात्मक नेटवर्क के कार्यान्वयन का उपयोग करते हुए प्रतियोगिता में बड़े पैमाने पर विजुअल रिकॉग्निशन चैलेंज में प्रतियोगियों से व्यापक अंतर से जीत हासिल की। अब Google चित्रों के माध्यम से खोज करने के लिए इस तकनीक का उपयोग करता है।

अब मेरे पुस्तकालय को बिगबैकेट पर होस्ट किया गया है , महीने में लगभग 130 लोग विवरण पृष्ठ पर आते हैं:

जो निश्चित रूप से, एक ब्लॉग के लिए काफी कुछ है, लेकिन शोधकर्ताओं के एक संकीर्ण सर्कल के लिए डिज़ाइन किए गए एक बहुत ही विशिष्ट पुस्तकालय के लिए, इतने कम नहीं हैं। वैसे, राज्यों और चीन से यात्राओं का बड़ा हिस्सा। इसके अलावा, उपयोगकर्ता समय-समय पर मुझे लिखते हैं कि उन्हें कुछ जोड़ने या ठीक करने के लिए कहें, और मेरे पास उनके जवाब देने के लिए हमेशा समय नहीं होता है।

तो, क्या परिणाम है: एक पुस्तकालय है जो निम्नलिखित विशेषताओं और विशेषताओं के साथ तंत्रिका नेटवर्क (और पूरी तरह से जुड़ा हुआ) तंत्रिका नेटवर्क की सीखने की कार्यक्षमता को लागू करता है:

• CPU और GPU (CUDA) पर काम करने की क्षमता
• क्रॉस-प्लेटफॉर्म (सीएमके पर आधारित), incl। कुछ सीमाओं के साथ एआरएम के तहत संकलन
• शिक्षण विधियाँ: स्टोचैस्टिक ग्रैडिएंट, स्टोचैस्टिक लेवेनबर्ग-मार्क्वार्ड
• परत: दृढ़, पूलिंग, पूरी तरह से जुड़ा हुआ
• सक्रियण कार्य: सामान्यीकृत फैलाव के साथ स्पर्शरेखा, रैखिक, स्पर्शरेखा
• विवर्तनिक गुठली का आकार और आकार (अन्य कार्यान्वयन में प्रतिबंध हैं)
• मतलाब के लिए फ्रंट एंड उपलब्धता

काम करने लायक चीजें भी हैं। विशेष रूप से, सीपीयू के लिए कोड गति के लिए अनुकूलित नहीं है, CUDA कोड को भी विकसित करने के लिए बहुत कुछ है, doxygen प्रलेखन को चोट नहीं पहुंचेगी।

जैसा कि मैंने ऊपर उल्लेख किया है, इस समय मेरे पास न तो समय है और न ही पुस्तकालय का समर्थन करने का अवसर है, इसलिए यदि कोई इसके विकास में भाग लेने में रुचि रखता है, तो मैं सभी प्रकार की सहायता प्रदान करने के लिए तैयार हूं। मुझे लगता है कि यह उन लोगों के लिए उपयोगी हो सकता है जो एक ओपन सोर्स प्रोजेक्ट में भाग लेना चाहते हैं, मशीन लर्निंग के क्षेत्र में अनुभव प्राप्त करेंगे, अपने कार्यों के लिए गहन शिक्षण तकनीकों को लागू करेंगे और CUDA विकास में अनुभव प्राप्त करेंगे।

यदि आप रुचि रखते हैं, तो मुझे पीएम पर लिखें।

PS मैं मशीन लर्निंग + बिग डेटा से संबंधित हमारी कंपनी में हाल ही में खोले गए रिक्ति को बढ़ावा देने के लिए यह अवसर लेता हूं