PyBrain Python में तंत्रिका नेटवर्क के साथ काम करता है

एक परियोजना के ढांचे के भीतर, मुझे तंत्रिका नेटवर्क के साथ काम करने की आवश्यकता का सामना करना पड़ा, कई विकल्पों पर विचार किया गया, मुझे सबसे ज्यादा PyBrain पसंद आया। मुझे आशा है कि कई लोग इसके विवरण को पढ़ने में रुचि लेंगे।

PyBrain तंत्रिका नेटवर्क से संबंधित एल्गोरिदम की एक विस्तृत विविधता को सीखने और कार्यान्वित करने के लिए सबसे अच्छे Python पुस्तकालयों में से एक है। यह मशीन इंटेलिजेंस के क्षेत्र से विभिन्न एल्गोरिदम के एक बड़े सेट के अच्छे कार्यान्वयन के साथ कॉम्पैक्ट पायथन सिंटैक्स के संयोजन का एक अच्छा उदाहरण है।

के लिए बनाया गया:

• शोधकर्ताओं - विभिन्न एल्गोरिदम को लागू करने के लिए एक समान वातावरण प्रदान करता है, दर्जनों विभिन्न पुस्तकालयों का उपयोग करने की आवश्यकता को समाप्त करता है। आपको एल्गोरिथ्म पर ध्यान केंद्रित करने की अनुमति देता है और इसके कार्यान्वयन की सुविधाओं पर नहीं।
• छात्र - PyBrain का उपयोग करके थीसिस में होमवर्क, कोर्स प्रोजेक्ट या गणनाओं को लागू करना सुविधाजनक है। वास्तुकला का लचीलापन आपको विभिन्न प्रकार के जटिल तरीकों, संरचनाओं और टोपोलॉजी को आसानी से लागू करने की अनुमति देता है।
• व्याख्याता - लर्निंग मशीन लर्निंग तकनीक लाइब्रेरी बनाते समय मुख्य लक्ष्यों में से एक थी। लेखक खुश होंगे अगर उनके काम के परिणाम सक्षम छात्रों और विशेषज्ञों की तैयारी में मदद करेंगे।
• डेवलपर्स एक ओपन सोर्स प्रोजेक्ट हैं, इसलिए नए डेवलपर्स का हमेशा स्वागत है।

पुस्तकालय के बारे में

पायब्रियन एक मॉड्यूलर लाइब्रेरी है जिसे पायथन में विभिन्न मशीन लर्निंग एल्गोरिदम को लागू करने के लिए डिज़ाइन किया गया है। इसका मुख्य लक्ष्य शोधकर्ता को लचीला, आसान उपयोग प्रदान करना है, लेकिन साथ ही मशीन लर्निंग, परीक्षण और विभिन्न एल्गोरिदम की प्रभावशीलता की तुलना करने के क्षेत्र में कार्यों को साकार करने के लिए शक्तिशाली उपकरण हैं।
PyBrain नाम अंग्रेजी के लिए एक संक्षिप्त नाम है: पायथन-आधारित सुदृढीकरण सीखना, कृत्रिम बुद्धिमत्ता और तंत्रिका नेटवर्क लाइब्रेरी।
जैसा कि एक साइट पर कहा गया है: PyBrain - तंत्रिका नेटवर्किंग के लिए स्विस सेना चाकू (PyBrain तंत्रिका नेटवर्क कंप्यूटिंग के क्षेत्र में एक स्विस सेना चाकू है)।

पुस्तकालय एक मॉड्यूलर सिद्धांत पर बनाया गया है, जो इसे छात्रों द्वारा उन मूल बातें और शोधकर्ताओं को सीखने के लिए उपयोग करने की अनुमति देता है जिन्हें अधिक गतिशील एल्गोरिदम को लागू करने की आवश्यकता होती है। इसके उपयोग के लिए प्रक्रिया की सामान्य संरचना निम्नलिखित चित्र में दिखाई गई है:


पुस्तकालय स्वयं एक खुला स्रोत उत्पाद है और किसी भी प्रोजेक्ट में एक कैविएट के साथ उपयोग करने के लिए स्वतंत्र है; जब वैज्ञानिक शोध के लिए उपयोग किया जाता है, तो वे आपको निम्नलिखित पुस्तक को उद्धृत सूचना स्रोतों की सूची में जोड़ने के लिए कहते हैं (जो लोग करते हैं):

टॉम शाहुल, जस्टिन बायर, डैन विएस्ट्रा, सन यी, मार्टिन फेल्डर, फ्रैंक सेन्के, थॉमस रुकीस्टो, जुरगेन श्मिधुबर। PyBrain। में दिखाई देने के लिए: जर्नल ऑफ मशीन लर्निंग रिसर्च, 2010।

मुख्य विशेषताएं

पुस्तकालय की मुख्य विशेषताएं (संस्करण 0.3 के लिए) हैं:

• एक शिक्षक के साथ एल्गोरिदम सीखना (पर्यवेक्षित सीखना)।
  
  • वापस प्रचार विधि
  • आर-प्रोप (लचीला प्रसार)
  • समर्थन-वेक्टर-मशीनें (तृतीय-पक्ष लाइब्रेरी LIBSVM के लिए इंटरफ़ेस)
  • Evolino
  
  
• शिक्षक रहित शिक्षा (ब्लैक-बॉक्स अनुकूलन / विकास)
  तरीके)
  
  • K- मीन्स क्लस्टरिंग
  • संभावित प्रधान घटक विश्लेषण (PCA / pPCA)
  • हैमिंग और यूक्लिडियन रिक्त स्थान के लिए LSH
  • गहरा विश्वास नेटवर्क
  
  
• सुदृढीकरण सीखना
  
  • लागत आधारित ( मूल्य-आधारित )
    
    • Q- लर्निंग (स्वीकार्य रास्तों की गणना के बिना)
    • सार्सा
    • तंत्रिका फिट क्यू-पुनरावृत्ति
    
    
  • पॉलिसी ग्रैजुएट्स
    
    • सुदृढ़
    • प्राकृतिक अभिनेता-आलोचक
    
    
  • अनुसंधान रणनीतियों
    
    • एप्सिलॉन-लालची अन्वेषण (असतत)
    • बोल्ट्ज़मन एक्सप्लोरेशन (असतत)
    • गाऊसी अन्वेषण (निरंतर)
    • राज्य-निर्भर अन्वेषण (निरंतर)
  
  
• ब्लैक-बॉक्स ऑप्टिमाइज़ेशन
  
  • हिल-चढ़ाई
  • कण झुंड अनुकूलन (PSO)
  • विकास रणनीतियाँ (ES)
  • Covariance मैट्रिक्स अनुकूलन ईएसए (CMA-ES)
  • प्राकृतिक विकास रणनीतियाँ (NES)
  • फिटनेस एक्सपेक्टेशन-मैक्सिमाइजेशन (FEM)
  • परिमित अंतर ग्रेडिएंट डिसेंट
  • पैरामीटर एक्सप्लोरेशन (PGPE) के साथ पॉलिसी ग्रेजुएट्स
  • एक साथ स्थिरीकरण स्टोकैस्टिक स्वीकृति (SPSA)
  • जेनेटिक एल्गोरिदम (GA)
  • प्रतियोगी सह-विकास
  • मेमोरियल सर्च (इनर / इनवर्स)
  • बहु-मापदंड अनुकूलन / बहु-उद्देश्यीय अनुकूलन NSGA-II

नेटवर्क

PyBrain नेटवर्क संरचनाओं के साथ काम करता है जिसका उपयोग लाइब्रेरी द्वारा समर्थित लगभग सभी जटिल एल्गोरिदम के निर्माण के लिए किया जा सकता है। एक उदाहरण है:

• डीप बिलिफ़ नेटवर्क्स और प्रतिबंधित बोल्ट्ज़मन मशीनें (आरबीएम) सहित प्रत्यक्ष वितरण नेटवर्क
• आवर्तक तंत्रिका नेटवर्क (RNN), जिसमें लॉन्ग शॉर्ट-टर्म मेमोरी (LSTM) आर्किटेक्चर शामिल है
• बहु-आयामी आवर्तक नेटवर्क (MDRNN)
• कोहेनन नेटवर्क / स्व-व्यवस्थित मानचित्र
• जलाशयों
• कॉस्को न्यूरल नेटवर्क / द्विदिश नेटवर्क
• अपनी खुद की संरचना की टोपोलॉजी बनाना

उपकरण

इसके अतिरिक्त, ऐसे सॉफ़्टवेयर उपकरण हैं जो आपको संबंधित कार्यों को कार्यान्वित करने की अनुमति देते हैं:

• भवन / दृश्य चार्ट
• NetCDF समर्थन करते हैं
• XML लिखना / पढ़ना

पुस्तकालय स्थापना

Pybrain स्थापित करने से पहले, निर्माता निम्नलिखित लाइब्रेरी स्थापित करने की सलाह देते हैं:
सेप्टुपूलस पायथन के लिए एक पैकेज मैनेजर है जो नए पुस्तकालयों की स्थापना को बहुत सरल करता है। इसे स्थापित करने के लिए, इस स्क्रिप्ट को डाउनलोड और निष्पादित (python ez_setup.py) करने की सिफारिश की गई है।
स्थापना के बाद, आपके पास कमांड का उपयोग करने का अवसर होगा

easy_install 

नए पुस्तकालय स्थापित करने के लिए।
हम तुरंत उनका उपयोग करेंगे और दो आवश्यक पैकेज स्थापित करेंगे:

 $ easy_install scipy $ easy_install matplotlib 

इसके बाद, PyBrain स्वयं स्थापित है।

• या गितुब के साथ भंडार का उपयोग करें
  
  

   git clone git://github.com/pybrain/pybrain.git 

  
  
• या यहां नवीनतम स्थिर संस्करण डाउनलोड करें । और मानक तरीके से स्थापित करें:
  

   $ python setup.py install 

  
  

पुस्तकालय मूल बातें

तंत्रिका नेटवर्क

दो इनपुट, तीन छिपी परतों और एक आउटपुट के साथ एक तंत्रिका नेटवर्क बनाना:

 >>> from pybrain.tools.shortcuts import buildNetwork >>> net = buildNetwork(2, 3, 1) 

नतीजतन, बनाया गया तंत्रिका सर्किट, भार के यादृच्छिक मूल्यों द्वारा आरंभीकृत होता है, जो शुद्ध वस्तु में स्थित होता है।

सक्रियण समारोह

सक्रियण फ़ंक्शन निम्नानुसार परिभाषित किया गया है:

 net.activate([2, 1]) 

नेटवर्क को प्रेषित तत्वों की संख्या इनपुट की संख्या के बराबर होनी चाहिए। यदि वर्तमान सर्किट में एक आउटपुट है, और अधिक आउटपुट के मामले में एक सरणी है, तो विधि एक विलक्षण उत्तर देती है।

नेटवर्क जानकारी को पुनः प्राप्त करना

वर्तमान नेटवर्क संरचना के बारे में जानकारी प्राप्त करने के लिए, इसके प्रत्येक तत्व का एक नाम है। नेटवर्क बनाते समय यह नाम स्वचालित रूप से या अन्य मानदंडों द्वारा दिया जा सकता है।
उदाहरण के लिए, नेट के लिए, नाम स्वचालित रूप से दिए गए हैं:

 >>> net['in'] <LinearLayer 'in'> >>> net['hidden0'] <SigmoidLayer 'hidden0'> >>> net['out'] <LinearLayer 'out'> 

छिपी हुई परतों को नाम में जोड़ी गई परत संख्या के साथ नाम दिया गया है।

नेटवर्किंग सुविधाएँ

बेशक, ज्यादातर मामलों में, निर्मित तंत्रिका नेटवर्क में डिफ़ॉल्ट लोगों की तुलना में अन्य विशेषताएं होनी चाहिए। इसके लिए विभिन्न संभावनाएं हैं। उदाहरण के लिए, डिफ़ॉल्ट रूप से, किसी अन्य प्रकार को निर्दिष्ट करने के लिए सिग्मॉइड सक्रियण फ़ंक्शन का उपयोग करके एक छिपी हुई परत बनाई जाती है, निम्नलिखित स्थिरांक का उपयोग करना संभव है:

• BiasUnit
• GaussianLayer
• LinearLayer
• LSTMLayer
• MDLSTMLayer
• SigmoidLayer
• SoftmaxLayer
• StateDependentLayer
• TanhLayer

 >>> from pybrain.structure import TanhLayer >>> net = buildNetwork(2, 3, 1, hiddenclass=<b>TanhLayer</b>) >>> net['hidden0'] <TanhLayer 'hidden0'> 

आउटपुट लेयर के प्रकार को निर्दिष्ट करना भी संभव है:

 >>> from pybrain.structure import SoftmaxLayer >>> net = buildNetwork(2, 3, 2, hiddenclass=TanhLayer, outclass=SoftmaxLayer) >>> net.activate((2, 3)) array([ 0.6656323, 0.3343677]) 

इसके अतिरिक्त, पूर्वाग्रह का उपयोग किया जा सकता है।

 >>> net = buildNetwork(2, 3, 1, bias=True) >>> net['bias'] <BiasUnit 'bias'> 

डाटा प्रोसेसिंग (एक डाटासेट का निर्माण)

निर्मित नेटवर्क को उस डेटा को संसाधित करना चाहिए जिसे यह अनुभाग काम करने के लिए समर्पित है। एक विशिष्ट डेटा सेट इनपुट और आउटपुट मानों का एक सेट है। उनके साथ काम करने के लिए, PyBrain pybrain.dataset मॉड्यूल का उपयोग करता है, और SupervisedDataSet क्लास का उपयोग बाद में भी किया जाता है।

डेटा सेटिंग

SupervisedDataSet वर्ग का उपयोग विशिष्ट शिक्षक प्रशिक्षण के लिए किया जाता है। यह आउटपुट और आउटपुट के सरणियों का समर्थन करता है। कक्षा का एक उदाहरण बनाते समय उनके आकार निर्धारित किए जाते हैं:
रिकॉर्ड दृश्य:

 >>> from pybrain.datasets import SupervisedDataSet >>> ds = SupervisedDataSet(2, 1) 

इसका मतलब है कि दो-आयामी इनपुट डेटा और एक-आयामी आउटपुट को संग्रहीत करने के लिए एक डेटा संरचना बनाई जा रही है।

नमूने जोड़ना

एक तंत्रिका नेटवर्क को प्रशिक्षित करने में एक क्लासिक कार्य XOR फ़ंक्शन सीख रहा है, फिर ऐसे नेटवर्क को बनाने के लिए उपयोग किए गए डेटा सेट को दिखाया गया है।

 >>> ds.addSample((0, 0), (0,)) >>> ds.addSample((0, 1), (1,)) >>> ds.addSample((1, 0), (1,)) >>> ds.addSample((1, 1), (0,)) 

नमूना संरचना का अध्ययन

अपने वर्तमान सेट में डेटा सरणियाँ प्राप्त करने के लिए, सरणियों के साथ काम करने के लिए मानक पायथन कार्यों का उपयोग करना संभव है।

 >>> len(ds) 

4 आउटपुट करेगा, क्योंकि यह तत्वों की संख्या है।
सेट पर परिवर्तन भी सामान्य तरीके से सरणियों के लिए आयोजित किया जा सकता है:

 >>> for inpt, target in ds: print inpt, target 

 ... [ 0. 0.] [ 0.] [ 0. 1.] [ 1.] [ 1. 0.] [ 1.] [ 1. 1.] [ 0.] 

इसके अलावा, प्रत्येक फ़ील्ड को उसके नाम का उपयोग करके सीधे एक्सेस किया जा सकता है:

 >>> ds['input'] 

 array([[ 0., 0.], [ 0., 1.], [ 1., 0.], [ 1., 1.]]) 

 >>> ds['target'] 

 array([[ 0.], [ 1.], [ 1.], [ 0.]]) 

आप इसे पूरी तरह से हटाकर नमूना द्वारा कब्जा की गई मेमोरी को मैन्युअल रूप से मुक्त कर सकते हैं:

 >>> ds.clear() >>> ds['input'] 

 array([], shape=(0, 2), dtype=float64) 

 >>> ds['target'] 

 array([], shape=(0, 1), dtype=float64) 

नमूनों पर नेटवर्क प्रशिक्षण

PyBrain एक शिक्षक के साथ नेटवर्क को प्रशिक्षित करने के लिए प्रशिक्षकों की अवधारणा का उपयोग करता है। ट्रेनर नेटवर्क का एक उदाहरण और नमूनों के सेट का एक उदाहरण प्राप्त करता है, और फिर परिणामी सेट पर नेटवर्क को प्रशिक्षित करता है।
एक उत्कृष्ट उदाहरण बैकप्रोपैजेशन है। इस दृष्टिकोण के कार्यान्वयन को सरल बनाने के लिए, PyBrain का बैकप्रॉपट्रेनर वर्ग है।

 >>> from pybrain.supervised.trainers import BackpropTrainer 

नमूनों (डीएस) और लक्ष्य नेटवर्क (नेट) का प्रशिक्षण सेट पहले से ही ऊपर के उदाहरणों में बनाया गया है, अब वे संयुक्त हो जाएंगे।

 >>> net = buildNetwork(2, 3, 1, bias=True, hiddenclass=TanhLayer) >>> trainer = BackpropTrainer(net, ds) 

ट्रेनर को नेटवर्क संरचना का लिंक प्राप्त हुआ और वह इसे प्रशिक्षित कर सकता है।

 >>> trainer.train() 

 0.31516384514375834 

ट्रेन () पद्धति को कॉल करना प्रशिक्षण का एक पुनरावृत्ति (युग) करता है और द्विघात त्रुटि (त्रुटि के दोहरे आनुपातिक) का मान लौटाता है।
यदि प्रत्येक युग के लिए एक चक्र को व्यवस्थित करने की आवश्यकता नहीं है, तो अभिसरण के लिए एक प्रशिक्षण नेटवर्क विधि है:

 >>> trainer.trainUntilConvergence() 

यह विधि प्रत्येक युग के लिए त्रुटियों की एक सरणी लौटाएगी।

विभिन्न नेटवर्क को लागू करने के अधिक उदाहरण

लेख में

टॉम शाहुल, मार्टिन फेल्डर, et.al. PyBrain, जर्नल ऑफ मशीन लर्निंग रिसर्च 11 (2010) 743-746।

.mat फ़ाइल से डेटा लोड करने के साथ एक नेटवर्क बनाने का एक उदाहरण दिया गया है।

 # Load Data Set. ds = SequentialDataSet.loadFromFile('parity.mat') # Build a recurrent Network. net = buildNetwork(1, 2, 1, bias=True, hiddenclass=TanhLayer, outclass=TanhLayer, recurrent=True) recCon = FullConnection(net['out'], net['hidden0']) net.addRecurrentConnection(recCon) net.sortModules() # Create a trainer for backprop and train the net. trainer = BackpropTrainer(net, ds, learningrate=0.05) trainer.trainEpochs(1000) 

कुछ लिंक:

• PyBrain में नेटवर्क को कैसे सेव और लोड करें ?
• PyBrain में अपनी खुद की संरचना का एक नेटवर्क बनाना ।
• मैं PyBrain में नेटवर्क की सीखने की प्रक्रिया का पालन कैसे कर सकता हूं ?
• PyBrain में परिणामी नेटवर्क (नोड्स और आर्क्स) को आउटपुट कैसे करें ?
• PyBrain में प्रशिक्षण सेट कैसे लोड करें ?
• छोटा कैसे शुरू करें , 2010 का लेख।
• एक और एक , 2010 से भी।

निष्कर्ष

अंत में, मैं यह कहना चाहता हूं कि यह लाइब्रेरी बहुत अच्छा प्रभाव डालती है, इसके साथ काम करने के लिए सुविधाजनक है, एल्गोरिदम के विवरण कॉम्पैक्ट हैं, लेकिन कोड के विल्स में अपनी स्पष्टता नहीं खोते हैं।

PS यदि कुछ शब्दों के नामों में संशोधन हैं, तो मैं सुनने के लिए तैयार हूं, मैं कुछ अनुवादों की 100% सटीकता के बारे में सुनिश्चित नहीं हूं, शायद पहले से ही स्थापित नाम हैं।