निर्णय पेड़ों का उपयोग वर्गीकरण और प्रतिगमन

परिचय

यह लेख निर्णय पेड़ों और तीन मुख्य एल्गोरिदम का अवलोकन प्रदान करता है जो वर्गीकरण और प्रतिगमन मॉडल बनाने के लिए इन पेड़ों का उपयोग करते हैं। बदले में, यह दिखाया जाएगा कि कैसे निर्णय वृक्ष, शुरू में वर्गीकरण की ओर उन्मुख होते हैं, प्रतिगमन के लिए उपयोग किया जाता है।

निर्णय वृक्ष

निर्णय वृक्ष एक पेड़ है जिसके पत्तों में वस्तुनिष्ठ फ़ंक्शन के मान होते हैं, और अन्य नोड्स में संक्रमण की स्थिति होती है (उदाहरण के लिए, "FLOOR MEN'S") जो निर्धारित करता है कि किस किनारे पर जाना है। यदि इस अवलोकन के लिए स्थिति सही है, तो बाएं किनारे के साथ संक्रमण किया जाता है, अगर झूठ दाईं ओर है।

वर्गीकरण

ऊपर की छवि आईरिस वर्गीकरण पेड़ को दिखाती है। वर्गीकरण तीन वर्गों में जाता है (छवि में लेबल - लाल, नीला और हरा), और मापदंडों के अनुसार गुजरता है: sepal length \ मोटाई (SepalLen, SepalWid) और पंखुड़ी लंबाई \ (PetalLen, PetalLid)। जैसा कि आप देख सकते हैं, प्रत्येक नोड का एक वर्ग से संबंधित होता है (इस पर निर्भर करता है कि कौन से तत्व इस नोड में अधिक हो गए हैं), जितने अवलोकनों की संख्या एन है, साथ ही प्रत्येक वर्ग की संख्या भी है। इसके अलावा, पत्ती के कोने में नहीं एक संक्रमण की स्थिति है - एक बच्चे के लिए। तदनुसार, इन स्थितियों के अनुसार, नमूना विभाजित है। नतीजतन, इस पेड़ ने लगभग पूरी तरह से (150 में से 6 गलत तरीके से) प्रारंभिक डेटा (अर्थात्, प्रारंभिक डेटा - जिन पर यह प्रशिक्षित किया गया था) को वर्गीकृत किया।

वापसी

यदि वर्गीकरण में शीट में परिणामी कक्षाएं शामिल हैं, तो प्रतिगमन उद्देश्य फ़ंक्शन के कुछ मूल्य के लायक है।


उपरोक्त छवि में, एक प्रतिगमन वृक्ष, जो कि १ ९ image image में बोस्टन शहर में जमीन की कीमत निर्धारित करने के लिए, मापदंडों के आधार पर आरएम - कमरों की संख्या, एलएसएटीएटी - गरीबों का प्रतिशत और कई अन्य मापदंडों (अधिक विवरण के लिए, देखें [४])। तदनुसार, यहां प्रत्येक नोड में हम औसतन मान (औसत) और मानक विचलन (एसटीडी) देखते हैं, जो इस शिखर पर गिरे प्रेक्षणों के उद्देश्य फ़ंक्शन के मान हैं। टिप्पणियों की कुल संख्या नोड एन में गिर गई। प्रतिगमन का परिणाम औसत मूल्य (औसत) होगा, जिस पर अवलोकन गिर जाएगा।
इस प्रकार, प्रारंभिक वर्गीकरण पेड़ प्रतिगमन के लिए भी काम कर सकता है। हालांकि, इस दृष्टिकोण के साथ, बड़े वृक्षों के आकार को आमतौर पर अच्छे प्रतिगमन परिणामों को प्राप्त करने के लिए वर्गीकरण की आवश्यकता होती है।

मुख्य विधियाँ

नीचे सूचीबद्ध कुछ बुनियादी तरीके हैं जो निर्णय पेड़ों का उपयोग करते हैं। उनका संक्षिप्त विवरण, पेशेवरों और विपक्ष।

कार्ट

कार्ट (अंग्रेजी वर्गीकरण और प्रतिगमन पेड़ - वर्गीकरण और प्रतिगमन पेड़) 1983 में डेटा विश्लेषण के क्षेत्र में चार प्रसिद्ध वैज्ञानिकों द्वारा आविष्कार किए गए तरीकों में से पहला था: लियो ब्रेमन, जेरोम फ्रीडमैन, रिचर्ड ओल्सेन और स्टोन [1]।
इस एल्गोरिथ्म का सार निर्णय पेड़ का सामान्य निर्माण है, न अधिक और न कम।
पहली पुनरावृत्ति पर, हम सभी संभव (असतत अर्थों में) हाइपरप्लेन का निर्माण करते हैं जो हमारे अंतरिक्ष को दो भागों में विभाजित करेगा। अंतरिक्ष के ऐसे विभाजन के लिए, विभिन्न वर्गों के प्रत्येक उप-स्थान में टिप्पणियों की संख्या पर विचार किया जाता है। नतीजतन, हम एक विभाजन का चयन करते हैं जो अधिकतम रूप से अवलोकन के उप-वर्गों में से किसी एक वर्ग को अलग करता है। तदनुसार, यह विभाजन हमारे निर्णय वृक्ष की जड़ होगा, और इस पुनरावृत्ति में शीट दो विभाजन होंगे।
निम्नलिखित पुनरावृत्तियों में, हम एक सबसे खराब (विभिन्न वर्गों की टिप्पणियों की संख्या के अनुपात के अर्थ में) शीट लेते हैं और इसे विभाजित करने के लिए एक ही ऑपरेशन करते हैं। नतीजतन, यह शीट कुछ प्रकार के विभाजन के साथ एक नोड बन जाती है, और दो शीट।
हम इसे तब तक जारी रखते हैं जब तक कि हम नोड्स की संख्या पर सीमा तक नहीं पहुंच जाते हैं, या सामान्य त्रुटि (पूरे पेड़ द्वारा गलत तरीके से वर्गीकृत टिप्पणियों की संख्या) एक पुनरावृत्ति से दूसरे में सुधार करना बंद कर देती है। हालांकि, परिणामी पेड़ "मुकर जाएगा" (प्रशिक्षण सेट के अनुरूप होगा) और, तदनुसार, अन्य डेटा के लिए सामान्य परिणाम नहीं देगा। "रीट्रेनिंग" से बचने के लिए, परीक्षण नमूने (या क्रॉस-वैलिडेशन) का उपयोग किया जाता है और, तदनुसार, एक रिवर्स विश्लेषण किया जाता है (तथाकथित छंटाई), जब परीक्षण नमूने के आधार पर पेड़ को कम किया जाता है।
एक अपेक्षाकृत सरल एल्गोरिथ्म, जिसके परिणामस्वरूप एकल निर्णय ट्री होता है। इसके कारण, प्रारंभिक डेटा विश्लेषण के लिए सुविधाजनक है, उदाहरण के लिए, चर और दूसरे के बीच संबंधों के अस्तित्व की जांच करना।
फास्ट मॉडल बिल्डिंग
आसानी से व्याख्या की गई (मॉडल की सादगी के कारण, आप आसानी से पेड़ को प्रदर्शित कर सकते हैं और पेड़ के सभी नोड्स का पता लगा सकते हैं)
अक्सर एक स्थानीय समाधान पर अभिसरण होता है (उदाहरण के लिए, पहले चरण में, एक हाइपरप्लेन चुना गया था जो अधिकतम रूप से इस कदम पर अंतरिक्ष को विभाजित करता है, लेकिन साथ ही साथ यह एक इष्टतम समाधान नहीं होगा)

RandomForest

रैंडम फ़ॉरेस्ट (रैंडम फ़ॉरेस्ट) - एडेल कटलर [2] के सहयोग से चार में से एक - लियो ब्रेमन द्वारा CART के बाद आविष्कार की गई एक विधि, जो निर्णय पेड़ों की एक समिति (कलाकारों की टुकड़ी) के उपयोग पर आधारित है।
एल्गोरिथ्म का सार यह है कि प्रत्येक पुनरावृत्ति पर चर का एक यादृच्छिक चयन किया जाता है, जिसके बाद, इस नए चयन पर, निर्णय वृक्ष का निर्माण शुरू किया जाता है। इस मामले में, "बैगिंग" का प्रदर्शन किया जाता है - प्रशिक्षण के लिए यादृच्छिक दो-तिहाई टिप्पणियों का एक नमूना, और शेष तीसरे का उपयोग परिणाम का मूल्यांकन करने के लिए किया जाता है। ऐसा ऑपरेशन सैकड़ों या हजारों बार किया जाता है। परिणामस्वरूप मॉडल मॉडलिंग द्वारा प्राप्त पेड़ों के सेट के "वोट" का परिणाम होगा।
उच्च गुणवत्ता वाले परिणाम, विशेष रूप से बड़ी संख्या में चर और टिप्पणियों की एक छोटी संख्या के साथ डेटा के लिए।
समानांतर करने की क्षमता
कोई परीक्षण नमूना आवश्यक नहीं है
प्रत्येक पेड़ विशाल है, परिणामस्वरूप, मॉडल विशाल है
अच्छे परिणाम प्राप्त करने के लिए लंबी मॉडल बिल्डिंग।
जटिल मॉडल व्याख्या (सैकड़ों या हजारों बड़े पेड़ों की व्याख्या करना मुश्किल है)

स्टोचैस्टिक ग्रेडिंग बूस्टिंग

स्टोचस्टिक ग्रैडिएंट बूस्टिंग एक डेटा विश्लेषण विधि है जिसे 1999 में जेरोम फ्रीडमैन द्वारा पेश किया गया था, जो प्रतिगमन समस्या का एक समाधान है (जिससे वर्गीकरण कम किया जा सकता है) "कमजोर" - पूर्वानुमान निर्णय पेड़ों की एक समिति (कलाकारों की टुकड़ी) का निर्माण।
पहले पुनरावृत्ति पर, सीमित संख्या में नोड्स के साथ एक निर्णय वृक्ष का निर्माण किया जाता है। उसके बाद, इस अंतर पर विचार किया जाता है कि परिणामी पेड़ ने क्या सीखा है (प्रत्येक पेड़ की "कमजोरी" का गुणांक) और इस चरण में वांछित चर के गुणन से गुणा किया है।
यि + १ = यि-यि * सीखते हैं
और पहले से ही इस अंतर पर अगले पुनरावृत्ति का निर्माण किया जा रहा है। यह तब तक जारी रहता है जब तक कि परिणाम में सुधार नहीं होता है। यानी प्रत्येक चरण में हम पिछले पेड़ की त्रुटियों को ठीक करने का प्रयास करते हैं। हालांकि, परीक्षण डेटा (सिमुलेशन में शामिल नहीं) का उपयोग करना बेहतर है, क्योंकि प्रशिक्षण डेटा पर मुकर जाना संभव है।
उच्च गुणवत्ता वाले परिणाम, विशेष रूप से बड़ी संख्या में टिप्पणियों और चर की एक छोटी संख्या के साथ डेटा के लिए।
तुलनात्मक रूप से (पिछले विधि के साथ) मॉडल का छोटा आकार, चूंकि प्रत्येक पेड़ दिए गए आकारों द्वारा सीमित है।
तुलनात्मक रूप से (पिछली पद्धति के साथ) फास्ट टाइम इष्टतम मॉडल बिल्डिंग
परीक्षण नमूना आवश्यक (या क्रॉस-मान्यता)
अच्छी तरह से समानांतर करने में असमर्थता
त्रुटिपूर्ण डेटा और रीट्रेनिंग के लिए अपेक्षाकृत कमजोर प्रतिरोध
परिष्कृत मॉडल व्याख्या (रैंडम वन में समान)

निष्कर्ष

जैसा कि हमने देखा, प्रत्येक विधि के पेशेवरों और विपक्ष हैं, और तदनुसार, कार्य और स्रोत डेटा के आधार पर, जब हल करते हैं, तो आप तीन तरीकों में से एक का उपयोग कर सकते हैं और वांछित परिणाम प्राप्त कर सकते हैं। हालांकि, प्रशिक्षण और अनुसंधान के लिए विश्वविद्यालयों में CART का उपयोग अधिक किया जाता है, जब एक समाधान के लिए कुछ स्पष्ट वर्णनात्मक आधार की आवश्यकता होती है (जैसा कि बोस्टन में भूमि की कीमत का विश्लेषण करने के उपरोक्त उदाहरण में है)। और औद्योगिक समस्याओं को हल करने के लिए आमतौर पर अपने वंशजों में से एक का उपयोग करते हैं - रैंडम फ़ॉरेस्ट या ट्रीनेट।
इन विधियों को कई आधुनिक डेटा विश्लेषण पैकेजों में पाया जा सकता है:

• सैलफोर्ड प्रेडिक्टिव मॉडलिंग सूट
• SPSS
• एसएएस
• प्रोजेक्ट आर के लिए डेटा विश्लेषण पैकेज

संदर्भ

1. "वर्गीकरण और प्रतिगमन पेड़।" ब्रेमन एल।, फ्रीडमैन जेएच, ओल्शेन आर। ए, स्टोन सीजे
2. "यादृच्छिक वन"। ब्रीमन एल।
3. "स्टोचैस्टिक ग्रेडिंग बूस्टिंग।" फ्राइडमैन झा
4. http://www.cs.toronto.edu/~delve/data/boston/bostonDetail.html