स्पार्क: Hadoop की तुलना में 30 गुना तेजी से डेटा खनन

बर्कले में कैलिफोर्निया विश्वविद्यालय में, उन्होंने क्लस्टर में वितरित कंप्यूटिंग के लिए स्पार्क फ्रेमवर्क विकसित किया। कुछ कार्यों पर, यह MapReduce की मापनीयता और विश्वसनीयता को बनाए रखते हुए, 10-30 बार Hadoop से आगे निकल जाता है।

विशिष्ट कार्यों पर 30x तक उत्पादकता बढ़ाना संभव है जिसमें एक ही डेटा सेट के लिए निरंतर अपील है। उदाहरण के लिए, ये इंटरैक्टिव डेटा माइनिंग और पुनरावृत्ति एल्गोरिदम हैं जो सक्रिय रूप से उपयोग किए जाते हैं, उदाहरण के लिए, मशीन लर्निंग सिस्टम में। दरअसल, इन दो कार्यों के लिए परियोजना बनाई गई थी। लेकिन स्पार्क न केवल मशीन लर्निंग सिस्टम में, बल्कि पारंपरिक डेटा प्रोसेसिंग अनुप्रयोगों में भी हैडोप से बेहतर है।

स्पार्क में मुख्य नवाचार एक नई अमूर्तता की शुरुआत है, रेसिलिएंट वितरित डेटासेट्स (आरडीडी): यह क्लस्टर मशीनों पर वितरित की जाने वाली केवल-पढ़ने वाली वस्तुओं का एक समूह है। वे डिस्क विफलता की स्थिति में बहाल हो जाते हैं और स्मृति में रह सकते हैं। उदाहरण के लिए, आरडीडी के आकार में 39 जीबी तक, 1 एस से कम की एक्सेस गति की गारंटी है।

प्रोग्रामिंग को सरल बनाने के लिए, स्पार्क को स्केल 2.8.1 प्रोग्रामिंग भाषा के सिंटैक्स में एकीकृत किया गया है, जिससे आप स्थानीय वस्तुओं के साथ आरडीडी को आसानी से जोड़ सकते हैं। इसके अलावा, स्पार्क को मेसोस प्रबंधक के तहत से लॉन्च किया गया है, इसलिए इसका उपयोग हाडोप या अन्य रूपरेखाओं के समानांतर किया जा सकता है।

यहाँ कुछ उदाहरण हैं ।

पाठ खोज

val file = spark.textFile( "hdfs://..." )
val errors = file. filter ( line => line.contains("ERROR") )
// Count all the errors
errors. count ()
// Count errors mentioning MySQL
errors. filter ( line => line.contains("MySQL") ). count ()
// Fetch the MySQL errors as an array of strings
errors. filter ( line => line.contains("MySQL") ). collect ()

यह वह जगह है जहाँ लॉग में त्रुटि संदेश खोजे जाते हैं। लाल टुकड़े स्कैला लूपबैक प्रक्रियाएं हैं जो स्वचालित रूप से क्लस्टर में स्थानांतरित हो जाती हैं, नीले स्पार्क ऑपरेटरों को संकेत दिया जाता है।

स्मृति में पाठ खोजें
स्पार्क इन डेटासेट्स को तेज करने और फिर से एक्सेस करने के लिए इन-मेमोरी आरडीडी को कैश कर सकता है। पिछले उदाहरण के लिए, हम केवल एक पंक्ति जोड़ सकते हैं, जो मेमोरी में केवल त्रुटि संदेशों को कैश करेगा।

errors. cache ()

उसके बाद, इस प्रकार के डेटा के प्रसंस्करण में काफी तेजी आती है।

शब्द गणना
यह उदाहरण जोड़े (स्ट्रिंग, इंट) के साथ डेटा सेट बनाने के लिए कई चरणों को दिखाता है और इसे एक फाइल पर लिखता है।

val file = spark.textFile( "hdfs://..." )
val counts = file. flatMap ( line => line.split(" ") )
. map ( word => (word, 1) )
. reduceByKey ( _ + _ )
counts. saveAsText ( "hdfs://..." )

लॉजिस्टिक रिग्रेशन
यह एक सांख्यिकीय मॉडल है जिसका उपयोग किसी लॉजिस्टिक वक्र के लिए डेटा फिटिंग करके किसी घटना की संभावना का अनुमान लगाने के लिए किया जाता है। यह पुनरावृत्ति एल्गोरिथ्म मशीन सीखने की प्रणाली में व्यापक रूप से उपयोग किया जाता है, लेकिन अन्य अनुप्रयोगों में उपयोग किया जा सकता है, उदाहरण के लिए, स्पैम मान्यता में। यह एल्गोरिदम विशेष रूप से रैम में आने वाले डेटा को कैशिंग से लाभान्वित करता है।

val points = spark.textFile(...). map (parsePoint). cache ()
var w = Vector.random(D) // current separating plane
for (i <- 1 to ITERATIONS) {
val gradient = points. map ( p =>
(1 / (1 + exp(-py*(w dot px))) - 1) * py * px
). reduce ( _ + _ )
w -= gradient
}
println( "Final separating plane: " + w)

आरेख 80-कोर क्लस्टर में 30 जीबी डेटासेट पर लॉजिस्टिक रिग्रेशन मॉडल की गणना करते समय स्पार्क और हडोप प्रदर्शन की तुलना दिखाता है।



स्पार्क एक मुक्त बीएसडी लाइसेंस के तहत प्रकाशित किया जाता है।
डाउनलोड पृष्ठ
प्रलेखन
प्रश्न: मेलिंग सूची