Erlang'e पर शुरुआती के लिए MapReduce

मैं एरलैंग में अपना डाइव जारी रखता हूं। Erlang पर निगरानी के लिए हमारी सेवाओं में से एक को फिर से लिखने के लिए पहले से ही एक मुश्किल योजना है। अब हम कुछ उत्पादों और आंतरिक कार्यों जैसे क्यूए के लिए एक मंच के रूप में विंडोज एज़्योर और अमेज़ॅन ईसी 2 बादलों में महारत हासिल कर रहे हैं, इसलिए कोड को फिर से लिखने के बिना कई कोर और मशीनों का उपयोग करने की क्षमता आशाजनक दिखती है।

तो, शुरुआत के लिए, एक सरल लेकिन वास्तविक दुनिया का उदाहरण ~ 2000 फ़ाइल परियोजना है। हमें प्रयुक्त पर्यावरण चर की एक सूची बनाने की आवश्यकता है। यही है, "getenv (...)" और "GetVariable (...)" (यह हमारा आवरण है) लाइनों की घटनाओं को ढूंढें और उनसे पैरामीटर को फाड़ दें।

कार्य सीधा है और लंबे समय तक सी ++ प्रोग्राम द्वारा हल किया गया है, जो निर्देशिका ट्रैवर्सल भी नहीं करता है, लेकिन बस यूनिक्स को "खोज" कहता है, जो मास्क द्वारा फाइलों की एक सूची तैयार करता है, और फिर सूची पर फाइलों को हटा देता है। 2000 फ़ाइलों पर, यह एक थ्रेड में कुछ सेकंड के लिए काम करता है।

अब एर्लांग। यहाँ मैं अनुक्रमिक फ़ाइल ट्रैवर्सल की तुलना में अधिक घुंघराले हलचल करना चाहता हूं। MapReduce बस विषय के बारे में है - आप फ़ाइलों की एक सूची बना सकते हैं, फिर समानांतर (मैप) में प्रत्येक फ़ाइल का विश्लेषण कर सकते हैं, पाया गया चर नाम संचित कर सकते हैं, और अंतिम प्रक्रिया में सभी प्राप्त प्रविष्टियों (रिड्यूस), हमारे मामले में, बस प्रत्येक चर की घटनाओं की संख्या की गणना करें।

वास्तव में, मेरा कोड " प्रोग्रामिंग एरलांग" से उदाहरण को दोहराता है और उसी पुस्तक से फॉफ्स (समानांतर उच्च क्रम वाले फ़ंक्शन) मॉड्यूल का उपयोग करता है।

-module(find_variables). -export([main/0, find_variables_in_file/2, process_found_variables/3]). -define(PATH, "/Projects/interesting_project"). -define(MASK, "\\..*(cpp|c)"). main() -> io:format("Creating list of files...~n", []), %     .   - % ,    . Files = filelib:fold_files(?PATH, ?MASK, true, fun(N, A) -> [N | A] end, []), io:format("Found ~b file(s)~n", [length(Files)]), F1 = fun find_variables_in_file/2, % Map F2 = fun process_found_variables/3, % Reduce %  MapReduce   benchmark,   % . benchmark(fun() -> L = phofs:mapreduce(F1, F2, [], Files), io:format("Found ~b variable(s)~n", [length(L)]) end, "MapReduce"). benchmark(Worker, Title) -> {T, _} = timer:tc(fun() -> Worker() end), io:format("~s: ~f sec(s)~n", [Title, T/1000000]). -define(REGEXP, "(getenv|GetVariable)\s*\\(\s*\"([^\"]+)\"\s*\\)"). % Map.   . find_variables_in_file(Pid, FileName) -> case file:open(FileName, [read]) of {ok, File} -> %    . {_, RE} = re:compile(?REGEXP), %       %      . CallBack = fun(Var) -> Pid ! {Var, 1} end, find_variable_in_file(File, RE, CallBack), file:close(File); {error, Reason} -> io:format("Unable to process '~s', ~p~n", [FileName, Reason]), exit(1) end. % Reduce.  .     %  MapReduce        % ,   .       % {VarName, 1}.      VarName  %  ,       . %      . process_found_variables(Key, Vals, A) -> [{Key, length(Vals)} | A]. %   . find_variable_in_file(File, RE, CallBack) -> case io:get_line(File, "") of eof -> void; Line -> scan_line_in_file(Line, RE, CallBack), find_variable_in_file(File, RE, CallBack) end. %        ( ), %      CallBack      % . scan_line_in_file(Line, RE, CallBack) -> case re:run(Line, RE) of {match, Captured} -> [_, _, {NameP, NameL}] = Captured, Name = string:substr(Line, NameP + 1, NameL), CallBack(Name); nomatch -> void end. 

प्रोग्राम का निर्माण करने के लिए आपको फूफ मॉड्यूल की आवश्यकता होती है । यह सार्वभौमिक है, विशिष्ट मानचित्र और कार्यों को कम करने के लिए स्वतंत्र है।

और मेकफाइल सिर्फ मामले में:

  target = find_variables all: erlc $(target).erl erlc phofs.erl erl -noshell -s $(target) main -s init stop clean: -rm *.beam *.dump 

बड़ा हो गया। जैसा कि मैंने पहले ही कहा, मेरी मशीन पर "खोज" कॉल के समय के साथ एक C ++ प्रोग्राम 1-2 सेकंड के लिए चलता है। Erlang'e संस्करण ~ 20 सेकंड काम करता है। बुरा? यह इस बात पर निर्भर करता है कि आप कैसे दिखते हैं। यदि प्रत्येक फ़ाइल का विश्लेषण अधिक लंबा होगा (अर्थात, प्रोग्राम फ़ाइल का विश्लेषण करने में अधिकांश समय बिताएगा, और निर्देशिकाओं को दरकिनार नहीं करेगा), तो यह पूरी तरह से स्पष्ट नहीं है कि फ़ाइलों की संख्या और विश्लेषण की जटिलता को बढ़ाते समय कौन सा समाधान अधिक व्यावहारिक होगा।

मैं एरलांग के लिए नया हूं, इसलिए मैं कोड की आलोचना के लिए आभारी रहूंगा।

संबंधित पोस्ट:

• Erlang'e पर टीसीपी / आईपी प्रॉक्सी