गो के साथ लोड टेस्ट

शुभ दोपहर, हबरहाब।
आप शायद JMeter से परिचित हैं। यदि संक्षेप में - लोड परीक्षण करने के लिए एक बहुत ही सुविधाजनक उपकरण, इसकी महान कार्यक्षमता और कई, कई उपयोगी विशेषताएं हैं। लेकिन लेख उसके बारे में नहीं है।

इसकी शुरुआत कहां से हुई

हमारी परियोजना में एक अधिक भरी हुई नोड है, जेमीटर ने लंबे समय तक मदद की। प्रोफाइलिंग और अनुकूलन ने अपना लाभ दिया, लेकिन सब कुछ एक छोटी सी समस्या में चला गया। JMeter बहुत बड़ा ट्रैफ़िक नहीं बना सका, और अधिक सटीक रूप से, हमारे द्वारा आवश्यक मोड के 10 सेकंड के बाद, OutOfMemory जगह ले ली और परीक्षण बंद कर दिया, कुछ मामलों में कोई समस्या नहीं थी, लेकिन अनुरोध भेजने की गति में काफी कमी आई, जबकि CPU लोड 400% था, इसे हल किया गया था कार्यक्रम को पुनः आरंभ करना। यह उपयोग करने के लिए बेहद असहज था।
तो, हमारे पास एक समस्या है, और हमें इसे हल करने की आवश्यकता है, पहली बात जो दिमाग में आई है वह है अपना मिनी-टेस्ट करना जो न्यूनतम आवश्यकताओं को पूरा करता है। यह लंबे समय से गो के स्वाद की कोशिश करने के लिए दिलचस्प है। तो गो-मीटर एप्लिकेशन का जन्म हुआ। लिखते समय, बहुत सारे प्रश्न थे, जिनके उत्तर या तो नहीं थे, या उन्होंने समस्या की व्याख्या नहीं की थी, इसलिए मैंने अपना अनुभव और कार्य कोड का एक उदाहरण साझा करने का निर्णय लिया, यदि आप रुचि रखते हैं, तो मैं एक निवेदन करता हूं।

प्रस्तावना

मुझे लगता है कि किस तरह की भाषा लिखने से कोई मतलब नहीं है, आप हमेशा मूल तत्वों का खुलासा करने वाली भाषा का एक दौरा देख सकते हैं। पर्यावरण को कैसे स्थापित और कॉन्फ़िगर किया जाए यह भी इसके लायक नहीं है, सब कुछ प्रलेखन में पूरी तरह से समझने योग्य भाषा में लिखा गया है।
आपने गो क्यों चुना? ऐसे कई मानदंड हैं जो मेरे लिए बहुत महत्वपूर्ण हैं: यह तेजी से काम करता है, क्रॉस-प्लेटफॉर्म, ऐसे प्रवाह हैं जो प्रबंधन करने में आसान हैं, असामान्य हैं। बेशक, आप कहते हैं कि आप इसे किसी अन्य भाषा में लिख सकते हैं। मैं आपसे सहमत हूं, लेकिन कार्य केवल लिखना नहीं था, बल्कि कुछ नया सीखना भी था।

चलिए शुरू करते हैं

बिना किसी हिचकिचाहट के, JSON प्रारूप में परीक्षण प्रोफ़ाइल को संग्रहीत करने का निर्णय लिया गया, आवेदन शुरू करने के बाद, प्रोफ़ाइल पढ़ी जाती है और परीक्षण शुरू किया जाता है। परीक्षण के दौरान, कंसोल में एक सारांश तालिका प्रदर्शित की जाती है (प्रतिक्रिया समय, प्रति सेकंड अनुरोधों की संख्या और त्रुटियों, चेतावनियों और सफल अनुरोधों का प्रतिशत)। JSON के साथ, सब कुछ सरल है, इसके लिए आपको प्रत्येक तत्व के लिए संरचनाएं बनाने की जरूरत है, फ़ाइल खोलें और पढ़ें:

func (this *Settings) Load(fileName string) error { file, e := ioutil.ReadFile(fileName); if e != nil { return e } e = json.Unmarshal(file, this); if e != nil { return e } return nil } 

और आगे चलते हैं। शुरू करने के बाद, हमें एन-थ्रेड्स शुरू करने की आवश्यकता है, और उनमें से प्रत्येक को वर्कआउट करने के बाद, डेटा को एग्रीगेट करें, फिर इसे कंसोल को खूबसूरती से आउटपुट करें। इसके लिए, इस दिलचस्प भाषा में चैनल हैं। विभिन्न धाराओं के बीच एक प्रकार का "पाइप"। कोई तुल्यकालन, ताले की जरूरत है, सब कुछ हमारे लिए किया जाता है। यह विचार यह है: एक थ्रेड एक अनुरोध भेजता है, परिणाम निर्धारित करता है, और इसे मुख्य थ्रेड को रिपोर्ट करता है, जो बदले में इंतजार करता है जब तक कि सभी थ्रेड पूरे नहीं हो जाते हैं और प्राप्त सभी डेटा को आउटपुट करते हैं। धाराएँ हमारे द्वारा संरचना हस्तांतरण के माध्यम से संवाद करेंगी:

 type Status struct { IsError bool IsWarning bool IsSuccess bool Duration *time.Duration Size int64 IsFinished bool Error *error FinishedAt *time.Time StartedAt *time.Time } 

प्रत्येक थ्रेड निर्दिष्ट संसाधन के लिए M-time HTTP अनुरोध निष्पादित करेगा। यदि हमारे पास एक POST अनुरोध है, तो अभी भी कुछ डेटा भेजना होगा जो उपयोगकर्ता चाहता है:

 func StartThread(setts *settings.Settings, source *Source, c chan *Status){ iteration := setts.Threads.Iteration //  key, value    header := map[string]string{} for _, s := range setts.Request.Headers { keyValue := regexp.MustCompile("=").Split(s, -1) header[keyValue[0]] = keyValue[1] } sourceLen := len(*source) // URL url := setts.Remote.Protocol + "://" + setts.Remote.Host + ":" + strconv.Itoa(setts.Remote.Port) + setts.Request.Uri if iteration < 0 { iteration = sourceLen } index := -1 for ;iteration > 0; iteration-- { status := &Status{false, false, false, nil, 0, false, nil, nil, nil} index++ if index >= sourceLen { if setts.Request.Source.RestartOnEOF { index = 0 } else { index-- } } //     var s *bytes.Buffer if strings.ToLower(setts.Request.Method) != "get" { s = bytes.NewBuffer((*source)[index]) } // HTTP  req, err := http.NewRequest(setts.Request.Method, url, s); if err != nil { status.Error = &err status.IsError = true c <- status break } //  for k,v := range header { req.Header.Set(k,v) } //  startTime := time.Now() //  res, err := http.DefaultClient.Do(req); if err != nil { status.Error = &err status.IsError = true c <- status break } endTime := time.Now() //   status.FinishedAt = &endTime status.StartedAt = &startTime diff := endTime.Sub(startTime) //        3  (Error, Warning, Success) checkStatus(setts.Levels, res, diff, status) //  ioutil.ReadAll(res.Body) res.Body.Close() //   c <- status //    ,   if setts.Threads.Delay > 0 { sleep := time.Duration(setts.Threads.Delay) time.Sleep(time.Millisecond * sleep) } } //      status := &Status{false, false, false, nil, 0, true, nil, nil, nil} c <- status } 

यह कार्यक्रम स्टार्टअप पर हमारे सूत्र शुरू करने और उनसे डेटा सुनने के लिए ही रहता है

 c := make(chan *Status, iteration * setts.Threads.Count) for i := 0; i < setts.Threads.Count; i++{ go StartThread(&setts, source, c) } for i := iteration * setts.Threads.Count; i>0 ; i-- { counter(<-c) } fmt.Println("Completed") 

एक निष्कर्ष के बजाय

मेरी राय में, ये सबसे दिलचस्प क्षण हैं। GitHub पर सभी स्रोत उपलब्ध हैं, वहां आप उपयोग के उदाहरण के साथ काम के पूरे चक्र को देख सकते हैं। वास्तव में, इस चमत्कारिक भाषा ने इस कार्य को रूचि के साथ सामना किया; जब ट्रैफ़िक जेएममीटर के मामले में 3 गुना अधिक था, तो प्रोसेसर लोड शायद ही कभी 15% से अधिक था।
यदि यह दिलचस्प है, तो मैं MongoDB और Redis में स्टोरेज के साथ HTTP रिस्टफ़ुल वेब सेवा लिखने की प्रक्रिया के बारे में बात करूँगा।

आपका ध्यान के लिए धन्यवाद!