आर्किटेक्चर plus1.wapstart.ru

शुभ दोपहर, समुदाय!

प्रारंभ में, मैंने डेव्कोन पर रिपोर्ट से सार के रूप में एक लेख लिखने की योजना बनाई। तब मुझे समझ में आया कि पैंतालीस-मिनट का प्रदर्शन हब पर एक लेख को स्थानांतरित करना मुश्किल है, जबकि इसके आकार को छोड़कर। इसलिए, लेख plus1.wapstart.ru की वास्तुकला पर ध्यान केंद्रित करेगा, और सम्मेलन से स्लाइड यहां देखी जा सकती है ।

Plus1.wapstart.ru मोबाइल इंटरनेट के लिए एक विज्ञापन नेटवर्क है। हमारा "इकोसिस्टम" विज्ञापनदाताओं, साइटों (साइटों और एप्लिकेशन) और उपयोगकर्ताओं के दर्शकों का मालिक है।
साइट के मालिक अपने दर्शकों को यथासंभव सरल और कुशलता से कमाई करना चाहते हैं, विज्ञापनकर्ता प्रभावी ढंग से धन का निवेश करना चाहते हैं, विज्ञापन को कम से कम उपभोक्ताओं को परेशान नहीं करना चाहिए, और बहुत कम से कम, उन्हें इससे खुश होना चाहिए।
Plus1.wapstart.ru कार्य इन समूहों की आवश्यकताओं को पूरा करना है। हमारे लिए, उनकी इच्छाओं का मतलब है कि हमें जितनी जल्दी हो सके काम करना चाहिए, एक मिनट के डाउनटाइम की अनुमति न दें और स्वयं विज्ञापन की गुणवत्ता और उपस्थिति की निगरानी करें।

कुछ नंबर:

• पीक लोड> प्रति सेकंड 10 ³ गतिशील प्रश्न।
• हम प्रति दिन ~ 10 ⁷ से अधिक विज्ञापन दिखाते हैं।
• बैनर और साइटों की कुल संख्या को चार-अंकीय संख्याओं में मापा जाता है।
• औसत बैनर वापसी का समय 90ms से अधिक नहीं है।

यदि आप रुचि रखते हैं कि यह कैसे काम करता है, तो बिल्ली में आपका स्वागत है!

लोहा

सॉफ्टवेयर

हम एकरूपता के लिए प्रयास करते हैं:

• मोर्चों - freebsd , nginx ।
• फार्म (एप्लिकेशन सर्वर) - डेबियन जीएनयू / लिनक्स , पीएचपी 5.3 एफपीएम , ओनफैप फ्रेमवर्क , मेमेकैच्ड , अपने स्वयं के डेमोंस (हम अगली रिपोर्ट में उनके बारे में बात करेंगे)।
• डेटाबेस सर्वर - डेबियन जीएनयू / लिनक्स, बॉक्स से बाहर 9.0, प्रतिकृति को पोस्ट करता है।
• सर्वर की सेवा - डेबियन जीएनयू / लिनक्स, ज़ैबिक्स , पिनबा ।

हम एक बैनर का चयन कैसे करते हैं

मुख्य नियम यह है कि अगर किसी चीज की गणना पहले से की जा सकती है, तो उस पर पहले ही विचार कर लेना चाहिए।



प्रक्रिया ही कुछ इस तरह दिखती है:

• हम बैनर प्रदर्शित करने के लिए अनुरोध (http) पार्स करते हैं। तेज भंडारण से
  हमें इस अनुरोध की विशेषताएँ मिलती हैं: ऑपरेटर को IP से परिभाषित करें
  उपयोगकर्ता-एजेंट और अन्य लोगों द्वारा फोन पता, मॉडल और ऑपरेटिंग सिस्टम
  हेडर।
• अनुरोध की प्रत्येक विशेषता के लिए, हमें बैनर की एक सूची मिलती है,
  इस अनुरोध के लिए उपयुक्त है।
• सूचियों की सूची
• बैनर के परिणामी सेट को अतिरिक्त रूप से जांचा जाता है
  "परीक्षक"। ऐसा इसलिए है क्योंकि कुछ जांच की जा सकती है।
  केवल रनटाइम पर, जैसा कि वे एक विशिष्ट अनुरोध से बंधे हैं।
  उदाहरण के लिए, उपयोगकर्ता को बैनर दिखाने का कोई मतलब नहीं है अगर वह पहले से ही है
  मैंने 10 बार देखा और उस पर क्लिक नहीं किया।

हम आंकड़ों की गणना कैसे करते हैं

विकास के लिए हमेशा तैयार रहना चाहिए। प्रक्रियाओं को इस तरह से रखा जाना चाहिए कि वे आसानी से समानांतर हो सकें।

यह इस तरह काम करता है:

• प्रत्येक सर्वर धारावाहिक रूप में फ़ाइल के लिए सांख्यिकीय घटनाओं (प्रदर्शन तथ्य, क्लिक तथ्य, आदि) को लिखता है।
• नाम की फ़ाइल में टाइमस्टैम्प होता है।
• फ़ाइल हैंडलर रिकॉर्ड्स को फ़ाइल से समूहीकृत करता है, सजातीय घटनाओं को एक रिकॉर्ड में "समाप्‍त" करता है, परिणामी सेट को डेटाबेस में एक अस्थायी तालिका में लिखता है और फ़ाइल को संग्रहीत करता है।
• अस्थायी तालिका में नाम में टाइमस्टैम्प होता है। इसे प्रति घंटा तालिकाओं में एकत्र करने के बाद, इसे गिरा दिया जाता है।
• प्रति घंटा की मेज से, दैनिक तालिकाओं का निर्माण होता है, और दैनिक तालिकाओं से, मासिक वाले से। प्रत्येक प्रकार की तालिका में डेटा की एक निश्चित संग्रहण आयु होती है।

निगरानी

अब हम zabbix को मुख्य निगरानी सेवा के रूप में उपयोग करते हैं। मैं यह नहीं कह सकता कि यह तेज़ है, लेकिन यह ट्रिगर्स और सर्वर के हमारे सेट पर बहुत अच्छा काम करता है। न केवल लोहे के संकेतक (io, cpu, la) और अनुप्रयोग संकेतक (वापसी का समय, लॉग वृद्धि) की निगरानी की जाती है, बल्कि व्यापार मीट्रिक (व्यापार रहस्य :) भी।
आवेदन के परिचालन आंकड़ों को इकट्ठा करने के लिए, हम पिनबा का उपयोग करते हैं (मैंने पहले से ही इसके बारे में लिखा है :))।
सबसे महत्वपूर्ण ट्रिगर एसएमएस के माध्यम से हमारे पास आते हैं।

त्रुटियों

सबकी गलतियाँ हैं। स्वाभाविक रूप से, डेवलपर्स को त्रुटियों के बारे में पता होना चाहिए, और उपयोगकर्ता के बारे में जानने से पहले उनके बारे में सीखना उचित है। त्रुटियों को इकट्ठा करने के लिए हम syslog का उपयोग करते हैं, php का लाभ
जानता है कि वहाँ कैसे लॉग इन करें। Syslog से डेटा एक सर्विंग सर्वर पर एकत्र किया जाता है और हर N मिनट को मेलिंग सूची में भेजा जाता है। इससे आप समस्याओं को जल्दी पकड़ सकते हैं।

इस पर, शायद, आप समाप्त कर सकते हैं। टिप्पणियों में संवाद जारी रखा जा सकता है। हमारी टीम आपके सवालों का जवाब देने में प्रसन्न होगी।

ps। हम समुदाय के साथ अपनी सर्वोत्तम प्रथाओं को साझा करते हैं - https://github.com/Wapstart
पी पी एस। इस बारे में एक अलग पोस्ट होगी कि हम अपने अनुप्रयोगों को कैसे "धोखा" देते हैं।