वास्तुकला और परियोजना मंच Odnoklassniki

वास्तुकला और परियोजना मंच Odnoklassniki

इस पोस्ट में हम एक अत्यधिक भरी हुई परियोजना को बनाए रखने में 5 वर्षों में संचित अनुभव के बारे में बताएंगे। हम आशा करते हैं कि साथी डेवलपर्स यह जानने के लिए इच्छुक होंगे कि हम क्या और कैसे करते हैं, हमारे पास क्या समस्याएँ और कठिनाइयाँ हैं और हम उनसे कैसे निपटते हैं।

मूल आँकड़े

पीक ऑवर्स के दौरान 2.8 मिलियन ऑनलाइन उपयोगकर्ता
7.5 बिलियन अनुरोध प्रति दिन (पीक घंटे के दौरान प्रति सेकंड 150,000 अनुरोध)
2,400 सर्वर, स्टोरेज सिस्टम
रश ऑवर में नेटवर्क ट्रैफिक: 32 जीबी / एस

आर्किटेक्चर

कश वास्तुकला:

• प्रस्तुति परत (एक प्रस्तुति परत या बस एक वेब सर्वर जो HTML बनाता है)
• व्यावसायिक सेवाओं की परत (डेटा चयन और प्रसंस्करण प्रदान करने वाले सर्वर)
• कैशिंग परत (अक्सर इस्तेमाल किए गए डेटा को कैशिंग करना)
• दृढ़ता परत (डेटाबेस सर्वर)
• सामान्य अवसंरचना प्रणाली (सांख्यिकी लॉगिंग सिस्टम, अनुप्रयोग विन्यास, संसाधन स्थानीयकरण, निगरानी)

प्रस्तुति परत:

• हम अपने स्वयं के ढांचे का उपयोग करते हैं, जो आपको अपने स्वयं के जीयूआई कारखानों (टाइपोग्राफी, सूचियों, तालिकाओं, पोर्टल्स) का उपयोग करके जावा भाषा में पृष्ठों की रचना का निर्माण करने की अनुमति देता है।
• पेज रचना में स्वतंत्र ब्लॉक (आमतौर पर पोर्टलेट) होते हैं, जो AJAX अनुरोधों का उपयोग करके स्क्रीन पर जानकारी को अपडेट करने की अनुमति देता है। नेविगेशन के लिए यह दृष्टिकोण आपको लगातार पेज रीलोड से छुटकारा पाने की अनुमति देता है, जिससे उपयोगकर्ता के लिए महत्वपूर्ण साइट फ़ंक्शन (संदेश, चर्चा और अलर्ट) हमेशा उपलब्ध रहते हैं। जावास्क्रिप्ट के बिना, पेज पूरी तरह कार्यात्मक है, जीडब्ल्यूटी में लिखी गई कार्यात्मकताओं को छोड़कर - जब लिंक पर क्लिक करते हैं, तो यह बस पूरी तरह से फिर से तैयार हो जाता है।
• संदेश, चर्चा और अलर्ट जैसे कार्यात्मक घटक, साथ ही साथ सभी गतिशील भागों (शॉर्टकट मेनू, फोटो टैग, सॉर्टिंग फोटो, उपहार रोटेशन) Google वेब टूलकिट फ्रेमवर्क का उपयोग करके लिखे गए हैं।

डेटा का चयन, प्रसंस्करण और कैशिंग:

कोड जावा में लिखा है। अपवाद हैं - कैशिंग डेटा के कुछ मॉड्यूल C और C ++ में लिखे गए हैं।
जावा क्योंकि यह एक सुविधाजनक विकास भाषा है, जावा में विभिन्न क्षेत्रों, पुस्तकालयों, ओपन सोर्स प्रोजेक्ट्स में बहुत सारे ग्राउंडवर्क हैं।
व्यापार तर्क स्तर पर, लगभग 25 प्रकार के सर्वर / घटक और कैश होते हैं जो दूरस्थ इंटरफेस के माध्यम से एक दूसरे के साथ संवाद करते हैं। हर सेकंड, इन मॉड्यूलों के बीच लगभग 3,000,000 दूरस्थ अनुरोध हैं।
ओडनोक्लास्निक-कैश मॉड्यूल का उपयोग कैशिंग डेटा के लिए किया जाता है। यह जावा अनसेफ का उपयोग करके मेमोरी में डेटा स्टोर करने की क्षमता प्रदान करता है। हम उन सभी डेटा को कैश करते हैं जो अक्सर एक्सेस किए जाते हैं। उदाहरण के लिए: उपयोगकर्ता प्रोफ़ाइल, उपयोगकर्ता समूहों की जानकारी, स्वयं समूहों की जानकारी, ज़ाहिर है, उपयोगकर्ता संबंधों का ग्राफ़, उपयोगकर्ता और समूह संबंधों का ग्राफ़, उपयोगकर्ता छुट्टियां, फ़ोटो के बारे में कुछ मेटा जानकारी आदि।
उदाहरण के लिए, उपयोगकर्ता कनेक्शन के ग्राफ को कैशिंग करने वाले सर्वरों में से एक भीड़ समय के दौरान प्रति सेकंड 16,600 अनुरोधों को संभाल सकता है। सीपीयू 7% तक व्यस्त है, 5 मिनट के लिए अधिकतम लोड औसत 1.2 है। ग्राफ के शीर्षों की संख्या> 85 मिलियन है; बांड 2,500 मिलियन (ढाई अरब) हैं। मेमोरी में, ग्राफ़ 30 जीबी पर कब्जा कर लेता है।

लोड संतुलन और संतुलन:

• प्रणाली के अंदर भारित राउंड रॉबिन;
• डेटाबेस और कैशिंग स्तर पर डेटा का ऊर्ध्वाधर और क्षैतिज विभाजन;
• व्यापार तर्क के स्तर पर सर्वर समूहों में विभाजित हैं। प्रत्येक समूह विभिन्न घटनाओं को संभालता है। रूटिंग इवेंट्स के लिए एक तंत्र है, अर्थात्। किसी भी घटना (या घटनाओं के समूह) को एक विशिष्ट समूह के प्रसंस्करण के लिए चुना और भेजा जा सकता है।
सेवा प्रबंधन एक केंद्रीकृत विन्यास प्रणाली के माध्यम से होता है। प्रणाली स्व-लिखित है। WEB इंटरफ़ेस के माध्यम से, आप पोर्टलेट्स के स्थान, क्लस्टर के कॉन्फ़िगरेशन को बदल सकते हैं, कुछ सेवाओं के तर्क को बदल सकते हैं, आदि। परिवर्तित कॉन्फ़िगरेशन डेटाबेस में सहेजा गया है। प्रत्येक सर्वर समय-समय पर यह देखने के लिए जांचता है कि क्या उस पर चल रहे एप्लिकेशन के अपडेट हैं या नहीं। अगर वहाँ है - उन्हें लागू करें।

डेटा, डेटाबेस सर्वर, बैकअप:

बिना अतिरेक के डेटा की कुल मात्रा 160 टीबी है। डेटा के भंडारण और सेवा के लिए दो समाधानों का उपयोग किया जाता है - एमएस एसक्यूएल और बर्कलेबीडी। डेटा को कम से कम दो प्रतियों में संग्रहीत किया जाता है। डेटा के प्रकार के आधार पर, प्रतियां दो से चार तक हो सकती हैं। सभी डेटा का दैनिक बैकअप है। हर 15 मिनट में, संचित डेटा का बैकअप बनाया जाता है। इस बैकअप रणनीति के परिणामस्वरूप, अधिकतम संभव डेटा हानि 15 मिनट है।

उपकरण, डेटा केंद्र, नेटवर्क:

प्रयुक्त दोहरे प्रोसेसर, 4-कोर सर्वर। कार्यक्षमता के आधार पर मेमोरी क्षमता 4 से 48 जीबी है। डेटा के प्रकार और उपयोग के आधार पर, उन्हें सर्वर की मेमोरी में, या सर्वर के डिस्क पर, या बाहरी स्टोरेज सिस्टम पर संग्रहीत किया जाता है।
सभी उपकरण 3 डेटा केंद्रों में स्थित हैं। कुल लगभग 2,400 सर्वर और स्टोरेज सिस्टम। डेटा केंद्रों को एक ऑप्टिकल रिंग में जोड़ा जाता है। वर्तमान में, प्रत्येक मार्ग पर, क्षमता 30 Gb / s है। मार्गों में से प्रत्येक में एक दूसरे से शारीरिक रूप से स्वतंत्र फाइबर जोड़े होते हैं। ये जोड़े रूट राउटर पर एक आम "पाइप" में एकत्रित होते हैं।
नेटवर्क को आंतरिक और बाहरी में विभाजित किया गया है। नेटवर्क शारीरिक रूप से अलग हो गए हैं। अलग-अलग सर्वर इंटरफेस अलग-अलग स्विच से जुड़े होते हैं और विभिन्न नेटवर्क पर काम करते हैं। एक बाहरी नेटवर्क वेब सर्वर पर, दुनिया के साथ संवाद करें। आंतरिक नेटवर्क पर, सभी सर्वर एक दूसरे के साथ संवाद करते हैं।
आंतरिक नेटवर्क की टोपोलॉजी एक तारा है। सर्वर L2 स्विच (एक्सेस स्विच) से जुड़े हैं। ये स्विच राउटर के एग्रिगेशन स्टैक से कम से कम दो गीगाबिट लिंक से जुड़े होते हैं। प्रत्येक लिंक स्टैक में एक अलग स्विच में जाता है। इस आर्किटेक्चर को काम करने के लिए, हम RSTP प्रोटोकॉल का उपयोग करते हैं। यदि आवश्यक हो, तो एक्सेस स्विच दो से अधिक लिंक द्वारा एग्रिगेशन स्टैक से जुड़े होते हैं। फिर बंदरगाहों के लिंक एकत्रीकरण का उपयोग करें।
एग्रीगेशन स्विच रूट रूटर्स से 10Gb लिंक से जुड़े होते हैं, जो डेटा सेंटर और बाहरी दुनिया के साथ संचार दोनों के बीच संचार प्रदान करते हैं।
सिस्को स्विच और राउटर का उपयोग करता है। बाहरी दुनिया के साथ संवाद करने के लिए, हमारे कई सबसे बड़े दूरसंचार ऑपरेटरों के साथ सीधे संबंध हैं
रश ऑवर नेटवर्क ट्रैफ़िक - 32 Gb / s

सांख्यिकी प्रणाली:

इवेंट लॉगिंग के लिए एक लाइब्रेरी जिम्मेदार है। पुस्तकालय का उपयोग सभी मॉड्यूल में किया जाता है। यह आपको आँकड़ों को एकत्र करने और एक अस्थायी डेटाबेस में सहेजने की अनुमति देता है। लॉग 4j लाइब्रेरी का उपयोग करके बचत स्वयं होती है। आमतौर पर हम कॉल की संख्या, अधिकतम, न्यूनतम और औसत निष्पादन समय, निष्पादन के दौरान हुई त्रुटियों की संख्या को संग्रहीत करते हैं।
अस्थायी डेटाबेस से, सभी आँकड़े DWH में संग्रहीत किए जाते हैं। हर मिनट, DWH सर्वर उत्पादन में अस्थायी ठिकानों पर जाते हैं और डेटा एकत्र करते हैं। अस्थायी डेटाबेस समय-समय पर डेटा को मंजूरी दे देते हैं।

नमूना कोड जो भेजे गए संदेशों के बारे में आँकड़े संग्रहीत करता है:

public void sendMessage(String message) {
   long startTime = LoggerUtil.getMeasureStartTime();
   try {
       /**
        * business logic - send message
        */
        LoggerUtil.operationSuccess(LogFactory.getLog({log's appender name}), startTime, "messageService", "sendMessage");
    } catch (Exception e) {
        LoggerUtil.operationFailure(LogFactory.getLog({log's appender name}), startTime, "messageService", "sendMessage");
    }
}

DWH . Microsoft. – MS SQL 2008, – Reporting services. DWH – 13 , production . (.. ). . — 13 TB.
(multi-dimension) OLAP.

:

1.
2. (, )
. , DWH. , - .
, “” (, : CPU, RAM, ..), ( CPU, RAM, ..). “” Zabbix, Cacti.
, .

:

• : MS Windows, openSUSE
• Java, C, C+. Java. + .
• GWT WEB . GWT ,
• WEB – Apache Tomcat
• JBoss 4
• WEB – LVS. IPVS Layer-4
• Apache Lucene
• :
MS SQL 2005 Std edition. , . MS SQL failover . , standby
BerkeleyDB – BDB , . BDB, C , 4.5. master-slave . BDB . master, . tmpfs, transaction . 15 . .
. .
• , JBoss Remoting
• SQL JDBC

:

70 . 40 , 20 , 8 .
(1-3 ). - , . . , . , .
, . , ( , , ). , , , . – .

. 3- :
0 —
1 — ,
2 — pre-production , production

«». «» :
1. production
2. . ,
3. , . , , , , , 1-

Best practices, tricks & tips

:

• , , .. ( ), ( ). — .
• — . , 1 , , .
• JOIN CPU. JOIN . JOIN , .
• , . CPU .
• SQL DELETE — DML. — , .
• . , . .

:

• , Java. , , , .. .
• . .
• , , .
• , -, , , . map-reduce . , , C. .
• Java (off heap memory) Java GC.
• , .

• (Expires Cache-Control ). CSS JavaScript (gzip).
• HTTP , JavaScript CSS . .
• , .
• CSS . ( ).
• CSS expressions, «». .
• DOM , , reflow. DOM «».
• GWT UIBinder HTMLPanel .

! .