YSQL फ्रेमवर्क पर MySQL शेयरिंग

शुरू करने के लिए, हमारी परियोजना विकास के प्रारंभिक चरण में है, और इसकी लॉन्चिंग 1 नवंबर के लिए योजना बनाई गई है। और समय से पहले अनुकूलन के संबंध में सभी संभावित आलोचनाओं को तुरंत समाप्त करने के लिए, मैं कहूंगा कि टीम को एक ऐसा एप्लिकेशन विकसित करने का काम सौंपा गया था जो अचानक लोड झटके (1000 से 50,000 तक, आदि) से सामना कर सकता है। इस संबंध में, यह एक अच्छी तरह से मापनीय वास्तुकला बिछाने का निर्णय लिया गया था जो आपको हार्डवेयर (स्केल-आउट के सिद्धांत पर) के कारण सिस्टम प्रदर्शन को आसानी से और जल्दी से बढ़ाने की अनुमति देता है।

मंच

हमने जल्दी से मंच चुना - यह वाईआईआई फ्रेमवर्क पर आधारित एक परियोजना विकसित करने का निर्णय लिया गया। मैं संक्षेप में कह सकता हूं कि डेढ़ साल पहले मुझे परिचित डेवलपर्स की समीक्षाओं से इसका अध्ययन करने के लिए प्रेरित किया गया था, और इस परियोजना को विकसित करने के लिए एक मंच के रूप में yii की पसंद को लंबी googling, परीक्षणों और तुलनात्मक विशेषताओं (जैसे www.yiyramework.com/performance ) के लिए धन्यवाद बनाया गया था

YM ActiveRecord को ORM के रूप में उपयोग करने से इंकार नहीं करने का निर्णय लिया गया, क्योंकि यह विकास के मामले में बहुत सुविधाजनक है, और प्रत्यक्ष डेटाबेस प्रश्नों का उपयोग करने के लिए बाद में आने वाली अड़चनों की संभावना हमेशा बनी रहती है। प्रारंभिक चरण में, डेटा भंडारण संरचना हमें खुद ही अड़चन लगती थी, क्योंकि सेट आवश्यकताओं ने हमें संकेत दिया था कि MySQL (डेटा भंडारण के लिए चुना गया) को जल्द ही प्रश्नों की एक बहुत बड़ी धारा मिलेगी जो एक सर्वर नहीं संभाल सकता है।

प्रतिकृति

समाधान के रूप में प्रतिकृति तुरंत गिर गई। विकास के प्रारंभिक चरण (पहले वर्ष) में, यह हमें लोड के साथ समस्याओं के बारे में भूलने की अनुमति देगा, लेकिन भविष्य में हमें लगातार लोड किए गए मास्टर की नई उत्पन्न समस्या को हल करना होगा (वैसे, इन समस्याओं को बहुत ही मैला तरीके से हल किया जाता है जैसे कि मास्टर के लिए परदे के पीछे, दास के लिए स्वामी के रूप में दास। और एम। पी।)। हाँ, और डेटाबेस में प्रासंगिक डेटा बनाए रखने और लॉग को खींचने के लिए प्रशासकों के निरंतर काम से विनाशकारी परिणाम हो सकते हैं, क्योंकि मानव कारक को रद्द नहीं किया गया है।

sharding

चुनाव mysql के क्षैतिज स्केलिंग (शार्किंग) पर गिर गया। मैं डेटा प्लेसमेंट के इस सिद्धांत के विवरण में नहीं जाऊंगा, मैं केवल यह कह सकता हूं कि एक इकाई (एक तालिका की पंक्तियों) के उदाहरण अलग-अलग सर्वरों में वितरित किए जाते हैं ( यहां अधिक विवरण में वर्णित है )। शार्क में विभाजित तालिकाओं को "सबसे अधिक बार देखे जाने वाले" सिद्धांत के अनुसार चुना जाता है, अर्थात, जिनके पास बहुत सारे प्रश्न हैं (चाहे कोई भी प्रकार हो)।

हमारे मामले में, कई बुनियादी तालिकाओं का चयन किया गया था, जिसे हमने सर्वर के बीच क्षैतिज रूप से फैलाने का निर्णय लिया था। मैं आपको उन उपयोगकर्ताओं की तालिका का एक उदाहरण बताता हूं, जिनसे हमें कई मिलियन की उम्मीद है। इसलिए, हमारे पास एक उपयोगकर्ता तालिका (tbUser) कई सर्वरों पर वितरित की गई है, और प्रत्येक अनुरोधित उपयोगकर्ता के लिए अब हमें यह भी जानना होगा कि यह किस सर्वर पर है। इस स्थिति के कई समाधान हैं, जब यह प्रस्तावित किया जाता है, उदाहरण के लिए, यूआईडी को सर्वरों की संख्या से विभाजित करने के शेष को लेने के लिए, आदि। लेकिन इस मामले में, नए सर्वरों को जोड़ते समय एक समस्या है और आपको अतिरिक्त उपयोगकर्ता हस्तांतरण स्क्रिप्ट लिखने की आवश्यकता है जो तालिका या कुछ और को ब्लॉक करती है। इसलिए, उस सर्वर को निर्धारित करने के लिए जिस पर उपयोगकर्ता संग्रहीत है, हमने UID => SERVER_ID प्रकार के तीसरे पक्ष के डेटा स्टोरेज का विकल्प चुना, और हमने रेडिस को ही स्टोरेज के रूप में लिया।

Rediska कॉन्फ़िगर करें

रेडिस के साथ बातचीत करने के लिए, रेडिस्का पुस्तकालय स्थापित किया गया था। Yii के साथ इसे एकीकृत करना मुश्किल नहीं है - आपको पुस्तकालय डाउनलोड करने की आवश्यकता है, उदाहरण के लिए, इसमें / संरक्षित / विक्रेता / रिडिस्का में और Rediska.php के हेडर में निम्नलिखित लिखना सुनिश्चित करें:

<?php spl_autoload_unregister(array('YiiBase','autoload')); require_once dirname(__FILE__) . '/Rediska/Autoloader.php'; Rediska_Autoloader::register(); spl_autoload_register(array('YiiBase', 'autoload')); class Rediska extends Rediska_Options 

यह समाधान अस्थायी रूप से ऑटोलैड वाई को निष्क्रिय करता है और रेडिसकोवस्की (अन्यथा ऑटोलॉड्स बस संघर्ष) को चालू करता है।

इस पुस्तकालय का उपयोग करके निर्देशिका / संरक्षित / घटकों / अपने स्वयं के घटक का निर्माण किया:

 <?php require_once dirname(__FILE__).'/../vendor/rediska/Rediska.php'; class RediskaConnection { public $options = array(); private $_rediska; public function init() { $this->_rediska = new Rediska($this->options); } public function getConnection() { return $this->_rediska; } } 

... और इसे main.php में प्लग किया

 'RediskaConnection'=>array( 'class'=>'application.components.RediskaConnection', 'options'=>array( 'servers' => array( 'server1' => array( 'host'=>'192.168.0.131', 'port'=>'6379', 'timeout'=>'3', // in seconds 'readTimeout'=>'3', // in seconds ), ), 'serializerAdapter'=>'json', ), ), 

सभी Rediska सेटिंग्स में वर्णित हैं। वेबसाइट। एक नए घटक को कॉन्फ़िगर करने के बाद, इसे गेट / सेट के साथ जांचना पर्याप्त है

 Yii::app()->RediskaConnection->getConnection()->set('key', 'value'); echo Yii::app()->RediskaConnection->getConnection()->get('key'); 

डेटाबेस तैयारी

जब रेडिस के साथ सभी छोटी परेशानियां समाप्त हो गईं, तो हम एक ही डेटाबेस के साथ MySQL के कुछ उदाहरण बनाने के लिए आगे बढ़े:

  'shard1' => array( 'class' => 'CDbConnection', 'connectionString' => 'mysql:host=192.168.0.131;dbname=dbshard', 'username' => 'dbuser', 'password' => 'dbpass', 'autoConnect' => false, 'charset' => 'utf8', ), 'shard2' => array( 'class' => 'CDbConnection', 'connectionString' => 'mysql:host=192.168.0.61;dbname=dbshard', 'username' => 'dbuser', 'password' => 'dbpass', 'autoConnect' => false, 'charset' => 'utf8', ), 

शार्पिंग का सॉफ्टवेयर कार्यान्वयन

इन ठिकानों पर हमने केवल टेबुलिंग (tbUser सहित) के अधीन रखा, ताकि बाद में हम भ्रमित न हों। अब यह प्राप्त सर्वरों पर डेटा वितरित करने के लिए तंत्र पर विचार करने के लिए बना रहा। ऐसा करने के लिए, CShardedActiveRecord वर्ग बनाने का निर्णय लिया गया, जो अनिवार्य रूप से CActiveRecord का विस्तार करता है और हमारे द्वारा आवश्यक तरीकों को ओवरराइड करता है। काम का सिद्धांत इस प्रकार है: हमने पहले से नया स्वरूप दिया है (), जो अब नए रिकॉर्ड को बचाने के लिए सर्वर को परिभाषित करता है (उसी को SERVER_QUANTITY द्वारा यूआईडी को विभाजित करने के बाद शेष है) और रेडिस में गिने मूल्य को संग्रहीत करता है, और बचत के लिए रिकॉर्ड आईडी तब लागू होता है जब लागू किए गए वृद्धिशील काउंटर का उपयोग करके बनाया जाता है। रेडिस वेतन वृद्धि () में मदद करता है (यह आपको सभी डेटाबेस में एंड-टू-एंड आईडी नंबरिंग की अनुमति देता है); पुनर्परिभाषित खोजबीक (), जो अब सर्वर नंबर भी प्राप्त करता है जिसके लिए चयन होगा। सभी कोड नीचे है:

 <?php /** * Sharded active record */ class CShardedActiveRecord extends CActiveRecord { /** * Used in find by PK and * @var integer */ private $_pk = null; /** * Used connection * @var CDbConnection */ private $_connection = null; /** * @see db/ar/CActiveRecord#getDbConnection() */ public function getDbConnection() { if (!is_null($this->_connection)) return $this->_connection; if (is_null($this->_pk)) { $serverName = Yii::app()->params->servers['serverNames'][0]; } else { $serverId = $this->getServerId($this->_pk); $serverName =empty(Yii::app()->params->servers['serverNames'][$serverId]) ? Yii::app()->params->servers['serverNames'][0] : Yii::app()->params->servers['serverNames'][$serverId]; } $this->_connection = Yii::app()->{$serverName}; return $this->_connection; } private function removeConnection() { $this->_connection = null; } private function getRedisKey($key) { return $this->tableName() . '_' . $key; } /** * @return server id or false, for null $pk */ private function getServerId($pk) { if (is_null($pk)) return false; $serverId = Yii::app()->RediskaConnection->getConnection()->get($this->getRedisKey($pk)); return $serverId; } public function findByPk($pk, $condition = '', $params = array()) { if (!is_integer($pk)) throw new Exception ('primary key must be integer'); $this->_pk = $pk; $this->removeConnection(); return parent::findByPk($pk, $condition, $params); } /** * Set unique id for new record * @return boolean */ protected function beforeSave() { if (!parent::beforeSave()) return false; if ($this->getIsNewRecord()) { $key = $this->tableName().'_counter'; $this->id = $this->_pk = Yii::app()->RediskaConnection->getConnection()->increment($key); $serverId = $this->id % Yii::app()->params->servers['serverCount']; $result = Yii::app()->RediskaConnection->getConnection()->set($this->getRedisKey($this->id), $serverId); $this->removeConnection(); } return true; } } 

परिणाम

इस प्रकार, हमने टेबल बनाने के लिए अपना खुद का ActiveRecord बनाया, और अब हमें केवल ऐसे मॉडल बनाने थे, जो कार्यक्षमता को CActiveRecord से नहीं, बल्कि CShardedActiveRecord से विरासत में मिले। ओवरराइड तरीके हमारे लिए पर्याप्त हैं, क्योंकि डेटाबेस से अधिकांश नमूना पीके का उपयोग करके होता है, और Sphinx का उपयोग करके डेटाबेस खोज को लागू किया जाता है (जिसके लिए हमने अपना खुद का डेटाप्रॉइडर भी लिखा था ताकि हम वाई में एकीकृत विगेट्स का उपयोग कर सकें जो केवल डेटाप्रोइडर के साथ काम करते हैं)। इसके अलावा, तालिका में सरल आवेषण और चयन के माध्यम से, हमने अपने घटक के संचालन का परीक्षण किया और हमारे काम के परिणाम से संतुष्ट थे।