हम डेटाबेस को गति देते हैं। Bcache

काम के लिए, हम osm.org से पूरे ग्रह के डेटा के साथ postgresql + पोस्टगिस डेटाबेस का उपयोग करते हैं। डिस्क पर, यह लगभग 350 Gb लेता है और तेजी से काम नहीं करता है, और यह नियमित 2Tb 7200rpm हार्ड ड्राइव पर बिना RAID-a के संग्रहीत होता है। क्योंकि डेटाबेस लोड धीरे-धीरे बढ़ रहा है, यह डिस्क सबसिस्टम को गति देने का निर्णय लिया गया था, जबकि न्यूनतम धन खर्च किया गया था। कई विकल्प नहीं थे:

• उसी हार्ड ड्राइव का एक और खरीदें और उन्हें छापे -० में मिलाएं।
• एक छोटा एसएसडी खरीदें और उस पर एक त्वरित कैश व्यवस्थित करें:
  
  • dm-कैश। इसे कर्नेल 3.9 में जोड़ा गया था, इसे सरलता से लगाया गया है।
  • bcache। समीक्षाओं को देखते हुए, सबसे तेज़। मुख्य नुकसान यह है कि आपको उपयोग करने से पहले डिस्क को प्रारूपित करने की आवश्यकता है। आधिकारिक तौर पर 3.10 कर्नेल में जोड़ा जाता है, एक पैच 3.9 कर्नेल के रूप में वितरित किया जाता है।
  • EnhanceIO। समीक्षाओं में मुझे इसका सबसे धीमा, लेकिन सबसे आसान उपयोग के रूप में उल्लेख किया गया था।

पेशेवरों और विपक्षों के वजन के बाद, साथ ही दोस्तों की समीक्षाओं को पूछने के बाद, मैंने bcache पर रुकने का फैसला किया। मैं आपको उसके बारे में और अधिक बताऊंगा।

Bcache कर्नेल बनाएँ

Bcache की कोशिश करने के लिए, आपको एक पैच कर्नेल 3.9 बनाने की आवश्यकता है। परियोजना सक्रिय रूप से विकसित हो रही है और इसके स्रोतों को tar.bz2 के रूप में भी वितरित नहीं किया गया है। यदि आप इसे डाउनलोड करना चाहते हैं, तो रिपॉजिटरी (700MB कहीं) डाउनलोड करें।

#       sudo apt-get install kernel-package fakeroot build-essential ncurses-dev bc #    bcache git clone http://evilpiepirate.org/git/linux-bcache.git cd linux-bcache #      bcache     cat /boot/config-`uname -r`>.config make oldconfig 

इस चरण के बाद, आपको यह चुनने की आवश्यकता होगी कि जोड़े गए कर्नेल मापदंडों के लिए कौन से विकल्प का उपयोग करना है। मैंने डिफ़ॉल्ट रूप से सब कुछ छोड़ दिया, केवल कर्नेल मॉड्यूल के रूप में संकलित bcache। डीबग bcache कुंजी छोड़ दिया।

 make-kpkg clean #   -j      . sudo time fakeroot make-kpkg -j8 --initrd kernel_image kernel_headers #  24    .  . sudo dpkg -i ../linux-image-3.9.0+_3.9.0+-10.00.Custom_amd64.deb ../linux-headers-3.9.0+_3.9.0+-10.00.Custom_amd64.deb #    bcache-tools cd .. git clone http://evilpiepirate.org/git/bcache-tools.git cd bcache-tools make sudo make install 

यदि यह कर्नेल नवीनतम संस्करण है - यह स्वचालित रूप से बूट होगा, यदि आपके पास कुछ नया स्थापित है - उन्नत बूट विकल्प मेनू में grub2 में लोड करने पर bcache के साथ कर्नेल का चयन किया जा सकता है।

Bcache कॉन्फ़िगर करें

Bcache के साथ काम करने के लिए, डिस्क को पहले स्वरूपित किया जाना चाहिए। (डेटा का बैकअप लेना न भूलें)

 sudo -i umount /dev/sdb4 #   HDD make-bcache -B /dev/sdb4 #  SSD   make-bcache - /dev/sda 

अगला, डिस्क को कर्नेल में पंजीकृत होना चाहिए।

 echo /dev/sdb4 > /sys/fs/bcache/register echo /dev/sda > /sys/fs/bcache/register 

पंजीकरण के बाद, ड्राइव / dev / bcache0, और कैश के रूप में / sys / fs / bcache / <UDID> दिखाई देता है। अपनी पसंद के फाइल सिस्टम में डिस्क को फॉर्मेट करें और माउंट करें।

 mkfs.ext4 /dev/bcache0 mount /dev/bcache0 /mnt 

डिस्क के लिए यह जानने के लिए कि किस कैश के साथ काम करना है, कैश कनेक्ट होना चाहिए। जबकि कैश सेट एकल डिस्क है, लेकिन भविष्य में वे कैश सेट में कई कैश डिवाइस के साथ काम जोड़ने की योजना बनाते हैं। एक कैश सेट को कई डिस्क में जोड़ा जा सकता है, जो कई धीमी डिस्क के साथ सिस्टम के लिए बहुत सुविधाजनक है। कैश कनेक्ट करने के लिए, हमें इसकी UDID की आवश्यकता है।

 echo <UUID> > /sys/block/bcache0/bcache/attach 

खैर, यह सब है। आपके पास सिस्टम में एक डिस्क है जिसके साथ एक रिटेट्रोज़ कैश जुड़ा हुआ है। यदि डेटाबेस पर मुख्य लोड नमूने हैं, तो डेटा को संशोधित किए बिना, यह कैशिंग मोड पर्याप्त होगा और एसएसडी लंबे समय तक जीवित रहेगा। कमांड के साथ लिखावट को सक्षम किया जा सकता है:

 echo writeback > /sys/block/bcache0/cache_mode 

Bcache से इंप्रेशन

कैश भरने के बाद, डेटाबेस कई गुना तेजी से काम करने लगा। मेरे लिए कुछ आंकड़ों का हवाला देना कठिन है, क्योंकि Bcache पर जाने से पहले, मैंने संदर्भ अनुरोध नहीं किए। लेकिन मैं गति का अनुमानित अनुपात दिखा सकता हूं। तो एक खाली कैश के साथ एक गोलाकार अनुरोध 171 सेकंड में पूरा हो गया है। बार-बार यह 3.2 सेकंड में किया जाता है। प्रसंस्करण गति पर डेटाबेस कैश के प्रभाव को समाप्त करने के लिए, मैंने डेटाबेस को फिर से शुरू किया, जिसके बाद क्वेरी 4 सेकंड में पूरी हुई। गति में इतनी वृद्धि के साथ, पूरे ग्रह के डेटा को संसाधित करना हमारे अपेक्षाकृत कमजोर हार्डवेयर पर एक असंभव कार्य नहीं लगता है।

Bcache का एक अच्छा जोड़ इसके आँकड़े हैं, जिन्हें यह सावधानी से इकट्ठा करता है। आप कैश के आंकड़ों को देख सकते हैं, कितने मिस करते हैं, कितने हिट होते हैं, कितने प्रतिशत हिट होते हैं, कितना कैश भरा है, कैश को कितनी जानकारी लिखी गई थी, आदि। यहाँ वह इस समय मुझे दिखा रहा है:

 $ cd /sys/block/bcache0/bcache/stats_hour $ cat cache_hit_ratio 90 $ cat cache_hits 836233 $ cat cache_misses 91086 $ cd cache/cache0 $ cat btree_written 92.3M $ cat metadata_written 481M $ cat written 41.3G 

आपका ध्यान देने के लिए धन्यवाद। पीएम में टाइप्स और अशुद्धियों की रिपोर्ट करें, मैं टिप्पणियों में सवालों के जवाब देने की कोशिश करूंगा।
ps bcache के लिए प्रलेखन बहुत विस्तृत और अच्छी तरह से लिखा गया है, मैं इसे पढ़ने की सलाह देता हूं।