Flashcache: पहला अनुभव

डिस्क सबसिस्टम अक्सर सर्वर प्रदर्शन में एक अड़चन है, जो कंपनियों को तेजी से डिस्क और विशेष समाधानों में भारी निवेश करने के लिए मजबूर करता है। SSD आज अधिक से अधिक लोकप्रियता प्राप्त कर रहे हैं, लेकिन वे अभी भी पारंपरिक हार्ड ड्राइव की तुलना में बहुत महंगे हैं। हालांकि, HDD क्षमता के साथ SSD गति को संयोजित करने के लिए डिज़ाइन की गई प्रौद्योगिकियाँ हैं। एसएसडी पर डिस्क कैश गीगाबाइट है, जब एचडीडी कैश या कंट्रोलर की मेगाबाइट नहीं है, तो ये कैशिंग तकनीक हैं।

ऐसी ही एक तकनीक फ्लैशकैच है, जिसे फेसबुक ने अपने डेटाबेस के साथ उपयोग के लिए विकसित किया है, और जो अब खुला स्रोत है। मैं बहुत दिनों से उसकी तरफ देख रहा हूं। अंत में, मुझे इसका परीक्षण करने का अवसर मिला जब मैंने सिस्टम ड्राइव के रूप में अपने घर के कंप्यूटर में एक एसएसडी ड्राइव लगाने का फैसला किया।

और, होम कंप्यूटर में एसएसडी डालने से पहले, मैंने इसे सर्वर से जोड़ा, जो कि परीक्षण के लिए मुक्त हो गया। आगे, मैं CentOS 6.3 पर फ्लैशचेक स्थापित करने की प्रक्रिया का वर्णन करूंगा और कुछ परीक्षणों के परिणाम दूंगा।

सॉफ्टवेयर वेस्टर्न 10, 2 एक्सोन E5-2620 प्रोसेसर और 8 जीबी रैम में एकीकृत 4 पश्चिमी डिजिटल कैवियार ब्लैक डब्लूडब्लू 100 एफएफएएक्स एसएटीए डिस्क के साथ एक सर्वर है। सॉलिड-स्टेट ड्राइव का विकल्प 90 जीबी की क्षमता के साथ OCZ वर्टेक्स -3 पर गिर गया। SSD 6-गीगाबिट SATA पोर्ट, हार्ड ड्राइव - 3-गिगाबिट पोर्ट से जुड़ा है। SSD ड्राइव की पहचान /dev/sda रूप में की गई थी।

प्रयोगों के लिए, मैंने /dev/md3 RAID डिवाइस पर डिस्क स्थान के एक बड़े क्षेत्र को खाली नहीं किया, जिसमें मैंने vg1 नामक LVM संस्करणों का एक समूह बनाया, और lv1 नामक lv1 की LVM तार्किक मात्रा:

 # lvcreate -L 100G -n lv1 vg1 # mkfs -t ext4 /dev/vg1/lv1 

मैंने इस वॉल्यूम पर फ्लैशचैच का परीक्षण किया।

Flashcache स्थापित करें

हाल ही में, फ्लैशकास्ट को स्थापित करना सरल हो गया है: एल्प्रो रिपॉजिटरी में अब बाइनरी पैकेज हैं। इससे पहले, उपयोगिताओं और स्रोत से कर्नेल मॉड्यूल को संकलित करना आवश्यक था।
एल्रेपो भंडार से कनेक्ट करें:

 # rpm -Uvh http://elrepo.reloumirrors.net/elrepo/el6/x86_64/RPMS/elrepo-release-6-4.el6.elrepo.noarch.rpm 

Flashcache में कर्नेल मॉड्यूल और नियंत्रण उपयोगिताओं होते हैं। पूरी स्थापना एक कोडमंडा के लिए नीचे आती है:

 # yum -y install kmod-flashcache flashcache-utils 

Flashcache तीन मोड में से एक में काम कर सकता है:

• writethrough - पढ़ना और लिखना संचय संचय में सहेजे जाते हैं, डिस्क पर लिखना तत्काल होता है। इस मोड में, डेटा अखंडता की गारंटी है।
• writearound - पिछले एक के समान, सिवाय इसके कि केवल पढ़े गए संचालन कैश में संग्रहीत किए जाते हैं।
• writeback सबसे तेज मोड है, क्योंकि कैश में रीड एंड राइट ऑपरेशंस को सेव किया जाता है, लेकिन डेटा को कुछ समय बाद बैकग्राउंड में डिस्क में फ्लश किया जाता है। यह मोड डेटा की अखंडता को संरक्षित करने के दृष्टिकोण से इतना सुरक्षित नहीं है, क्योंकि एक जोखिम है कि अचानक सर्वर की विफलता या बिजली के नुकसान के मामले में डेटा डिस्क पर नहीं लिखा जाएगा।

प्रबंधन के लिए, तीन उपयोगिताओं को पैकेज में शामिल किया गया है: flashcache_create , flashcache_load और flashcache_destroy । पहला कैशिंग डिवाइस बनाने के लिए कार्य करता है, अन्य दो को मौजूदा कैशिंग डिवाइस को लोड करने और क्रमशः हटाने के लिए केवल राइटबैक मोड में काम करने की आवश्यकता होती है।

flashcache_create में निम्नलिखित मुख्य पैरामीटर हैं:

• -p - कैशिंग मोड। आवश्यक है। यह क्रमशः, रिट्रैथ, राइटअयराउंड और राइटबैक मोड को सक्षम करने के लिए, थ्रू और back के मूल्यों को ले सकता है।
• -s कैश का आकार है। यदि यह पैरामीटर निर्दिष्ट नहीं है, तो पूरे SSD का उपयोग कैश के लिए किया जाएगा।
• -b ब्लॉक आकार है। डिफ़ॉल्ट 4KB है। अधिकांश उपयोग मामलों के लिए इष्टतम।

एक कैश बनाएँ।

 # flashcache_create -p thru cachedev /dev/sda /dev/vg1/lv1 cachedev cachedev, ssd_devname /dev/sda, disk_devname /dev/vg1/lv1 cache mode WRITE_THROUGH block_size 8, cache_size 0 Flashcache metadata will use 335MB of your 7842MB main memory 

यह कमांड cachedev नामक कैश डिवाइस बनाता है जो ब्लॉक डिवाइस /dev/vg1/lv1 लिए SSD /dev/sda पर रिटथ्रू मोड में काम करता है।

नतीजतन, डिवाइस /dev/mapper/cachedev दिखाई देना चाहिए, और dmsetup स्थिति कमांड को विभिन्न कैश संचालन पर आंकड़े प्रदर्शित करना चाहिए:

 # dmsetup status vg1-lv1: 0 209715200 linear cachedev: 0 3463845888 flashcache stats: reads(142), writes(0) read hits(50), read hit percent(35) write hits(0) write hit percent(0) replacement(0), write replacement(0) write invalidates(0), read invalidates(0) pending enqueues(0), pending inval(0) no room(0) disk reads(92), disk writes(0) ssd reads(50) ssd writes(92) uncached reads(0), uncached writes(0), uncached IO requeue(0) uncached sequential reads(0), uncached sequential writes(0) pid_adds(0), pid_dels(0), pid_drops(0) pid_expiry(0) 

अब आप विभाजन को माउंट कर सकते हैं और परीक्षण शुरू कर सकते हैं। यह ध्यान दिया जाना चाहिए कि यह स्वयं विभाजन नहीं है जिसे माउंट करने की आवश्यकता है, लेकिन कैशिंग डिवाइस:

 # mount /dev/mapper/cachedev /lv1/ 

यह सब है: अब SSD पर /lv1/ निर्देशिका में डिस्क संचालन को कैश किया जाएगा।

मैं एक बारीकियों का वर्णन करूंगा जो एक अलग LVM वॉल्यूम के साथ नहीं, बल्कि वॉल्यूम के एक समूह के साथ काम करते समय उपयोगी हो सकता है। कैश को LVM समूह वाले ब्लॉक डिवाइस पर बनाया जा सकता है, मेरे मामले में यह /dev/md3 :

 # flashcache_create -p thru cachedev /dev/sda /dev/md3 

लेकिन सब कुछ काम करने के लिए, आपको LVM कॉन्फ़िगरेशन सेटिंग्स को बदलना होगा जो वॉल्यूम खोजने के लिए जिम्मेदार हैं। ऐसा करने के लिए, फ़िल्टर को /etc/lvm/lvm.conf फ़ाइल में सेट करें:
filter = [ "r/md3/" ]
या LVM खोज को केवल /dev/mapper निर्देशिका तक सीमित करें:
scan = [ "/dev/mapper" ]

परिवर्तनों को सहेजने के बाद, आपको इस LVM सबसिस्टम को रिपोर्ट करना होगा:

 # vgchange -ay 

परीक्षण

मैंने तीन प्रकार के परीक्षण किए:

• विभिन्न कैशिंग मोड में iozone उपयोगिता के साथ परीक्षण;
• क्रमिक पठन 1 और 4 धाराओं में dd द्वारा;
• वास्तविक साइटों के बैकअप से ली गई विभिन्न आकारों की फ़ाइलों का एक सेट पढ़ना।

Iozone परीक्षण

उपयोगिता rpmforge रिपॉजिटरी में है।

 # rpm -Uvh http://apt.sw.be/redhat/el6/en/x86_64/rpmforge/RPMS/rpmforge-release-0.5.2-2.el6.rf.x86_64.rpm # yum -y install iozone 

परीक्षण निम्नानुसार शुरू किया गया था:

 # cd /lv1/ # iozone -a -i0 -i1 -i2 -s8G -r64k 

आरेख लिखने और पढ़ने के कार्यों के दौरान कैश चालू होने पर आरेख एक मामूली प्रदर्शन हानि दिखाता है, लेकिन यादृच्छिक पढ़ने के संचालन में यह कई प्रदर्शन वृद्धि देता है। writeback मोड लेखन कार्यों पर भी अलगाव में चला जाता है।

Dd परीक्षण

अनुक्रमिक रीड टेस्ट निम्नलिखित कमांड के साथ लॉन्च किया गया था।
एक धागे में:

 # dd if=/dev/vg1/lv1 of=/dev/null bs=1M count=1024 iflag=direct 

4 धागे में:

 # dd if=/dev/vg1/lv1 of=/dev/null bs=1M count=1024 iflag=direct skip=1024 & dd if=/dev/vg1/lv1 of=/dev/null bs=1M count=1024 iflag=direct skip=2048 & dd if=/dev/vg1/lv1 of=/dev/null bs=1M count=1024 iflag=direct skip=3072 & dd if=/dev/vg1/lv1 of=/dev/null bs=1M count=1024 iflag=direct skip=4096 

प्रत्येक प्रारंभ से पहले, RAM कैश साफ़ करने के लिए एक कमांड निष्पादित किया गया था:

 # echo 3 > /proc/sys/vm/drop_caches 

कैश्ड मल्टी-थ्रेडेड रीड्स एक एसएसडी की अधिकतम गति के करीब गति दिखाते हैं, लेकिन पहली बार जब वे दौड़ते हैं, तो गति कैश के बिना कम होती है। यह इस तथ्य के कारण सबसे अधिक संभावना है कि डेटा स्ट्रीम की वापसी के साथ, सिस्टम को ठोस-राज्य ड्राइव पर जानकारी लिखना है। हालाँकि, पुनरारंभ करने पर, सभी जानकारी पहले से ही एसएसडी पर दर्ज की जाती है और अधिकतम गति पर दी जाती है।

विभिन्न फ़ाइलों को पढ़ने का परीक्षण करें

अंत में, विभिन्न आकारों की बड़ी संख्या में फ़ाइलों के पढ़ने के समय का एक छोटा परीक्षण। मैंने बैकअप से कई दर्जनों वास्तविक साइटें लीं, उन्हें निर्देशिका /lv1/sites/ में अनपैक किया। कुल फ़ाइल का आकार लगभग 20 जीबी था, और संख्या लगभग 760 हजार थी।

 # cd /lv1/sites/ # echo 3 > /proc/sys/vm/drop_caches # time find . -type f -print0 | xargs -0 cat >/dev/null 

अंतिम कमांड सभी फ़ाइलों के लिए वर्तमान निर्देशिका में दिखता है, और उन्हें पढ़ता है, एक ही समय में कुल निष्पादन समय का पता लगाता है।



आरेख पर हम अपेक्षित प्रदर्शन हानि "पहले पढ़ने में" देखते हैं, जो लगभग 25% थी, लेकिन जब आप पुनः आरंभ करते हैं तो कमांड को कैश के बिना ऑपरेशन की तुलना में 3 गुना अधिक निष्पादित किया गया था।

कैश अक्षम करें

कैशिंग डिवाइस को हटाने से पहले, आपको विभाजन को अनमाउंट करना होगा:

 # umount /lv1/ 

या, यदि आपने वॉल्यूम समूह के साथ काम किया है, तो LVM अक्षम करें:

 # vgchange -an 

फिर कैश हटाएं:

 # dmsetup remove cachedev 

निष्कर्ष

मैंने सूक्ष्म फ़्लैशकैश सेटिंग्स पर स्पर्श नहीं किया जिसे sysctl का उपयोग करके समायोजित किया जा सकता है। उनमें से, FIFO या LRU कैश को लिखने के लिए एक एल्गोरिथ्म का चुनाव, अनुक्रमिक उपयोग के लिए एक कैश सीमा, आदि, मुझे लगता है कि इन सेटिंग्स के साथ आप थोड़ा और अधिक प्रदर्शन हासिल कर सकते हैं यदि आप उन्हें सही काम करने की स्थिति के अनुकूल बनाते हैं।

तकनीक ने उत्पादकता में कई वृद्धि का प्रदर्शन करते हुए मुख्य रूप से यादृच्छिक रीड ऑपरेशंस में अपना सर्वश्रेष्ठ लाभ दिखाया है। लेकिन सर्वर पर वास्तविक स्थितियों में, यह ज्यादातर यादृच्छिक I / O संचालन है जो सबसे अधिक बार उपयोग किए जाते हैं। इसलिए, न्यूनतम निवेश के माध्यम से, पारंपरिक हार्ड ड्राइव की मात्रा के साथ ठोस-राज्य ड्राइव की गति को संयोजित करना संभव हो गया, और रिपॉजिटरी में पैकेज की उपस्थिति स्थापना को सरल और त्वरित बनाती है।

लेख तैयार करने में, मैंने डेवलपर्स से आधिकारिक दस्तावेज का उपयोग किया, जो यहां पाया जा सकता है ।

वह सब है। मुझे उम्मीद है कि यह जानकारी किसी के लिए उपयोगी है। मुझे टिप्पणियों, टिप्पणियों और सिफारिशों पर खुशी होगी। विशेष रूप से दिलचस्प होगा कि मुकाबला सर्वर पर फ्लैशकाक का उपयोग करने का अनुभव, और विशेष रूप से, राइटबैक मोड का उपयोग करने की बारीकियों।