🖌️ 👩‍👩‍👧 🚷 छोटी फाइलों के लिए छोटा भंडारण ♈️ 📳 🎪

एक परियोजना के विकास के दौरान, कई फाइलों (4 मिलियन से अधिक टुकड़े) को स्टोर करना आवश्यक हो गया। और उनकी संख्या लगातार बढ़ती रही। जब फाइलें 6 मिलियन से अधिक हो गईं, तो उनके साथ काम करना मुश्किल हो गया। यहां तक कि अगर आप उन्हें निर्देशिकाओं में डालते हैं और एक ब्रंचयुक्त पेड़ बनाते हैं, तो इन निर्देशिकाओं के हिस्से को बायपास करने में घंटों लग गए। बेशक, शुरुआत में किसी ने नहीं सोचा था कि यह सब कैसे स्टोर किया जाए, और हमने एक नियमित स्क्रू और ext4 का उपयोग किया। कुछ बिंदु पर, इस खंड से पढ़ने की गति 9 एमबी / सेकंड तक गिर गई। यह बहुत धीमा है। Btrfs के प्रयोगात्मक संक्रमण ने गति को 13MB तक बढ़ा दिया, लेकिन ऐसे संकेतक प्रभावशाली भी नहीं हैं। कोई भी इसके लिए SSD का उपयोग करने वाला नहीं था और वॉल्यूम पहले से 1TB से अधिक हो गया है। यानी सब कुछ RAID का उपयोग करने के लिए चला गया। चूंकि परियोजना की व्यावसायिक सफलता संदेह में थी, इसलिए लागत को कम करना पड़ा। इसलिए, कार्यान्वयन को सॉफ्टवेयर माना जाता था।

तो, आपको थोड़ा भंडारण की आवश्यकता है - एक सर्वर या कंप्यूटर पर, अर्थात्। चार से अधिक डिस्क नहीं। आपको छोटी फ़ाइलों को स्टोर करने की आवश्यकता है - प्रत्येक को 1-3 एमबी।

हमारे मामले में Btrfs ext4 से अधिक तेज़ निकला, इसलिए हमने इसका उपयोग करने का निर्णय लिया।
वेयरहाउस प्रबंधन के उम्मीदवार raid0 और raid10 हैं। RAID0 वास्तव में सबसे तेज है, हालांकि कुछ लोग सोचते हैं कि raid10 तेज है। पढ़ने के दौरान RAID10 के साथ RAID10 सैद्धांतिक रूप से समान गति हो सकती है। लेकिन रिकॉर्ड के लिए - यह बहुत ही संदिग्ध है। हां, और बहुत कठिनाई के बिना, आप हार्डवेयर छापे प्रदर्शन के विभिन्न परीक्षण पा सकते हैं।
Raid10 का मुख्य लाभ - विश्वसनीयता - बहुत महत्वपूर्ण डेटा के लिए इतना स्पष्ट नहीं है। हालांकि, अगर आपको बहुत अधिक स्टोर करने की आवश्यकता है, तो या तो छापे या एलवीएम का उपयोग करें। आप इसे पुराने तरीके से कर सकते हैं - मैन्युअल रूप से डेटा को शिकंजा पर वितरित करें। हर जगह विश्वसनीयता समान है। हारने वाला विनचेस्टर - डेटा खोना। Raid0 में, पट्टी (चंक) का आकार समायोज्य है, इसलिए एक छोटे फ़ाइल आकार के साथ, अधिकांश डेटा को पुनर्स्थापित किया जा सकता है।

जैसा कि परीक्षण विषय 4 hdd पश्चिमी डिजिटल कैवियार ब्लू 1TB लिया गया था - शायद सबसे तेज उपलब्ध एक स्वतंत्र रूप से उपलब्ध नहीं है।

निम्नानुसार छापे 0 बनाएँ:

mdadm -v —create /dev/md0 —level=raid0 —raid-devices=4 /dev/sdc1 /dev/sdd1 /dev/sde1 /dev/sdf1

सृजन तुरंत होता है, क्योंकि नकल और पुनर्वितरण के लिए कुछ भी नहीं है।
हम कॉन्फिग को सेव करते हैं ताकि रिबूट करते समय एरे बने रहें:

 mdadm —examine —scan —config=mdadm.conf >> /etc/mdadm.conf

एक फ़ाइल सिस्टम बनाएँ:

 #mkfs.btrfs -Lraid0 /dev/md0 WARNING! - Btrfs Btrfs v0.19 IS EXPERIMENTAL WARNING! - see http://btrfs.wiki.kernel.org before using fs created label raid0 on /dev/md0 nodesize 4096 leafsize 4096 sectorsize 4096 size 3.64TB Btrfs Btrfs v0.19

दिलचस्प है, एफएस अभी भी प्रयोगात्मक है। हालांकि, इसने फेडोरा 18 डेवलपर्स को btrfs को डिफ़ॉल्ट फ़ाइल सिस्टम बनाने से नहीं रोका।

चलो एक त्वरित गति परीक्षण चलाते हैं:

 # hdparm -t /dev/md0 /dev/md0: Timing buffered disk reads: 2008 MB in 3.00 seconds = 669.11 MB/sec

औसतन, रैखिक रीड गति 650 से 690MB / सेकंड तक होती है।
यह तुलना से, किसी भी sata3 एसएसडी से तेज है।

डिवाइस की शुद्ध क्षमता 3,7TB

दो-दिवसीय परीक्षण ने क्रमशः फ़ाइल संचालन के दौरान 202 एमबी / सेकंड और 220 एमबी / सेकंड में मनमाने ढंग से पढ़ने और यादृच्छिक लेखन की एक स्थिर गति दिखाई। यदि हम खुद को केवल पढ़ने या लिखने तक ही सीमित रखते हैं, तो हमें 560MB / सेकंड मिलता है। ये स्थिर औसत हैं।
बुरा बिलकुल नहीं। वैसे, कई होम एसएसडी इससे कम आते हैं।
गति इस समय बहुत सभ्य है। इसलिए, वास्तव में उस पर और बंद कर दिया। यदि किसी एक स्क्रू में गड़बड़ी शुरू हो जाती है, तो आपको पूरे छापे को रोकना होगा, डेटा सेक्टर को एक नए स्क्रू में कॉपी करें और छापे को सक्रिय स्थिति में लौटा दें। यह एक बहुत महत्वपूर्ण भंडारण के लिए काफी स्वीकार्य है। यदि यह अचानक महत्वपूर्ण हो जाता है, तो इसकी विश्वसनीयता और ड्रब के साथ समग्र दोष सहिष्णुता को बढ़ाना संभव होगा।
परीक्षण के दौरान, 700MB / सेकंड की चोटी पढ़ने और लिखने की गति अक्सर देखी गई। लेकिन चूंकि हमारे पास छोटी फाइलें हैं, इसलिए ऐसी फाइलें कई फाइलों के समानांतर पढ़ने के दौरान हुईं। स्पष्ट रूप से चंक के आकार को प्रभावित करता है।

अपनी अंतरात्मा की आवाज को साफ करने के लिए, हम r10 के साथ एक ही परीक्षण करेंगे।
छापे 10 बनाना:

 mdadm -v —create /dev/md0 —level=raid10 —raid-devices=4 /dev/sdc1 /dev/sdd1 /dev/sde1 /dev/sdf1

लेकिन फिर आपको थोड़ी देर इंतजार करना होगा। कुछ घंटे।
परिणामस्वरूप, हमारे पास निम्नलिखित हैं:

 # hdparm -t /dev/md0 /dev/md0: Timing buffered disk reads: 1080 MB in 3.01 seconds = 359.07 MB/sec

इसे हल्के ढंग से, निराशाजनक रूप से लगाने के लिए। बिल्कुल वही परिणाम दो ड्राइव के साथ raid0 पर थे। इस मामले में 4 शिकंजा से पढ़ने की सैद्धांतिक क्षमता प्रकट नहीं होती है।
लेकिन रैखिक गति, हालांकि सांकेतिक है, हमारे लिए इतनी महत्वपूर्ण नहीं है। फ़ाइलों के लिए अधिक महत्वपूर्ण यादृच्छिक पहुँच है।
और उन्होंने पढ़ने के लिए 190MB / सेकंड और लेखन के लिए 125MB / sec बनाया।
लिखने के साथ पूरी निराशा, हालांकि पढ़ने की गति raid0 के बराबर है। आपको याद दिला दूं कि इस मामले में हम डिस्क का आधा हिस्सा भी खो देंगे।

Raid0 के सॉफ्टवेयर कार्यान्वयन का एक और संस्करण है, लेकिन पहले से ही btrfs के माध्यम से। प्रलेखन में दो पैरामीटर हैं जो प्रदर्शन और विश्वसनीयता को प्रभावित कर सकते हैं। डेटा प्रकार - डेटा को स्टोर करने का एक तरीका। यह एक्सेस स्पीड और डेटा स्टोरेज विश्वसनीयता दोनों को प्रभावित करता है। विकल्प हैं: raid0, raid1, raid10 और सिंगल। और मेटाडेटा प्रोफ़ाइल मेटाडेटा को संग्रहीत करने का एक तरीका है। यह एक बड़ी हद तक मामूली विफलताओं की स्थिति में डेटा को पुनर्प्राप्त करने की क्षमता को प्रभावित करता है। विकल्प हैं: raid0, raid1, raid10, सिंगल और डुप। वास्तव में, हम परिचित छापे और छापे 10 का निरीक्षण करते हैं। तीसरा पैरामीटर, जो 1 जीबी तक की फ़ाइलों के साथ काम करते समय प्रदर्शन में संभावित वृद्धि की घोषणा करता है, मिश्रित होता है। हमारे लिए, इसका प्रभाव स्पष्ट नहीं है।
फ़ाइल सिस्टम बनाते समय पैरामीटर सेट किए जाते हैं।

 # mkfs.btrfs -d raid0 -m raid1 /dev/sdc1 /dev/sdd1 /dev/sde1 /dev/sdf1 WARNING! - Btrfs Btrfs v0.19 IS EXPERIMENTAL WARNING! - see http://btrfs.wiki.kernel.org before using adding device /dev/sdd1 id 2 adding device /dev/sde1 id 3 adding device /dev/sdf1 id 4 fs created label (null) on /dev/sdc1 nodesize 4096 leafsize 4096 sectorsize 4096 size 3.64TB Btrfs Btrfs v0.19

यदि आप मिश्रित उपयोग करने का निर्णय लेते हैं, तो ध्यान रखें कि डेटा संग्रहण और मेटाडेटा के प्रकार समान होने चाहिए।
कृपया ध्यान दें कि छापे का उपयोग करते समय एक भी उपकरण, यहां काम नहीं करता है। आप फ़ाइल सिस्टम के लिए उपयोग किए गए किसी भी विभाजन को माउंट कर सकते हैं। उदाहरण के लिए माउंट / देव / sdc1 / mnt / raid0

परिणामस्वरूप, संख्या md के प्रदर्शन में raid0 के समान थी। 198MB / सेकंड पढ़ें और 216MB / सेकंड लिखें। पढ़ना चोटियों 700MB / सेकंड से थोड़ा कम है। औसत रीड-ओनली या राइट-ओनली स्पीड 660MB / सेकंड है, जो एक बहुत ही सुखद आश्चर्य था।

-M raid0 के साथ विभाजन बनाते समय, साझा करने की गति थोड़ी बढ़ जाती है। 203MB / सेकंड पढ़ें और 219MB / सेकंड लिखें। लेकिन अलग-अलग रीड / राइट में थोड़ी कमी आई: 654MB / सेकंड।

सामान्य तौर पर, हम अतिरिक्त परतों के बिना शुद्ध btrfs का उपयोग करने की सिफारिश कर सकते हैं, जो विफलता के बिंदु हो सकते हैं।

स्ट्राइपिंग मोड में डेटा को lvm में स्टोर करने की भी संभावना है। यह raid0 का एक बहुत करीबी एनालॉग है। हालांकि, लेखक का वर्षों से लवम के साथ संबंध नहीं रहा है। इसलिए, उत्पादकता बढ़ाने के इस विकल्प को विशुद्ध रूप से व्यक्तिपरक कारणों के लिए नहीं माना गया था।

और अंत में, btrfs में raid10 के साथ एक असफल प्रयोग:

 # mkfs.btrfs -L raid10 -d raid10 -m raid10 /dev/sdc1 /dev/sdd1 /dev/sde1 /dev/ sdf1 WARNING! - Btrfs Btrfs v0.19 IS EXPERIMENTAL WARNING! - see http://btrfs.wiki.kernel.org before using adding device /dev/sdd1 id 2 adding device /dev/sde1 id 3 adding device /dev/sdf1 id 4 fs created label raid10 on /dev/sdc1 nodesize 4096 leafsize 4096 sectorsize 4096 size 3.64TB Btrfs Btrfs v0.19

सृजन ने कुछ सेकंड का समय लिया। लेकिन इससे खुशी के बजाय सवाल उठने लगे।
पढ़ना 122 एमबी / सेकंड है और लेखन 127 एमबी / सेकंड है। अलग-अलग पढ़ें / लिखें - 657MB / सेकंड। यानी हमारे कार्य के लिए उपयुक्त नहीं है, हालांकि अलग-अलग संचालन की गति आश्चर्यजनक और मनभावन है।

सहकर्मियों को आराम देने के लिए, r0 के शीर्ष पर ext4 के साथ एक परीक्षण किया गया था। परिणाम अपेक्षित हैं।

 # mkfs.ext4 /dev/md0 -L raid0 mke2fs 1.42.5 (29-Jul-2012) Filesystem label=raid0 OS type: Linux Block size=4096 (log=2) Fragment size=4096 (log=2) Stride=256 blocks, Stripe width=1024 blocks 244195328 inodes, 976760832 blocks 48838041 blocks (5.00%) reserved for the super user First data block=0 Maximum filesystem blocks=4294967296 29809 block groups 32768 blocks per group, 32768 fragments per group 8192 inodes per group Superblock backups stored on blocks: 32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208, 4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968, 102400000, 214990848, 512000000, 550731776, 644972544 Allocating group tables: done Writing inode tables: done Creating journal (32768 blocks): done Writing superblocks and filesystem accounting information: done

आइए थोड़ी ट्यूनिंग करते हैं, जो प्रदर्शन को अनुकूल रूप से प्रभावित करता है:

 tune2fs -O extents,uninit_bg,dir_index /dev/md0 tune2fs -o journal_data_writeback tune2fs -m 0 /dev/md0 mount /dev/md0 raid0 -o acl,user_xattr,noatime,nodiratime,barrier=0,commit=0

परिणाम हमारे कार्य के लिए बहुत ही कम हैं। पढ़ें और लिखें - 60MB / सेकंड और 86MB / सेकंड। केवल पढ़ें या केवल लिखें - 535MB / सेकंड।

निष्कर्ष स्पष्ट हैं। Btrfs, ext4 की तुलना में हमारे कार्य के लिए बहुत अधिक लाभदायक है, और raid0 raid10 की तुलना में तेज़ है।

यह केवल यह जोड़ने के लिए बना हुआ है कि काम करने वाले डेटा हैंडलर के अलावा, थर्ड-पार्टी यूटिलिटीज का भी उपयोग किया गया था।
सिंथेटिक परीक्षणों के लिए, तनाव और बोनी ++ का उपयोग किया गया था।
Sysstat का उपयोग करके वास्तविक रीड / राइट डेटा एकत्र किया गया था।

छोटी फाइलों के लिए छोटा भंडारण

More articles: