मल्टीप्रोसेसर सिस्टम पर bzip2 प्रदर्शन में लगभग रैखिक वृद्धि

लिनक्स अक्सर gzip और bzip2 कम्प्रेशन का उपयोग करता है। वे दोनों अच्छा संपीड़न घनत्व प्रदान करते हैं और उपयोग करने में आसान होते हैं। इसी समय, bzip2 अधिकांश फ़ाइलों को अधिक कुशलता से संपीड़ित करता है - लेकिन, दूसरी ओर, यह अधिक पारंपरिक gzip या zip की तुलना में धीमी गति से काम करता है।

लेकिन आप गति बढ़ाते हुए bzip2 की प्रभावशीलता प्राप्त कर सकते हैं। हम pbzip2 उपयोगिता के बारे में बात कर रहे हैं - समानांतर BZIP2 । सामान्य स्थिति में, bzip2 का उपयोग करते समय, केवल एक प्रोसेसर कोर शामिल होता है, जबकि आधुनिक प्रणालियों पर वे 2, 4 या, उदाहरण के लिए, 8 हो सकते हैं।

Pbzip2 एक साथ कई प्रोसेसर कोर का उपयोग कर सकता है, जो लेखकों के अनुसार, प्रदर्शन में लगभग रैखिक वृद्धि के लिए होता है। संकुचित फ़ाइलें pbzip2 बनाता है पूरी तरह से bzip2 1.0.2 और bzip2 के नए संस्करणों के साथ संगत है (वहाँ भी एक pigz उपयोगिता है, जो बदले में gzip का एक बहु-थ्रेडेड कार्यान्वयन है - धन्यवाद altexxx )।

नीचे 1000 Intel आकार की SQL फ़ाइल के एक भाग के संपीड़न गति का परीक्षण करने का परिणाम है (dd if = dip.sql of = testfile bs = 1M count = 1000) दो Intel Xeon E5520 प्रोसेसर (4 कोर, 8 थ्रेड, क्लॉक स्पीड 2.26 GHz) के साथ कंप्यूटर पर :



जैसा कि आप परीक्षण के परिणामों से देख सकते हैं, 4 थ्रेड्स में काम करने वाला pbzip2 एक थ्रेड में काम करने वाले bzip2 की तुलना में लगभग 3.6 गुना तेज है - जो वास्तव में प्रदर्शन में लगभग रैखिक वृद्धि है।

इसी समय, 16 थ्रेड्स में चलने वाला pbzip2 4 थ्रेड्स का उपयोग करते हुए pbzip2 की तुलना में धीमा निकला - शायद I / O संचालन की गति के कारण। टिप्पणियों में अतिरिक्त परीक्षण भी देखें ( ट्रिस्टन और ब्लिज़नेज़ के लिए धन्यवाद) - जिसमें रैम में tmpfs सेक्शन का उपयोग करना शामिल है।

Pbzip2 का उपयोग सिर्फ bzip2 की तरह ही किया जाता है, लेकिन कुछ अतिरिक्त कार्य भी हैं, उदाहरण के लिए, ऑपरेशन की प्रगति को प्रतिशत में आउटपुट करना ।


किसी फ़ाइल को संपीड़ित करने के लिए:
pbzip2 -k -p4 filename

जहाँ फ़ाइल नाम फ़ाइल का नाम है। डिफ़ॉल्ट रूप से, संपीड़ित फ़ाइल को स्रोत के समान कहा जाता है, लेकिन .bz2 को अंत में जोड़ा जाता है (अर्थात, इस स्थिति में filename.bz2 )।

-K विकल्प की जरूरत है ताकि pbzip2 संपीड़न समाप्त होने के बाद स्रोत को हटा न दे। आप -v विकल्प भी जोड़ सकते हैं ताकि विस्तृत जानकारी प्रदर्शित हो, जिसमें ऑपरेशन की प्रगति प्रतिशत में हो।

-P विकल्प थ्रेड्स की संख्या सेट करता है (इस मामले में 4)।

किसी फ़ाइल को अनज़िप करने के लिए:
pbzip2 -dk -p4 filename.bz2

फ़ाइल का नाम filbame.bz2 कहां है। डिफ़ॉल्ट रूप से, अनपैक्ड फ़ाइल को संपीड़ित फ़ाइल के समान कहा जाता है, लेकिन .bz2 को अंत में हटा दिया जाता है (अर्थात, इस मामले में फ़ाइल नाम )।

-D विकल्प को डिकम्प्रेस करने के लिए आवश्यक है।

तदनुसार, एक साथ विस्तृत जानकारी के उत्पादन और संचालन की प्रगति के साथ, संपीड़न इस तरह दिखेगा:
pbzip2 -kv -p4 filename

और आप फ़ाइल को इस तरह से खोल सकते हैं:
pbzip2 -dkv -p4 filename.bz2

यदि आप पूरी निर्देशिका को संपीड़ित करना चाहते हैं, तो, जैसे कि gzip और bzip2 के मामले में, एक तथाकथित टारबॉल बनाया जाता है (जिसमें स्वयं संपीड़न नहीं होता है), जिसमें वांछित निर्देशिका होती है, और यह आवश्यक उपयोगिता के साथ संकुचित होता है।

Pbzip2 के मामले में, आप इसे इस तरह से एक पंक्ति में कर सकते हैं:
tar cf myfile.tar.bz2 --use-compress-prog=pbzip2 directory_to_compress/

या तो:
tar -c directory_to_compress/ | pbzip2 -c > myfile.tar.bz2

दूसरे मामले में, क्रमशः, आप -p4 (थ्रेड की संख्या 4 पर सेट करने के लिए) भी जोड़ सकते हैं।