ब्लॉक डिवाइस प्रदर्शन विश्लेषण blktrace के साथ

मैं / ओ संचालन, जैसा कि आप जानते हैं, आधुनिक लिनक्स-सिस्टम में प्रदर्शन के संदर्भ में महत्वपूर्ण संसाधनों की संख्या से संबंधित है। लिनक्स सिस्टम में प्रदर्शन की अड़चनों की पहचान करना और उनका विश्लेषण करना काफी जटिल है। आमतौर पर, विशेष उपयोगिताओं का उपयोग इस उद्देश्य के लिए किया जाता है। सबसे प्रसिद्ध प्रदर्शन विश्लेषण उपकरणों में से, यह सबसे महत्वपूर्ण है कि सभी उपयोगिताओं में सबसे पहले उल्लेख किया गया है, जिसमें सिस्टैट पैकेज (आईओस्टाट, सर, आदि) शामिल हैं। हालांकि, कुछ स्थितियों में, इन उपयोगिताओं का उपयोग करके प्राप्त जानकारी पर्याप्त नहीं है। उदाहरण के लिए, iostat का उपयोग करके, आप यह पता नहीं लगा सकते हैं कि कौन सी प्रक्रिया एक विशेष ऑपरेशन कर रही है। इस बीच, कुछ विशिष्ट कार्यों को हल करते समय ऐसी जानकारी आवश्यक है: उदाहरण के लिए, डेटा भंडारण प्रणालियों में बाधाओं को खोजने और उनका विश्लेषण करने के लिए।

2007 में प्रसिद्ध लिनक्स कर्नेल डेवलपर जेन्स एक्सबो ने ब्लेकट्रेस बनाया, एक विशेष उपयोगिता जो आई / ओ संचालन का पता लगाती है और उपयोगकर्ता को उनके बारे में विस्तृत जानकारी प्रदान करती है। इस लेख में हम विस्तार से बात करना चाहते हैं blktrace की क्षमताओं के बारे में।

अवसरों

Blktrace का उपयोग करके, आप निम्न समस्याओं को हल कर सकते हैं:

• ब्लॉक उपकरणों के प्रदर्शन का विश्लेषण;
• संभावित संसाधन लागतों की गणना करें (उदाहरण के लिए, जब सॉफ़्टवेयर RAID कनेक्ट करना);
• विभिन्न हार्डवेयर कॉन्फ़िगरेशन के प्रदर्शन का विश्लेषण;
• एक विशिष्ट सॉफ्टवेयर वातावरण के लिए इष्टतम कॉन्फ़िगरेशन निर्धारित करें;
• विभिन्न फाइल सिस्टम के प्रदर्शन का मूल्यांकन करें: विभिन्न फाइल सिस्टम (ext4, JFS, XFS, Btrfs) ब्लॉक I / O सबसिस्टम के साथ अलग-अलग तरीके से बातचीत करते हैं, और blktrace का उपयोग करके आप यह निर्धारित कर सकते हैं कि कौन सी फाइल सिस्टम एक विशिष्ट एप्लिकेशन या हार्डवेयर के साथ काम करते समय सर्वश्रेष्ठ प्रदर्शन प्रदान कर सकता है। विन्यास।

स्थापना और आरंभ करना

ब्लुट्रेस सबसे आम लिनक्स वितरण पर उपलब्ध है, इसलिए आपको इसे स्थापित करने के लिए स्रोत से कुछ भी संकलन करने की आवश्यकता नहीं है। पैकेज मैनेजर का उपयोग करके मानक तरीके से इंस्टॉलेशन किया जाता है। Blktrace के साथ, Blkparse उपयोगिता भी स्थापित की गई है, जो निष्कर्षों को अधिक सुविधाजनक, मानव-पठनीय रूप में प्रस्तुत करती है।

अब निम्नलिखित कमांड निष्पादित करें:

  blktrace -w 30 -d / dev / sdf -o- 

इस मामले में कमांड लाइन तर्क का मतलब निम्न है:

• "डब्ल्यू" का अर्थ उस समय की अवधि है जिसके दौरान अवलोकन किया जाएगा (इस मामले में, 30 सेकंड);
• "डी" तर्क के बाद, डिवाइस को इंगित किया जाता है कि आई / ओ संचालन पर कौन से आंकड़े एकत्र किए जाएंगे;
• "-–" एक संकेत है कि सभी आँकड़े कंसोल पर प्रदर्शित होंगे, और विशेष टेक्स्ट फ़ाइल में सहेजे नहीं जाएंगे।

आप आधिकारिक दस्तावेज़ में कमांड लाइन तर्क और कमांड सिंटैक्स के बारे में अधिक पढ़ सकते हैं।

निम्न तालिका स्क्रीन पर दिखाई देगी:

 === sdd === CPU 0: 34 इवेंट्स, 2 KiB डेटा CPU 1: 27 इवेंट्स, 2 KiB डेटा CPU 2: 41 इवेंट्स, 2 KiB डेटा CPU 3: 46 इवेंट्स, 3 KiB डेटा CPU 4: 2769 इवेंट्स, 130 KiB डेटा CPU 5: 1718 इवेंट्स, 81 KiB डेटा CPU 6: 1326 इवेंट्स, 63 KiB डेटा CPU 7: 2279 इवेंट्स, 107 KiB डेटा CPU 8: 14 इवेंट्स, 1 KiB डेटा CPU 9: 12 इवेंट्स, 1 KiB डेटा CPU 10: 22 इवेंट्स, 2 KiB डेटा CPU 11: 50 इवेंट्स, 3 KiB डेटा CPU 12: 455 इवेंट्स, 22 KiB डेटा CPU 13: 184 इवेंट्स, 9 KiB डेटा CPU 14: 508 इवेंट्स, 24 KiB डेटा CPU 15: 1100 इवेंट्स, 52 KiB डेटा कुल: 10585 घटनाओं (0 गिरा), 497 KiB डेटा 

यह प्रोसेसर कोर के लोडिंग के बारे में जानकारी प्रदर्शित करता है, जिसका व्यावहारिक मूल्य बहुत कम है: इसका उपयोग I / O संचालन के प्रदर्शन के बारे में कोई निष्कर्ष निकालने के लिए नहीं किया जा सकता है।

समझने योग्य रूप में प्रस्तुत की गई अधिक विस्तृत जानकारी प्राप्त करने के लिए, हम ब्लॅकपार्ट की सहायता का सहारा लेंगे:

  blktrace -w 1 -d / dev / sdf -o - |  Blkparse -i - 

अब आउटपुट इस तरह दिखेगा:

 8.32 0 19190 28.774795629 2039 DR 94229760 + 32 [fio]
 8.32 0 19191 29.927624071 0 CR 94229760 + 32 [0]

/ अगले, सभी शामिल प्रोसेसर कोर के लिए I / O संचालन पर आंकड़े प्रदर्शित किए जाते हैं; हम एक कोर के लिए ऐसे आँकड़ों का उदाहरण देंगे /

  CPU15 (8.32):
 पढ़ी गई पंक्तिबद्ध: 0, 0KiB लिखी गई कतार: 64, 354 KiB         
 डिस्पैचेस पढ़ें: 0 0 केआईबी डिस्पैच लिखें: 33, 276 कीबी
 अनुरोधित अनुरोध: 0 लिखे गए अनुरोध: 0
 पूरा हुआ: 0.0KiB लिखता पूरा: 0.0 KiB          
 मर्ज पढ़ें: 0, 0KiB लिखें मर्ज: 0,0KiB        
 गहराई पढ़ें: 0 गहराई लिखें: 68
 IO अनप्लग: 22 टाइमर अनप्लग: 16

 कुल (8.32)
 पढ़ी गई कतार: 0, 0KiB लिखी गई कतार: 1908, 7665KiB
 डिस्पैच पढ़ें: 0, 0 केबीबी डिस्पैच लिखें: 1,009.7665KiB
 अनुरोधित अनुरोध: 0 लिखे गए अनुरोध: 0
 पूरा हुआ: 0, 0KiB राइट्स पूरा: 1954,7655KiB
 मर्ज पढ़ें: 0,0KiB मर्ज लिखें: 0, 0KiB
 IO अनप्लग: 612 टाइमर अनप्लग: 382

 थ्रूपुट (R / W): 0KiB / s / 7701KiB / s
 घटनाएँ (8.32): 11684 प्रविष्टियाँ
 स्काइप: 0 फॉरवर्ड (0 - 0.0%) 

शुरुआत में निम्नलिखित स्तंभों से मिलकर एक तालिका होती है:

1. प्रमुख और मामूली डिवाइस नंबर (हमारे मामले में, 8, 32);
2. ऑपरेशन में शामिल कर्नेल;
3. ऑपरेशन की क्रम संख्या;
4. ऑपरेशन निष्पादन समय (मिलीसेकंड में);
5. प्रक्रिया पहचानकर्ता (PID);
6. घटना (ब्लक्ट्रेस अपने आप सहित, सभी I / O के जीवन चक्र की घटनाओं की निगरानी करता है);
7. आरडब्ल्यूबीएस (आर - रीडिंग, डब्ल्यू - राइटिंग, बी - बैरियर ऑपरेशन, एस - सिंक्रोनस ऑपरेशन);
8. जिस ब्लॉक से ऑपरेशन शुरू हुआ था + ब्लॉक की संख्या;
9. उस प्रक्रिया का नाम जिसने ऑपरेशन किया (वर्ग कोष्ठक में इंगित)।

मुख्य संचालन निम्नानुसार हैं:

• ए - I / O ऑपरेशन को किसी अन्य डिवाइस में स्थानांतरित किया गया था;
• सी - ऑपरेशन पूरा हुआ;
• एफ - ऑपरेशन कतार में आसन्न ऑपरेशन के साथ संयुक्त है;
• मैं - ऑपरेशन के लिए अनुरोध पंक्तिबद्ध है;
• एम - ऑपरेशन कतार में आसन्न ऑपरेशन के साथ संयुक्त है;
• क्यू - ऑपरेशन पंक्तिबद्ध है;
• टी - टाइमआउट के कारण अक्षम;
• एक्स - ऑपरेशन को कई ऑपरेशनों में विभाजित किया गया है।

अगला, ब्लकरपेस सभी I / O संचालन के बारे में कुल जानकारी प्रदर्शित करता है और पढ़ने और लिखने के संचालन के लोड स्तर की तुलना करता है।

सहायक उपकरण

ब्लेकट्रेस डेटा प्राप्त करता है और इसे मानव पठनीय रूप में प्रस्तुत करता है, लेकिन इसका विश्लेषण नहीं करता है। विशिष्ट उपयोगिताओं को इस डेटा का विश्लेषण करने और उनके आधार पर रेखांकन बनाने के लिए डिज़ाइन किया गया है - यहां, सबसे पहले, बीटीटी और सीकाउचर / आईवॉचर को बुलाया जाना चाहिए।

BTT

इस उपयोगिता का नाम अभिव्यक्ति ब्लक्ट्रेस टाइमलाइन का संक्षिप्त नाम है, जिसका अनुवाद "क्रॉनिकल ब्लाकेटर" के रूप में किया जा सकता है। यह उन फाइलों का विश्लेषण करने के लिए डिज़ाइन किया गया है जिसमें ब्लकरपर्स द्वारा संसाधित ब्लोट्रेस आउटपुट संग्रहीत किए जाते हैं, उनसे जानकारी निकालते हैं:

• कतार में रखने से पहले ऑपरेशन को संसाधित करने में लगने वाले समय के बारे में;
• लाइन में इंतजार कर रहे समय के बारे में;
• सीधे ऑपरेशन पर खर्च किए गए समय के बारे में।

Btt रिपोर्ट प्राप्त करने के लिए, आपको पहले I / O संचालन को blktrace से ट्रेस करना होगा और इसे एक अलग फाइल में सहेजना होगा:

  blktrace -d / dev / sda -o-> ट्रेस 

अब इस फाइल को blkparse के साथ प्रोसेस करें; एक अलग फ़ाइल में संसाधित परिणाम सहेजें:

  blkparse -i ट्रेस -d ट्रेस १ 

(इस मामले में -d तर्क उस फ़ाइल को इंगित करता है जिससे संसाधित डेटा सहेजा जाएगा)।

अब हम निम्नलिखित कमांड निष्पादित करके btt का उपयोग करके प्राप्त आउटपुट को संसाधित करेंगे:

  btt- आई ट्रेस १ 

एक तालिका में स्क्रीन पर एक रिपोर्ट प्रदर्शित की जाएगी। आप आधिकारिक दस्तावेज में बीटी निष्कर्ष की संरचना और उनकी व्याख्या के बारे में अधिक पढ़ सकते हैं ।

सीकाउचर / इवोचेर

2007 में क्रिस वॉसन द्वारा सीचवॉटर यूटिलिटी बनाई गई। इसका उद्देश्य ब्लोट्रेस रिपोर्ट को संसाधित करना और एनिमेटेड लोगों सहित चार्टिंग प्लॉट करना था। खोजकर्ता परियोजना स्थल आज तक मौजूद है, लेकिन इसमें एक अधिक यादगार चरित्र है।

आज, क्रिस मेसन डेटा विज़ुअलाइज़ेशन ब्लॉट्रेस - आईवॉचर के लिए एक नया टूल विकसित कर रहा है। आप भंडार से iowatcher स्थापित कर सकते हैं। iowatcher को न्यूनतम निर्भरता की आवश्यकता होती है: एनिमेटेड ग्राफिक्स बनाने के लिए, आपको केवल ffmpeg या librsbg प्रोग्राम इंस्टॉल करना होगा।

Iowatcher का उपयोग करके, आप blktrace पिन के साथ-साथ btt, fio और mstat उपयोगिताओं के आधार पर रेखांकन (एनिमेटेड वाले सहित) बना सकते हैं।
प्लॉट करने के लिए, आपको पहले ब्लॉट्रेस को रन करना होगा और आउटपुट को टेक्स्ट फाइल में सेव करना होगा:

  blktrace -w 30 -d / dev / sdf -o-> ट्रेस.डंप 

फिर निम्न कमांड दर्ज करें:

  iowatcher -t mark.dump -o ट्रेस.svg 

iowatcher एक ग्राफ में blktrace डेटा प्रस्तुत करेगा।

कमांड का उपयोग करके एक एनिमेटेड चार्ट प्राप्त किया जा सकता है:

  iowatcher -t ट्रेस.dump --movie -o ट्रेस .mp4 / 

आप यहाँ कमांड सिंटैक्स के बारे में अधिक पढ़ सकते हैं।

जहां ब्लाकेटर का उपयोग किया जाता है

भंडारण प्रणालियों में प्रदर्शन की समस्याओं का विश्लेषण और निदान करने के लिए डिज़ाइन किए गए सॉफ़्टवेयर समाधानों में सहायक उपकरण के रूप में ब्लेकट्रेस का उपयोग किया जाता है।

उदाहरण के लिए, एलएसआई पीसीआई-एक्सप्रेस कार्ड के रूप में एसएसडी के कई मॉडल तैयार करता है। उपयोगकर्ता को सबसे इष्टतम मॉडल चुनने में मदद करने के लिए, कंपनी ने एक विशेष सॉफ्टवेयर उत्पाद विकसित किया है - निट्रो प्रेडिक्टर । निट्रो प्रेडिक्टर अनुप्रयोगों द्वारा भंडारण उपयोग गतिविधि के बारे में जानकारी एकत्र करता है और प्रतिक्रिया समय में सुधार के लिए उनके आधार पर सिफारिशें करता है। ब्ल्यूट्रेस का उपयोग लिनक्स सिस्टम पर डेटा संग्रह उपकरण के रूप में किया जाता है। फिर इस डेटा को विशेष एल्गोरिदम का उपयोग करके संसाधित किया जाता है, जिसके बाद एक हार्डवेयर समाधान चुना जाता है जो इष्टतम गति के लिए अनुमति देता है।

इंटेल एक समान उत्पाद जारी कर रहा है जो एलएसआई से सॉफ्टवेयर घटकों का उपयोग करता है - इंटेल RAID एसएसडी कैश साइजिंग और प्रदर्शन भविष्यवाणी उपकरण । यह भी एक उपकरण उपकरण के रूप में blktrace का उपयोग करता है।

बड़ी संख्या में उपयोगकर्ताओं के साथ सामाजिक नेटवर्क के लिए डेटा तक पहुंच में तेजी लाने और प्रतिक्रिया समय को कम करने की समस्या बहुत प्रासंगिक है। इस समस्या को हल करने के लिए सक्रिय कार्य फेसबुक प्रोग्रामर द्वारा किया जा रहा है, जिन्होंने 2010 में Flashcache बनाया - लिनक्स कर्नेल के लिए एक मॉड्यूल जो अन्य ब्लॉक डिवाइसों तक कैश एक्सेस के लिए एक ब्लॉक डिवाइस का उपयोग करने की अनुमति देता है। उत्पाद को GPL के तहत लाइसेंस दिया गया है (यहाँ GitHub पर भंडार है )। Flashcache डेवलपर्स ने डेटाबेस अनुप्रयोगों द्वारा उपयोग किए जाने वाले डिस्क एक्सेस का विश्लेषण करने के लिए ब्लुट्रेस का उपयोग किया।

जो लोग हबेरा के पदों पर टिप्पणी नहीं कर सकते, उनके लिए हम अपने ब्लॉग पर आमंत्रित करते हैं।