बैश के अंदर नियमित अभिव्यक्ति

मैं किसी तरह अपनी स्क्रिप्ट की गति को अनुकूलित करने में लगा हुआ हूं। एल्गोरिथ्म को पहले से ही पॉलिश किया जा सकता था और मुख्य, समानांतर और सहनीय समय से पहले ही निष्पादित किया गया था। केवल कभी-कभी, कोड के कुछ हिस्सों को चाटना, उन स्थानों को हथियाना जो बाहरी कमांड का उपयोग करते हैं और अंतर्निहित शेल कमांड के साथ सुगंधित सामंजस्य लाते हैं, कार्यकर्ता की सुस्त भूमिका पर ध्यान आकर्षित करते हैं - सीड स्ट्रीमिंग संपादक, जो अभी भी मेरे ब्रीफिंग स्क्रिप्ट में नियमित अभिव्यक्ति को सावधानीपूर्वक संसाधित कर रहे थे।
ऐसे कई स्थान हैं जहाँ लोग एक दूसरे का गला काटते हैं और अपने प्रिय संपादक के सम्मान की रक्षा करते हैं दुर्जेय युद्ध सेड बनाम अवेक बनाम ग्रीप बनाम ...
फिर भी, ज्यादातर लोगों को पता है कि आंतरिक के साथ बाहरी आदेशों को कॉल करने के लिए अक्सर एक स्क्रिप्ट में महत्वपूर्ण स्थानों को तेज करता है, लेखक को मुस्कुराता है, कॉफी के एक कप के लिए कम समय बिताने "प्रसंस्करण समाप्त होने तक"। यह, एक अर्थ में, कुछ अपर्याप्तता है अगर वह सी भाषा जानता है और सीरिया में कोड को फिर से लिखकर कार्यक्रम को गति दे सकता है; लेकिन आपको तुरंत इसे पागलों को नहीं लिखना चाहिए - कुछ स्क्रिप्ट कोड पोर्टिंग के लिए बहुत अधिक चमकदार होते हैं और विभिन्न कमांड का उपयोग करते हैं, जिससे कोड को निष्पादन की असंभव आवेषण से बाहर निकालने के लिए मजबूर किया जाता है।
इसलिए, जैसा कि यह हो सकता है, तीसरे संस्करण के बैश डेवलपर्स ने हमें कमांड के अंदर अंतर्निहित नियमित अभिव्यक्तियों का उपयोग करने का अवसर दिया [[प्रयोग = ~।
इस तरह की बैश क्षमता के बारे में अधिकांश Google परिणाम एक ही फैसले के साथ सामने आते हैं - "बैश के अंदर नियमित अभिव्यक्ति का उपयोग करें - मूवटन।"
इस लेख में मैं एक फैसले तक पहुंचने की कोशिश करूंगा कि सब कुछ कितना बुरा है (और यह वास्तव में किसी तरह बुरा है)।

प्रोसेसिंग डाटा

कुछ प्रयोगों के बाद, मेरे पास अभी भी कारों का एक डेटाबेस है जिसमें ब्रांड, मॉडल और सीएसवी प्रारूप में उनके संशोधनों के बारे में डेटा है। फ़ाइल पाठ प्रारूपों में इलेक्ट्रॉनिक पुस्तकों के प्रशंसकों के लिए काफी बड़ी है, लगभग 1 एमबी, अर्थात्। कल्पना और अपने चयन का आविष्कार करने के लिए कुछ गुंजाइश प्रदान करता है, जिससे आप शॉर्ट्स की तुलना में बड़ी फ़ाइलों पर रेगेक्स के प्रदर्शन का मूल्यांकन कर सकते हैं।
तो, मान लीजिए कि मैं माली फ्रैंक हूं, जिसने बुगाटी खरीदने का फैसला किया (पसंद उसके ऊपर गिर गई क्योंकि कुछ ब्रांड के पुराने आधार में इस ब्रांड की केवल 4 कारें हैं; और, इसके अलावा, कौन सा माली भीड़ से नहीं अपने बीजारोपण को छोड़ना नहीं चाहता है; बस, और प्रसिद्ध ब्रांड, आकर्षक स्थानीय सुंदरियों से)।
उपयोग किए गए डेटाबेस में, मशीनों को ब्रांड द्वारा सॉर्ट किया जाता है (हालांकि, परीक्षणों की विश्वसनीयता के लिए, बाद में मॉडल वर्ष के लिए छंटाई की गई थी। परीक्षणों में प्रयुक्त डीबी टुकड़ा:
"";" ";" (/)";" ( 100/)";" (^3)";" (../. )";" ( 100 )";" ";" ()";" ()";" ()";" ";" ";" ";" ()"
...
"Brilliance M3 1.8";"-";"210";"10.1";"1793";"170/5500";"7.7";"";"4488";"1812";"1385";"2008";"3";"4";"400"
"Bugatti Veyron EB 16.4";"43 968 000";"407";"3";"7993";"1001/6000";"24.1";"";"4465";"2000";"1205";"2006";"2";"2";"-"
"Bugatti EB 110 GT";"-";"340";"3.6";"3500";"559/8000";"14.3";"";"4400";"1960";"1125";"1991";"2";"2";"72"
"Bugatti EB 110 S";"-";"350";"3.4";"3500";"620/8000";"13.5";"";"4400";"1960";"1125";"1991";"2";"2";"72"
"Bugatti EB 112 6.0";"-";"300";"4.7";"5995";"461/6300";"18.2";"";"5070";"1960";"1405";"1993";"4";"4";"365"
"Buick Enclave CX";"-";"180";"-";"3564";"279/6600";"-";"";"5126";"2006";"1846";"2007";"5";"8";"535-3259"
...

प्रयोग का कार्य बुगाटी ब्रांड के साथ बश नियमित भावों में सैंपलिंग स्ट्रिंग्स की गति का मूल्यांकन करना है। आलसी लोग नोटिस करेंगे कि यह एक कमांड के साथ regexp के बिना किया जा सकता है:
grep Bugatti auto.csv
लेकिन, स्थिति परीक्षण के लिए काल्पनिक है, और वास्तविक उपयोग के लिए नहीं - वास्तव में, बुगाटी के लिए कौन सा माली पर्याप्त है?

परीक्षण विधि

प्रदर्शन की तुलना में एक फ़ंक्शन के लिए समय कमांड के परिणामों की तुलना करना शामिल है जो अंतर्निहित नियमित अभिव्यक्तियों का उपयोग करता है और एक फ़ंक्शन के लिए जो सीड स्ट्रीम संपादक का उपयोग करता है। (किसी अन्य को चुनना संभव है, लेकिन मैं उसे पसंद करता हूं)।
सरल बनाने के लिए, विषय पहले पैरामीटर में फ़ाइल से पहले से पढ़े गए डेटा प्राप्त करते हैं, और परिणाम को tmp वैश्विक सरणी में लिखते हैं।
तो, एक फ़ंक्शन जो sed संपादक की सुविधाओं का उपयोग करता है वह इस तरह दिखता है:
function test_sed()
{
OLD_IFS=IFS
IFS=$'\n'
tmp=($(sed -n '/.*\(Bugatti[^\n]*\)/s//\1/p' <<< "$1"))
IFS=OLD_IFS
}
यह ध्यान दिया जाना चाहिए कि रेगेक्स पैटर्न कल्पना की गुंजाइश प्रदान करता है, आप ऐसे पात्रों का उपयोग कर सकते हैं जो एक पंक्ति की शुरुआत और अंत का संकेत देते हैं, या यहां तक ​​कि पूरी तरह से अलग पैटर्न के साथ आते हैं।
मेरे उपकरणों पर औसत परीक्षा परिणाम निम्नानुसार है:
real 0m0.805s
user 0m0.719s
sys 0m0.082s

बैश में निर्मित नियमित अभिव्यक्तियों से सिस्टम कॉल पर लगने वाले समय को कम करने और समग्र परीक्षण समय को थोड़ा कम करने की उम्मीद की जाती है।

समारोह test_bash_rematch

कुछ समय बाश में एक फ़ंक्शन परीक्षण regexp लिखने में बिताया गया था, इसलिए मुझे उन बाधाओं का वर्णन करना चाहिए जो मुझे सामना करना पड़ा।
तीसरे संस्करण के बैश में टेम्पलेट खोज का सामान्य रूप इस तरह दिखता है: [[ $str =~ "$regex" ]]
कमांड का परिणाम 0 है यदि पैटर्न से मेल खाने वाला एक अभिव्यक्ति पाया जाता है, तो 1 नहीं मिलने पर और यदि पैटर्न गलत लिखा जाता है तो 2। पैटर्न के साथ पाया गया मिलान S {BASH_REMATCH} सरणी (इंडेक्स 0 के साथ) - उस भाग के लिए लिखा जाता है जो पूरे पैटर्न से मेल खाता है और समूह सूचकांकों के साथ उस क्रम में दिखाई देता है, जिस क्रम में वे प्रदर्शित होते हैं।
पहली बाधा का सामना करना पड़ा - कुछ संस्करण से शुरू होने पर, टेम्पलेट को उद्धरण चिह्नों में संलग्न करने की आवश्यकता नहीं है, जिसे मैंने मैन बैश में अनदेखा किया है।
दूसरा नुकसान - POSIX द्वारा regex के लिए उपयोग किया जाता है, और लालची और आलसी मात्रा का ठहराव मेरे लिए काम नहीं करता है।
और अंत में, एक भँवर, जो काफी प्रगति को धीमा कर देता है - एक टेम्पलेट में खोज का परिणाम या तो टेम्पलेट के साथ पहला मैच हो सकता है या बाद में कोई भी हो सकता है (यह स्ट्रीम संपादक नहीं है जो फ़ाइल लाइन को पहले मैच तक खोजता है)।
परिणामस्वरूप, निम्नलिखित दो कार्यों का उपयोग करके परीक्षण किया गया:
function test_bash_rematch_single()
{
[[ "$1" =~ (Bugatti[[:alpha:][:digit:][:punct:][:blank:]]*) ]] && tmp[0]="${BASH_REMATCH[1]}"
}
एक पैटर्न मैच के लिए खोज, औसत परीक्षा परिणाम:
real 0m0.678s
user 0m0.624s
sys 0m0.030s

सेड से बेहतर, लेकिन यह समझ में आता है - अब तक केवल एक ही पैटर्न मैच है।
और अंतर्निहित फ़ंक्शन और लूप का उपयोग करके दूसरा फ़ंक्शन:
function test_bash_rematch_while()
{
i=0
while read line
do
[[ "$line" =~ (Bugatti.*) ]] && tmp[i]="${BASH_REMATCH[1]}" && ((i++))
done <<< $1
}
परिणामों के साथ:
real 0m1.523s
user 0m1.360s
sys 0m0.030s


निष्कर्ष

जैसा कि आप परिणामों से देख सकते हैं, बैश नियमित अभिव्यक्तियों का उपयोग करते समय समय बिताया प्रसंस्करण प्रणाली कॉल वास्तव में कम हो जाती है। लेकिन, इस समय, बैश संस्करण 4.1.5 (1) बहुत धीरे-धीरे टेम्पलेट को खोजता है, जो महत्वपूर्ण स्थानों पर बिल्ट-इन बैश रेक्सएक्सपी के उपयोग को समाप्त करता है, और जहां रनटाइम कोई मायने नहीं रखता है, आपको भी बिल्ट-इन नियमित एक्सप्रेशंस का उपयोग नहीं करना चाहिए, चूंकि यह गोले के बीच सहिष्णुता को कम करता है, लेकिन प्लसस नहीं देता है।

पुनश्च

पुनरावर्ती के रूप में टेम्प्लेट द्वारा खोज फ़ंक्शन को लागू करना भी संभव है, जब एक टेम्प्लेट जो स्रोत पाठ को दो भागों में विभाजित करता है - पहले और बाद में टेम्पलेट के साथ मेल खाता है और उन्हें पुनरावृत्ति द्वारा खुद को स्थानांतरित करता है, तो यह संभव है (यदि आप पृष्ठभूमि के खिलाफ अलग थ्रेड में चलते हैं), तो यह काम करेगा तेजी से, लेकिन सिस्टम इंटरप्ट करने का समय बढ़ेगा और हम हैमबर्गर को एनीमा में बदल देंगे।