👨‍👩‍👧‍👦 🤦🏿 💸 बैश नौकरी की कतार 🤱🏾 👴🏿 😝

शुभ दिन, habrazhiteli और habrachitateli!
मेरे पास हाल ही में निम्न कार्य था: फ़ाइलों के लिए एक निश्चित निर्देशिका की निगरानी करना आवश्यक था, और यदि कोई फ़ाइल इसमें दिखाई देती है, तो आपको इस फ़ाइल को अन्य ~~सुरक्षित~~ स्थान पर स्थानांतरित करना होगा और उस पर काफी लंबे समय तक चलना होगा। ऐसा लगता है कि सब कुछ सरल है, लेकिन स्थिति को इस तथ्य से निहारा जाता है कि एक ही समय में कई फ़ाइलों को संसाधित करना असंभव है (बुर्जुआ सर्वरों से फाइलें खींचती है जो सिर्फ एक आईपी से बहुत कुछ डाउनलोड करने की अनुमति नहीं देते हैं)।
नौकरी की कतार (FIFO) तुरंत दिमाग में आ गई, जिसे मैं बैश (जो अभी तक दूर है) पर करना चाहता हूं। उन लोगों के लिए जो एक तैयार समाधान चाहते हैं - मैं एक हैब्रकैट के लिए पूछता हूं।

लेख शुरुआती के लिए अभिप्रेत है जो पहले बैश के संदर्भ में FIFO पत्र को सुनते हैं।

संक्षेप में, क्या किया जाएगा: हम टीमों की एक कतार बनाएंगे, जिन्हें एक-एक करके निष्पादित करने की आवश्यकता होगी। स्क्रिप्ट जो कतार की निगरानी करती है वह jobq.lock लॉकर फ़ाइल की जांच करेगी। यदि यह नहीं है, तो कोई भी कार्य नहीं करता है और आप सुरक्षित रूप से अगले को ले सकते हैं। यदि वह है, तो आपको लाइन से कुछ भी पढ़ने की आवश्यकता नहीं है और आप सुरक्षित रूप ~~से उपलब्धि की भावना के साथ~~ छोड़ सकते हैं।

सबसे पहले, हमारी स्क्रिप्ट की कतार और स्थान बनाएँ:

umask 077 mkdir -p ~/jobs/var mkfifo ~/jobs/var/jobq mkdir -p ~/jobs/bin

बिन में हमारी स्क्रिप्ट्स होंगी जो चलेंगी, और var में - कतार से जुड़ी हर चीज (वास्तव में, jobq कतार ही , साथ ही jobq.lock फ़ाइल- लॉकर )।
एक कार्यशील, इनपुट और आउटपुट फ़ोल्डर भी होना चाहिए। मेरे मामले में, यह ~ / कार्य / इनपुट , ~ / कार्य / कार्य और ~ / कार्य / आउटपुट है

इसके बाद, हम अपनी स्क्रिप्ट लिखना शुरू करते हैं। उनमें से 3 थे:

जो नए डेटा पर नज़र रखता है और उन्हें स्थानांतरित करता है
जो कतार में नया डेटा भेजता है (यह स्क्रिप्ट अलग से प्रस्तुत की गई है - आप टिप्पणियों में इसके कारणों के बारे में पढ़ सकते हैं)
जो वास्तव में, कतार की जाँच करता है और वहाँ से नौकरियां चलाता है

चलिए क्रमांकन क्रम में शुरू करते हैं ( $ HOME / jobs / bin / mover.sh )

 #!/bin/bash # ,         #       FILES_LIST=( $(ls $HOME/jobs/Input) ) #       for raw_file in ${FILES_LIST[@]}; do mv $HOME/jobs/Input/$raw_file $HOME/jobs/Work/ #   ,  .  ,     ,      filename=$(basename $raw_file) #      name=${filename%.*} #         mkdir -p $HOME/jobs/Output/$name #    #2,      . #           #     $HOME/complicated_task.sh -i $HOME/jobs/$raw_file -o $HOME/jobs/Output/$name >> $HOME/jobs/Output/$name/task.log $HOME/jobs/submit.sh "$HOME/complicated_task.sh -i $HOME/jobs/$raw_file -o $HOME/jobs/Output/$name >> $HOME/jobs/Output/$name/task.log" done

इस लिपि में, सब कुछ बेहद सरल है। और अच्छी तरह से (मुझे आशा है!) टिप्पणियों में कार्रवाई का वर्णन किया।
एक क्रेस्टब असाइनमेंट लिखने के लिए बहुत कम बचा है। हम हर मिनट इस स्क्रिप्ट को निष्पादित करेंगे

 crontab -e * * * * * $HOME/jobs/bin/mover.sh

हम दूसरी स्क्रिप्ट को पास करते हैं जो हमारी नौकरियों ( $ HOME / jobs / bin / submit.sh ) को कतारबद्ध करेगी :

 #!/bin/bash # submit.sh. #      #     ,     , #   ,       . #        # (    &  ) echo $* > $HOME/jobs/var/jobq &

वास्तव में, यदि आप कार्य के अंत में नहीं डालते हैं, तो स्क्रिप्ट लटकाएगी और पिछले सभी कार्यों के अंत की प्रतीक्षा करेगी। यह क्यों रखा? पृष्ठभूमि को भेजें।

और, अंत में, अवसर का नायक, एक स्क्रिप्ट जो कतार को पढ़ता है और उससे कार्य चलाता है ( $ HOME / jobs / bin / execute.sh ):

 #!/bin/sh # execute.sh #         # jobq.lock - , ,      #    ,     test -f $HOME/jobs/var/jobq.lock && exit 0 #    ,     touch $HOME/jobs/var/jobq.lock || exit 2 #   read job < $HOME/jobs/var/jobq #       : date >> $HOME/jobs/jobs.log echo " RUN: $job" >> $HOME/jobs/jobs.log echo "" >> $HOME/jobs/jobs.log eval $job #   status=$? #  ,   rm -f $HOME/jobs/var/jobq.lock || exit 3 #     ,      exit $status

और फिर, हमारे दोस्त crontab 'y के लिए एक नया कार्य बनाएँ:

 crontab -e * * * * * $HOME/jobs/bin/execute.sh

ऐसी प्रणाली कुछ हफ़्ते से लगातार काम कर रही है, और मैंने यहां लिखने का फैसला किया है - अचानक किसी को इसकी आवश्यकता होगी।

बैश नौकरी की कतार

More articles: