ऑटो-ट्यूनिंग फ्रीबीएसडी

शुभ घंटे, खाबरोवस्क!

मैं sh (bash) का उपयोग करके FreeBSD की स्थापना और कॉन्फ़िगरेशन को स्वचालित करने में अपने अनुभव को साझा करना चाहता हूं। यह इस तरह था:
एक बार कंपनी में FreeBSD पर कई सर्वर जुटाने की आवश्यकता थी। एक रखने के बाद, दूसरे और तीसरे अक्ष के बाद, मेरे सहकर्मी (राज्य में केवल दो आईटी विशेषज्ञ हैं) ने इस प्रक्रिया को स्वचालित करने के बारे में सोचा जो एक ताज़ा स्थापित ओएस को कॉन्फ़िगर करता है। लिखने का काम मेरे कंधों पर आ गिरा। एक सहकर्मी ने स्वचालित स्थापना का मुद्दा उठाया, जिस पर मैं एक अन्य पोस्ट में चर्चा करूंगा। तो चलिए शुरू करते है!

मैं तुरंत स्पष्ट कर दूंगा: स्क्रिप्ट विशेष रूप से अपने लिए लिखी गई थी, इसलिए कुछ कोड ठीक से डिज़ाइन नहीं किए गए हैं या बस "सही नहीं" हैं। लेकिन, फिर भी, यह काम करता है!
स्क्रिप्ट में 3 फाइलें होती हैं: एक लोडर फ़ाइल, एक मुख्य निष्पादन योग्य फ़ाइल और एक लाइब्रेरी फ़ाइल। मैं क्रम से शुरू करूँगा।

loader.sh

#!/bin/sh lib1='parser.sh' #CORE FILE lib2='parserlib.sh' #LIB FILE #Defining variables --begin-- FTPServer='ftp://10.10.10.50' #FTP server address FileName='tarball.tar.gz' #Default tarball name LongVersion=`uname -r` #Long name of current OS version ShortVersion=${LongVersion%%-*} #Calculatig short version of OS, like "8.3" (DON'T TOUCH THIS LINE, please!) LocalDirectory='/tmp/script/' #Temporary directory. You can manualy clean it later. If it's not exist - just relax, script will create it for you :-) DataDirectory='/var/parser-md5-list/' #Directory with datafiles LockFile='EditLocker.p' #Lock file. Needed to prevent changes in files by script after manual editing. EditLock="$DataDirectory$LockFile" #Absolute LockFile path forcer='-no-force' #Variable must be not empty in case if -f key was not specified #Defining variables --end-- usage (){ echo "Only acceptable options: -f to force rebuild without check -s to force execution without restart -d to delete locker file (needed if files was edited manyally or by system, but now you want to rebuild it) -v <version> to manually specify FreeBSD version. Please be sure to specify it correctly! Example: ./loader.sh -v 9.1 " } #Defining options --begin-- if [ $# -ge 1 ] then while getopts fsdv: opt; do case "$opt" in f) forcer='-f';; s) skip='-s';; d) DL='-d';; v) ShortVersion="$OPTARG";; [?]) usage; exit 1;; esac done fi #Defining options --end-- echo "FreeBSD configuration tool V 1.0" echo "Detected OS version: $LongVersion" echo "Applying tarball for version $ShortVersion" echo; echo "Downloading files..." if [ "$DL" == "-d" ] then touch $EditLock #If file does not exists - this line will create it (needed to avoid error message from rm) rm $EditLock #Remove Lock file fi if ! [ "$skip" == "-s" ] then if ! [ -e run.sh ] then fetch "$FTPServer/FreeBSD/loader.sh" touch run.sh echo "#!/bin/sh clear echo \"*********************************************** * Loader file was updated. Process restarted. * *********************************************** \" " >> run.sh echo "./loader.sh $@" >> run.sh chmod +x run.sh ./run.sh exit 1 else rm run.sh fi fi fetch "$FTPServer/FreeBSD/$lib1" fetch "$FTPServer/FreeBSD/$lib2" chmod +x $lib1 chmod +x $lib2 . $lib1 #Attaching core file to process if [ $? -ne 0 ] #Checking for errors then echo "ERROR! Library $lib1 not found!" #Core file does not exist. exit 1 fi LetItGo $FTPServer $FileName $ShortVersion $LocalDirectory $forcer $DataDirectory $EditLock 

parser.sh

 #!/bin/sh LetItGo() #Body of script { lib1='parserlib.sh' #Lib file . $lib1 #Attaching lib file to process if [ $? -ne 0 ] #Checking for errors then echo "ERROR! Library $lib1 not found!" #Lib file does not exist. kill $$ exit 1 fi #Defining variables --begin-- server=$1 #FTP server address file=$2 #Default tarball name ver=$3 #Version of OS, like "8.3" LocalDir=$4 #Temporary directory. You can manually clean it later. If it's not exist - just relax, script will create it for you :-) DataDirectory=$6 #Directory with data files EditLock=$7 #This file needed to prevent overriding for manually edited files. #Defining variables --end-- cdOrCreate $DataDirectory #Creating data directory if not exists cdOrCreate $LocalDir #Enter temporary directory for file downloads dirchek=`pwd`/ if [ "$dirchek" == "$LocalDir" ] #Checking current directory then rm -rf * #If script successfully entered the temp directory - it will be cleaned else echo "$LocalDir is not accesible! Please check permissions!" kill $$ exit 1 fi fetch "$server/FreeBSD/$ver/$file" #Download tarball hshchk=$(md5 $file) HashCheck ${hshchk##* } $LocalDir $file $5 $DataDirectory cd $LocalDir echo "Extracting files" tar -zxf $file #Unpack it echo "DONE! " rm $file #Remove tarball echo "Tarball was removed from local server." touch $EditLock echo "Lockfile created: $EditLock" for f in $( find $LocalDir ); do #Proceed all files one by one if [ -f $f ] then #check file for manual changes NEWFILE=${f#$LocalDir} NEWFILE=/${NEWFILE#*/} HCK=$(md5 $f) HCK=${HCK##* } #TIMEEDIT="$NEWFILE `stat -f %Sm -t %Y%m%d%H%M%S "$NEWFILE"`" EDITC="$NEWFILE $HCK" CHECK=`grep "$EDITC" "$EditLock"` SIMPLECHECK=`grep "$NEWFILE" "$EditLock"` #You may add your own subtree in additional elif below (for example: immediately script execution, assigning permissions, etc) if [ "`expr "$f" : '.*\(/Merge/\)'`" == "/Merge/" ] #If file should be merged then TempPath=${f##*/Merge} #Cut filepath. Original location will remain echo; echo "Merge: $f --> $TempPath" if ! [ -f $TempPath ] #If original file exist then MoveToLocal $f Merge #Then just replace it by new one else MergeFiles $f $TempPath #Else - merge new file to the old one line by line sort -u $TempPath > $TempPath.tmp #Delete repeating lines if exists mv -f $TempPath.tmp $TempPath #Rewriting merged file by filtered unique data CleanEOL $TempPath #Cleaning empty lines fi echo "DONE!" elif [ "`expr "$f" : '.*\(/Replace/\)'`" == "/Replace/" ] #If file should be replaced then if [ "$EDITC" == "$CHECK" ] || [ "$SIMPLECHECK" = '' ] then echo; echo "Replace: $f --> ${f##*/Replace}" MoveToLocal $f Replace #Then just replace it echo "DONE!" echo "$EDITC" >> $EditLock sort -u $EditLock > $EditLock.tmp #Delete repeating lines if exists mv -f $EditLock.tmp $EditLock else echo; echo "File $NEWFILE was edited manually. Skipped. Use -d key to ignore it." fi elif [ "`expr "$f" : '.*\(/Scripts/\)'`" == "/Scripts/" ] #If tarball contains a scripts, which should have +x permissions then echo; echo "Replace script: $f --> ${f##*/Scripts}" MoveToLocal $f Scripts #Then replace it (scripts cannot be merged) chmod +x ${f##*/Scripts} #And give eXecution permissions echo "DONE!" else echo; echo "DON'T match. Cannot proceed $f. Skipping." #This message means there is another subtree in tarball. It should be removed or described here fi fi done echo; echo "====================================================================" echo; echo "Cleaning temporary files" cd $LocalDir dirchek=`pwd`/ if [ "$dirchek" == "$LocalDir" ] #Checking current directory then rm -rf * echo "Succesfully cleaned" else echo "Temporary files was NOT deleted!" fi echo "DONE!" echo " Tarball was successfully applied." echo "To re-apply it again - use force key (-f)." #Finished } 

और, वास्तव में, कार्य:

parserlib.sh

 #!/bin/sh cdOrCreate() #Enter the directory. Create if it's not exist, then enter. Arguments: 1) Path to directory (alternate or absolute). { if ! [ -d $1 ] #If directory does not exists then mkdir -p "$1" #Then create it fi cd "$1" #Enter the directory } MoveToLocal() #Create path and move file there (or replace existing file). Arguments: 1) full filename with full filepath 2) Folder identifyer, without slashes. { TempPath=${1##*/$2} #Deleting folder identifier from path AbsolutePath=${TempPath%/*} #Completing absolute path cdOrCreate $AbsolutePath #See cdOrCreate() description cd ${1%/*}"/" #Entering directory with file for move mv ${1##*/} $AbsolutePath"/"${1##*/} #Move file to new (absolute path) location } MergeFiles() #Using for check each file from "Merge" subtree and replace lines, or add line to end of file if not exist (?). Files MUST BE in conf syntax. { cat $1 | while read line do lineName=${line%=*} #Calculating key name lineName="$lineName=" lineHashedName=${lineName##\#} #Calculating name if commented sed -i -e 's/^'$lineHashedName'.*/'$line'/g' $2 #Replace line with key (uncommented) sed -i -e 's/^#'$lineHashedName'.*/'$line'/g' $2 #Replace line with key (commented by one hash) echo "$line" >> $2 #Append key to the end of file (dublicates will be sorted). done } CleanEOL() #This function needed for delete ^M from end of replaced lines and delete every empty line. Arguments: 1) Filename with path. { mv $1 tempconfig.conf cat tempconfig.conf | tr -d '\r' > tempconfig.conf.1 #Deleting ^M grep '.' tempconfig.conf.1 > $1 #Deleting empty lines and move file to original location rm tempconfig.conf* #Deleting temporary files } HashCheck() #Checks MD5 of tarball. Arguments: 1) Filename 2) Path 3) Tarball name 4) Flag (force rebuild existing installation) 5) Data directory { cdOrCreate "/var/parser-md5-list/" #See cdOrCreate description fpath=$5 #Location of currently downloaded tarball pointcheck=$4 #Force flag. If equal to "-f" then check will be skipped if ! [ -f $fpath ] #If checkfile does not exists then touch $fpath #Then create it echo $(date) >> $fpath #And write date and time into it elif ! [ "$pointcheck" == '-f' ] #If file exists and force flag was not specified then cat $1 | while read line #Then read date and time from existing file do #Show message echo " ===========================================================" echo " This tarball was applied at $line " echo " Use -f (force) to ignore this warning and rebuild anyway " echo "=========================================================== " cd "$2" #Enter directory which contains currently downloaded tarball rm "$3" #And delete tarball kill $$ #Kill parent process and exit exit 1 done esle #If file exists and -f was specified rm $fpath #Delete existing file touch $fpath #And create a new one fi } 

FTP सर्वर पर, सेटिंग्स के साथ अभिलेखागार बनाने के लिए एक स्क्रिप्ट निष्पादित की जाती है:

 #!/bin/sh cdOrCreate() #Enter the directory. Create if it's not exist, then enter. Arguments: 1) Path to directory (alternate or absolute). { if ! [ -d $1 ] #If directory does not exists then mkdir "$1" #Then create it fi cd "$1" #Enter directory } cd /data/ftproot/FreeBSD/ cat list.txt | while read line do if [ "$1" == '-v' ] then echo " == Processing subtree for version $line ==" fi cdOrCreate $line rm tarball.tar.gz if [ "$1" == '-v' ] then tar -zcvf tarball.tar.gz * cd .. else tar -zcf tarball.tar.gz * cd .. fi done echo " DONE!" if ! [ "$1" == '-v' ] then echo "Use -v for detailed output." fi 

संग्रह में सभी उपनिर्देशिकाओं में पड़ी हुई फाइलें शामिल हैं जो सूची में सूचीबद्ध हैं। txt , अर्थात्। फ़ाइल में पेरेंट निर्देशिकाओं के नाम शामिल हैं जो संस्करण संख्या, एक पंक्ति में हैं।
संग्रह को अनपैक करने के बाद, स्क्रिप्ट मर्ज और प्रतिस्थापित शाखाओं की जांच करती है। पहले के लिए, मापदंडों को कॉन्फ़िगरेशन फ़ाइलों में जोड़ा जाता है या प्रतिस्थापित किया जाता है, यदि आवश्यक हो, तो लाइनों को टिप्पणी या अनियोजित किया जाता है। दूसरे के लिए, सामान्य फ़ाइल प्रतिस्थापन किया जाता है। प्रत्येक परिवर्तित फ़ाइल के लिए, इसका MD5 $ DataDirectory $ LockFile सूची में सहेजा जाता है और स्क्रिप्ट के बार-बार चलने के मामले में, अनुपयुक्त MD5 वाली फ़ाइलों को नहीं बदला जाएगा। यह प्रशासक द्वारा किए गए मैनुअल परिवर्तनों के रोलबैक को रोकने के लिए किया गया था।
इसके अलावा, स्क्रिप्ट में गलत परिवर्तनों को रोकने के लिए, रन.श फ़ाइल के माध्यम से एक पुनरारंभ फ़ंक्शन बनाया गया था, जो स्क्रिप्ट बनाई गई है, स्क्रिप्ट को पुनरारंभ करता है और हटा दिया जाता है। सिद्धांत रूप में, यह फ़ंक्शन काटना आसान है।
स्क्रिप्ट निम्नलिखित कुंजियों को स्वीकार करती है (किसी भी क्रम में):
-फिर से संग्रह पुन: उपयोग के लिए जाँच करता है
-s skips स्क्रिप्ट को पुनः आरंभ करना
-d लॉकफाइल को हटाता है। मैन्युअल परिवर्तन वापस करने की आवश्यकता है
FreeBSD के -v बहुत बल संस्करण
कोई अन्य कुंजी उपयोग फ़ंक्शन को कॉल करेगी और स्क्रिप्ट बाहर निकल जाएगी।
आप संग्रह में उपनिर्देशिकाओं के प्रसंस्करण के लिए अपने स्वयं के विकल्प भी जोड़ सकते हैं। ऐसा करने के लिए, आपको उन्हें संबंधित टिप्पणी के नीचे elif शाखा में parser.sh फ़ाइल में वर्णन करना होगा।
मेरे अभिलेखागार की संरचना इस प्रकार है:

मर्ज / बूट / लोडर .conf
मर्ज / etc / rc.conf
बदलें / usr / स्थानीय / आदि
बदलें / usr / स्थानीय / आदि / svnup.conf
बदलें / usr / शेयर / स्कील
बदलें / usr / share / skel / dot.cshrc
बदलें / etc / ntp.conf
बदलें / etc / adduser.conf
बदलें / etc / portnap.conf
/ Root / .cshrc बदलें

जहां निर्देशिका नाम के बाद (मेरे पास यह विलय और प्रतिस्थापित है) फ़ाइल का मूल पथ सहेजा गया है। निर्देशिका और सब कुछ का नाम जो इसे हटाने से पहले है, तब फ़ाइल को संबंधित शाखा में कोड द्वारा संसाधित किया जाता है।
स्क्रिप्ट केवल मूल कार्यों का उपयोग करके लिखी गई है, अर्थात किसी भी ताज़ा स्थापित फ़्रेच पर काम करेगा।
शुरू करने के लिए, आपको लोडर.श फ़ाइल प्राप्त करने की आवश्यकता है, इसे निष्पादित अधिकार (chmod + x loared.sh) दें और निश्चित रूप से, इसे चलाएं।

मुझे रचनात्मक आलोचना, टिप्पणियाँ और सुझाव, के रूप में खुशी होगी मैं पूरी तरह से समझता हूं कि समाधान सही नहीं है, और मुझे इसे परिष्कृत करने में खुशी होगी।

पुनश्च: मैं वास्तव में शुक्रवार को अधूरे पद के लिए माफी चाहता हूं। गलती से एक प्रति प्रकाशित की और इस पर ध्यान नहीं दिया।