Linux कंसोल टूल के साथ DoubleGIS अपडेट

परिचय

बहुत बार, उपयोगकर्ताओं को एक DoubleGIS (इसे एक विज्ञापन नहीं मानें) निर्देशिका स्थापित करने के लिए कहा जाता है, खासकर यदि उपयोगकर्ता व्यावसायिक यात्राओं पर जाता है, तो दूसरे शहरों के लोगों के साथ संवाद करता है।

और किसी भी सिस्टम एडमिनिस्ट्रेटर की तरह, मुझे सभी शहरों के लिए डब्ललजीआईएस को स्वचालित रूप से और केंद्र में अपडेट करने का विचार था।

कई कारणों से, लिनक्स का उपयोग करके ऐसा करने का निर्णय लिया गया था।
इसका एक कारण इस ऑपरेटिंग सिस्टम के लिए केंद्रीकृत अपडेट के समाधान की कमी थी।
एक और सभी डेटाबेस के साथ एक साइट पर फ़ाइल की कमी है और लिनक्स उपयोगकर्ताओं के लिए एक संग्रह में शेल है।

इस लेख में मैं आपको बताऊंगा कि लिनक्स कंसोल टूल का उपयोग करके सभी शहरों के लिए डब्लूजीआईएस को कैसे अपडेट किया जाए।

आपको क्या चाहिए?

• लिनक्स सर्वर (फेडोरा 15 के तहत मेरे लिए काम करता है)
• wget
• sed, grep
• खोलना
• आपका पसंदीदा टेक्स्ट एडिटर

पटकथा लिखना

यहाँ स्क्रिप्ट मिली है।

शहर के लिंक के साथ वेब पेज डाउनलोड करें।
wget --no-proxy --html-extension -P/root/2gis 'http://www.2gis.ru/how-get/linux/'

हम उन सभी HTML फ़ाइलों का चयन करते हैं, जिन्हें हमने डाउनलोड किया था, लिंक वाली सभी लाइनें, सॉर्ट, डुप्लिकेट हटाएं और उन्हें एक अस्थायी index.tmp फ़ाइल में लिखें।
cat /root/2gis/*.html | grep http:\/\/ |sort |uniq >/root/2gis/index.tmp

वेब पेज हटाएं - अब इसकी आवश्यकता नहीं है।
rm -f /root/2gis/*.html

इस खौफनाक टीम के साथ, हमने Index.tmp को संसाधित किया कि कैसे-कैसे लाइन के साथ सभी लिंक प्राप्त करें और इन लिंक से तुरंत वेब पेज डाउनलोड करें।
cat /root/2gis/index.tmp | grep -o [\'\"\ ]*http:\/\/[^\"\'\ \>]*[\'\"\ \>] | sed s/[\"\'\ \>]//g | grep how-get | xargs wget --no-proxy -r -p -np -l1 -P/root/2gis --tries=10 --html-extension --no-directories --span-hosts --dot-style=mega

हटाए गए index.tmp - यह बस रास्ते में हो जाता है।
rm -f /root/2gis/index.tmp

एक html2.tmp में HTML एक्सटेंशन के साथ सभी फ़ाइलों को सरेस से जोड़ा हुआ।
cat /root/2gis/*.html >/root/2gis/index2.tmp

डाउनलोड किए गए वेब पेज हटाएं।
rm -f /root/2gis/*.html

अब सबसे दिलचस्प बात यह है कि उन पर अपडेट और फ़ाइलों को डाउनलोड करने के लिए लिंक निकालना है।

हम स्ट्रिंग के साथ लिंक के लिए index2.tmp की प्रक्रिया करते हैं "/ अंतिम / लिनक्स /", सॉर्ट करें, डुप्लिकेट हटाएं और तुरंत 2gis.arch फ़ोल्डर में केवल नई फाइलें डाउनलोड करें
cat /root/2gis/index2.tmp | grep -o [\'\"\ ]*http:\/\/[^\"\'\ \>]*[\'\"\ \>] | sed s/[\"\'\ \>]//g | grep "/last/linux/" | sort | uniq | xargs wget --no-proxy -nc -P/root/2gis.arch --tries=3 --html-extension --no-directories --span-hosts --dot-style=mega

सभी अस्थायी फ़ाइलें हटाएं।
rm -fr /root/2gis/index*

संग्रह फ़ोल्डर से सभी ज़िप फ़ाइलों को हमारे लक्ष्य फ़ोल्डर / रूट / 2 जीआईएस / से अनपैक करें
unzip -o /root/2gis.arch/\*.zip -d /root/2gis/
20 दिनों से पुराने अभिलेखों को हटा दें ताकि कोई डुप्लिकेट न हो
find /root/2gis.arch/ -name * -mtime +20 |xargs rm -fr

अब / root / 2gis फ़ोल्डर में सभी शहरों के लिए एक अनपैक्ड DoubleGIS है, और साइट से डाउनलोड किए गए Linux उपयोगकर्ताओं के लिए /root/2gis.arch फ़ोल्डर अभिलेखागार में।
हमने क्रोन पर निष्पादित करने के लिए स्क्रिप्ट रखी।
मैं इसे हर दिन सेट करता हूं, स्क्रिप्ट अनावश्यक फ़ाइलों को डाउनलोड नहीं करती है।

निष्कर्ष

डब्लूजीआईएस की साइट संरचना लगातार बदल रही है, यह संभव है कि स्क्रिप्ट अपडेट डाउनलोड न करें। मैं समय-समय पर इसकी निगरानी करने की सलाह देता हूं।

अद्यतन 12/31/2011

स्क्रिप्ट का संपादन किया। सभी अनावश्यक को हटा दिया।

नया विकल्प।
wget -O - 'http://www.2gis.ru/how-get/linux/' 2>/dev/null | sed "s/^.*\(http:\/\/[^\"\'\ ]*\/how-get\/linux\/\).*$/\1/g" |\
grep "how-get\/linux"|sort|uniq|xargs wget -p -O - 2>/dev/null |sed "s/^.*\(http:\/\/[^\"\'\ ]*\/last\/linux\/\).*$/\1/g"|grep "last\/linux"| sort|uniq|\
xargs wget -N -P/root/2gis.arch
unzip -o /root/2gis.arch/\*.zip -d /root/2gis/


पी एस रचनात्मक आलोचना के लिए क्रियाशील के लिए धन्यवाद।
सभी को नया साल मुबारक हो!