🤲🏿 🐠 🥝 असामान्य हार्ड ड्राइव अतिप्रवाह या एक फ़ोल्डर से लाखों फ़ाइलों को कैसे हटाएं 🍫 🗡️ 🤙🏿

प्रस्तावना

सबसे अधिक संभावना है, लेख अनुभवी सिस्टम प्रशासकों के लिए बहुत दिलचस्प नहीं होगा। सबसे पहले, इसका उद्देश्य शुरुआती लोगों के साथ-साथ उन लोगों पर भी है जिन्होंने एक समान समस्या का सामना किया है - लिनक्स (मेरे मामले में डेबियन) में एक फ़ोल्डर से बड़ी संख्या में फ़ाइलों को हटाने की आवश्यकता, साथ ही साथ डिस्क स्थान से बाहर चलाने के साथ जब df -h मुद्दे जो लगभग 30% मुफ्त है।

शुरुआत

कुछ भी नहीं बीमार बीमार।
साइट वाला सर्वर एक वर्ष से अधिक समय तक (लगभग 500 दिनों के लिए) बिना किसी समस्या के काम कर रहा है, कोई समस्या नहीं थी, और एक शुद्ध आत्मा के साथ, मैं शांति से छुट्टी पर चला गया।

छुट्टी के पहले दिन, उन्होंने मुझे एक शिकायत के साथ बुलाया - साइट अनुपलब्ध है। MySQL 28 त्रुटि के साथ क्रैश हो जाता है "डिवाइस पर कोई स्थान नहीं बचा" त्रुटि।

ऐसा लगता है कि समस्या आम है - डिस्क स्थान से बाहर। सच है, df -h दिखाता है कि डिस्क पर पर्याप्त मात्रा में खाली जगह है, लेकिन मैं छुट्टी पर हूं, यह समझने के लिए बहुत आलसी हूं - उन्हें डिस्क (पुराने बैकअप, आदि) पर अनावश्यक फ़ाइलों को देखने और उन्हें हटाने की सलाह दी। हटाया, ऐसा लगता है कि सब कुछ काम किया।

कुछ घंटे बीत गए और समस्या वापस आ गई। अजीब - इस समय के दौरान हार्ड ड्राइव पर मुक्त स्थान व्यावहारिक रूप से कम नहीं हुआ। त्वरित googling के बाद, एक विषय सर्वरफॉल्ट पर दिखाई दिया , जो कहता है कि समस्या इस तथ्य के कारण भी उत्पन्न हो सकती है कि डिस्क स्थान खत्म नहीं हुआ है, लेकिन इनोड्स !

मैं कंसोल में df -i दर्ज करता हूं - और यह वास्तव में निकलता है, मेरे लिए इनोड्स खत्म हो गए हैं।

समस्या

मैंने यह देखना शुरू कर दिया कि मेरी हार्ड ड्राइव पर इतनी सारी फाइलें कहाँ हैं कि उन्होंने सभी इनोड्स खा लिए (और 500 गीगाबाइट हार्ड ड्राइव पर मेरे पास 30 मिलियन से अधिक इनकोड हैं)।

और मैंने पाया - यह निकला, समस्या php सत्र के साथ फ़ोल्डर में थी ।

जाहिर है, किसी कारण से, इस फ़ोल्डर के लिए ऑटो-सफाई तंत्र टूट गया, जिसके कारण यह तथ्य सामने आया कि इसमें बड़ी संख्या में फाइलें जमा हुईं। कितना विशाल कहना मुश्किल है, क्योंकि कोई भी मानक लिनक्स कमांड, जैसे ls, find, rm, आदि। - इस फ़ोल्डर के साथ काम न करें। वे बस लटकाते हैं, उसी समय पूरे सर्वर को लटकाते हैं। मैं केवल यह कह सकता हूं कि डायरेक्टरी फ़ाइल ने अपने आप को एक गीगाबाइट के बारे में तौलना शुरू कर दिया था, और यह भी कि वहां आधा मिलियन से अधिक फाइलें थीं, क्योंकि मैंने पहले ही वहां से बहुत कुछ हटा दिया था।

निर्णय

समाधान स्पष्ट है - आपको इन सभी सत्र फ़ाइलों को हटाने की आवश्यकता है। इसी समय, यह वांछनीय है कि सर्वर हमेशा की तरह काम करना जारी रखे। शुरू करने के लिए, मैंने सत्र फ़ोल्डर का नाम बदला, जिसमें फ़ाइलों का एक समूह होता है, और इसके बजाय एक खाली फ़ोल्डर बनाया जाता है, ताकि मैं पुराने (बदला हुआ) से सभी फ़ाइलों को सुरक्षित रूप से हटा सकूं, और ताकि यह नए सत्र फ़ाइलों के निर्माण में हस्तक्षेप न करे।

इसके अलावा क्रोनर में एक घंटे से अधिक पुराने सत्र फ़ाइलों के स्वचालित विलोपन को जोड़ा गया ताकि समस्या पुनरावृत्ति न हो।

और वह मुख्य समस्या की ओर मुड़ गया - हार्ड ड्राइव की सफाई।

मैंने "माथे" समाधान की कोशिश की:

 rm -rf ./*

सर्वर लटका, कुछ भी बंद नहीं हुआ

मैंने बड़ी संख्या में फ़ाइलों को हटाने के लिए एक ज्ञात विधि की कोशिश की

 find . -type f -exec rm -v {} \;

कुछ भी नहीं, सर्वर हैंग होता है, फाइलें डिलीट नहीं होती हैं।

और अब क्या सबसे दिलचस्प है - इन फ़ाइलों को हटाने के कार्य के साथ mc फ़ाइल प्रबंधक सफलतापूर्वक सफल हो गया! यही है, जब आप किसी फ़ोल्डर को हटाना शुरू करते हैं, तो फाइलें हटा दी जाती हैं, एमसी नहीं लटका होता है। निष्कासन प्रति मिनट लगभग 5,000 फ़ाइलों की गति से होता है, हालांकि यह हार्ड ड्राइव पर एक बड़ा भार बनाता है, जो सर्वर की अक्षमता की ओर जाता है।

लेकिन मैं चाहूंगा कि ये फाइलें धीरे-धीरे पृष्ठभूमि में हटाई जाएं, और साइट के सामान्य संचालन में हस्तक्षेप न करें।

वास्तव में, समाधान फिर से Google में पाया गया था - ओलार्क को जिस तरह से 1 फ़ोल्डर में 8 मिलियन फ़ाइलों की एक सूची प्रदर्शित की जाती है, वह getdents सिस्टम कॉल का उपयोग करके getdents होती है

यहां गेटडेंट्स फ़ंक्शन के लिए प्रलेखन है, साथ ही इसका उपयोग करने वाले नमूना कोड भी हैं।

यह सच है, यह उदाहरण मुझे बिल्कुल भी पसंद नहीं आया - भले ही आप एक बड़े बफर आकार को रखते हों, जैसा कि ओलक अपने ब्लॉग में सलाह देता है, सर्वर अभी भी एक बार में पूरे फ़ोल्डर को पढ़ने का प्रयास करते समय फ़्रीज हो जाता है।

स्वाभाविक रूप से, मैंने 30 किलोबाइट्स के एक बफर आकार का चयन किया, जो आपको एक निर्देशिका से 550 फ़ाइल नामों को पढ़ने की अनुमति देता है, जबकि सर्वर को लटका नहीं है और डिस्क पर अनावश्यक भार पैदा नहीं करता है। उन्होंने उदाहरण कोड को भी थोड़ा बदल दिया ताकि फ़ाइल नाम प्रदर्शित करने के बजाय, वह उसे हटा दें।

परिणामस्वरूप, मुझे निम्नलिखित कोड मिला:

 #define _GNU_SOURCE #include <dirent.h> /* Defines DT_* constants */ #include <fcntl.h> #include <stdio.h> #include <unistd.h> #include <stdlib.h> #include <sys/stat.h> #include <sys/syscall.h> #define handle_error(msg) \ do { perror(msg); exit(EXIT_FAILURE); } while (0) struct linux_dirent { long d_ino; off_t d_off; unsigned short d_reclen; char d_name[]; }; #define BUF_SIZE 1024*30 int main(int argc, char *argv[]) { int fd, nread; char buf[BUF_SIZE]; struct linux_dirent *d; int bpos; int deleted; char d_type; char temp[100]; fd = open(argc > 1 ? argv[1] : ".", O_RDONLY | O_DIRECTORY); if (fd == -1) handle_error("open"); deleted = 0; nread = syscall(SYS_getdents, fd, buf, BUF_SIZE); if (nread == -1) handle_error("getdents"); if (nread != 0) { for (bpos = 0; bpos < nread;) { d = (struct linux_dirent *) (buf + bpos); d_type = *(buf + bpos + d->d_reclen - 1); if(d->d_ino && d->d_ino != 22332748 && d->d_ino != 22332761) { //    inode      ,       "."  ".." -  ,     sprintf(temp,"%s/%s", argv[1], (char *) d->d_name); remove(temp); deleted += 1; } bpos += d->d_reclen; } } printf("deleted %d\n", deleted); exit(EXIT_SUCCESS); }

नियमित gcc द्वारा संकलित कोड

 gcc listdir.c -o listdir

और यह सिर्फ कमांड लाइन से शुरू होता है:

 ./listdir mod-tmp2

मैंने परिणामी फ़ाइल को मुकुटों में डाल दिया और अब मैं प्रति मिनट 547 फ़ाइलों को हटा देता हूं, जबकि सर्वर पर लोड सामान्य सीमा के भीतर है - और मुझे आशा है कि एक या दो सप्ताह के भीतर सभी फाइलें अभी भी हटा दी जाएंगी।

निष्कर्ष

यदि df -h इंगित करता है कि हार्ड डिस्क पर अभी भी जगह है, तो यह नहीं हो सकता है। df -i को भी देखना चाहिए
आपको सत्र फ़ाइलों जैसी चीजों की ऑटो-सफाई के तंत्र पर भरोसा नहीं करना चाहिए - कुछ बिंदु पर वे काम नहीं कर सकते हैं, और आप अपने आप को फ़ाइलों के पहाड़ में पाएंगे, हटाना जो एक तुच्छ कार्य नहीं है
मानक लिनक्स कमांड, जैसे ls, rm, find , आदि। एक फ़ोल्डर में लाखों फाइलें जैसे असामान्य स्थितियों को पारित कर सकते हैं। इस मामले में, आपको निम्न-स्तरीय सिस्टम कॉल का उपयोग करने की आवश्यकता है

असामान्य हार्ड ड्राइव अतिप्रवाह या एक फ़ोल्डर से लाखों फ़ाइलों को कैसे हटाएं

प्रस्तावना

शुरुआत

समस्या

निर्णय

निष्कर्ष

More articles: