पूरे कार्यालय के लिए बजट बैकअप समाधान

हमारे ब्लॉग पर अधिकांश लेख डेवलपर्स द्वारा लिखे गए हैं। हमने इस अन्याय को ठीक करने और कुछ DevOps जोड़ने का निर्णय लिया। आज हम महत्वपूर्ण बात - बैकअप के बारे में बात करेंगे।
चूंकि बेत सक्रिय रूप से विकसित हो रहा है और कर्मचारियों की संख्या लगातार बढ़ रही है, हम इस निष्कर्ष पर पहुंचे कि केंद्रीकृत बैकअप आंशिक रूप से विभिन्न स्थानों पर नकल और भंडारण जानकारी की तुलना में अधिक सुविधाजनक है।
इस अनुच्छेद में, हम इस बात पर विचार करेंगे कि गंभीर निवेशों का सहारा लिए और बोझिल कार्यान्वयन से बचने के बिना, विभिन्न तरीकों से एक रिपॉजिटरी का उपयोग करके काफी बड़ी संख्या में वर्कस्टेशन "बैकअप" कैसे करें।
हम पहले से ही एक आरक्षण करते हैं कि बैकअप में 100% कर्मचारी शामिल नहीं हैं, क्योंकि हर कोई अपना डेटा स्थानीय मशीनों पर संग्रहीत नहीं करता है, इसलिए हमारे पास बैकअप को अनिवार्य बनाने का लक्ष्य नहीं था।
एक केंद्रीकृत बैकअप की मुख्य कठिनाइयों में से एक यह था कि कर्मचारी विभिन्न ऑपरेटिंग सिस्टम का उपयोग करते हैं।

हम सभी को एक सर्वर पर कैसे एकत्रित करते हैं?


हमारे सिस्टम के उपयोग के आधार पर नमूना आँकड़े:
मैक ओएस ~ 66%;
लिनक्स ~ 27%;
विंडोज ~ 7%।

और अब और अधिक विस्तार से इन तीन ओएस के पीछे क्या छिपा है और हम उन्हें उपयोगकर्ता के साथ कैसे कॉन्फ़िगर करेंगे।
1) मैक ओएस - टाइम मशीन के माध्यम से (मैक ओएस के नवीनतम संस्करणों में इसे बॉक्स से बाहर का समर्थन किया जाता है, हमारे पास बस नीचे 10.6 नहीं है), सर्वर की तरफ - नेटालक ;
2) विंडोज - मानक माध्यम से "बैकअप और पुनर्स्थापना" के माध्यम से, सर्वर की तरफ - सांबा ;
3) लिनक्स - कई विकल्प: सांबा, rsync (पासवर्ड एक्सेस); पूर्ण ssh को अनावश्यक और सुरक्षा कारणों से अक्षम किया गया है।

आइए आगे चलते हैं और बताते हैं कि बैकअप की आवश्यकता वाले उपयोगकर्ताओं के लिए उपयोगकर्ता प्रबंधन इंटरफ़ेस कैसा दिखेगा:



व्यवस्थापक को एक मौजूदा खाते का चयन करने या एक नया बनाने, एक पासवर्ड बनाने और ऑपरेटिंग सिस्टम के प्रकार को इंगित करने की आवश्यकता है।

हार्डवेयर हिस्सा

भंडारण के रूप में, 24 3.5-इंच ड्राइव और 3 टीबी के साथ एक सर्वर बनाया गया था - थोड़े पैसे के लिए एक बड़ी मात्रा।
प्रत्येक ड्राइव को अलग से आरोहित किया जाता है, RAID या LVM का उपयोग नहीं किया जाता है - यदि ड्राइव में से एक विफल हो जाता है, तो इसे जल्दी से बदला जा सकता है; मुक्त स्थान की कमी के मुद्दे को भी संबोधित किया जा रहा है: हम सभी ड्राइव से अधिकतम मात्रा को निचोड़ते हैं।
"क्या होगा यदि डिस्क में से एक पर उपयोगकर्ताओं के बैकअप मर गए थे?" - आप पूछते हैं। हम आपको डिस्क को बदलने के बाद फिर से बैकअप करने के लिए कहते हैं। कर्मचारी के लैपटॉप के साथ 24 ड्राइव में से एक की मृत्यु होने की संभावना वास्तव में बहुत कम है। एक चरम मामले में, हम खोई हुई जानकारी को पुनर्प्राप्त करने का प्रयास करेंगे।
सर्वर का मुख्य कार्य सूचना का भंडारण है, इसलिए यह सीपीयू और मेमोरी का वर्णन करने के लिए कोई मतलब नहीं है, कोई भी आधुनिक प्रोसेसर इस कार्य के साथ सामना करेगा।

खाना पकाने की डिस्क

प्रत्येक डिस्क को प्रारूपित करें और माउंट करें:

parted /dev/sd${i} -s mklabel gpt parted /dev/sd${i} mkpart primary 0GB 2996GB mkfs.ext3 /dev/sd${i}1 

आरक्षित सुपरयुसर स्पेस हटाएं:

 tune2fs -m 0 /dev/sd${i}1 

प्रत्येक अनुभाग के लिए / etc / fstab में हम लिखते हैं

 UUID=${UUID} /storage/sd${i}1 ext3 noatime,acl,user_xattr,usrquota 0 0 

परिणामस्वरूप, हमें डिस्क / स्टोरेज / sd $ {i} डायरेक्टरी में माउंट किया जाता है, जहाँ $ {i} हमारी डिस्क के अक्षरों में से एक है।

यूयूआईडी पर बाध्यकारी के साथ डिस्क को माउंट करना बेहतर है डिस्क के "मिक्सिंग" से इंकार नहीं किया जाता है, और इतने सारे उपकरणों के साथ हमें अचानक सर्वर रिबूट के बाद लंबे समय तक सही पथ को पुनर्स्थापित करना होगा।
हम सभी उपयोगकर्ताओं को मानक लिनक्स उपकरणों का उपयोग करके फाइल सिस्टम में एक कोटा तक सीमित कर देंगे, इसलिए हम इसके लिए डिस्क तैयार करेंगे:

 quotacheck -cu /storage/sd${i} 

सॉफ्टवेयर भाग

netatalk

इस समाधान में, सबसे कठिन मैक ओएस एक्स है, तो आइए afp की स्थापना करके शुरू करें।
आवश्यक पैकेज स्थापित करें:

 rpm -Uvh libdb-4_8-4.8.30-18.6.x86_64.rpm rpm -Uvh db-utils-4.8.30-18.6.x86_64.rpm rpm -Uvh netatalk-2.2.4-3.7.x86_64.rpm rpm -Uvh netatalk-devel-2.2.4-3.7.x86_64.rpm 

Netatalk संस्करण 2 का उपयोग करेगा। *, के रूप में संस्करण 3 में। * पथ संकेतों में चर का उपयोग समर्थित नहीं है ( http://netatalk.sourceforge.net/3.0/htmldocs/afp.conf.5.html , अनुभाग संस्करण: पथों में चर का उपयोग अभी के लिए समर्थित नहीं है। )।

यह ध्यान देने योग्य है कि हमने निम्नलिखित झंडों के साथ नेटटलक पैकेज एकत्र किया:

 --with-cracklib --with-bdb --enable-tcp-wrappers --enable-zeroconf 

/Etc/netatalk/AppleVolumes.default में एक पंक्ति जोड़ें

 ~/TimeMachine "BackupMachine" allow:@backupuser cnidscheme:dbd options:usedots,upriv,tm volsizelimit:250000 dbpath:/local/netatalk/db/$u 

जिसमें:

allow:@backupuser - बैकअप करने वाले समूह में उपयोगकर्ताओं को कनेक्ट करने की अनुमति देता है
BackupMachine - वह नाम जिसे उपयोगकर्ता के सापेक्ष ~ / TimeMachine में भौतिक रूप से माउंट किए गए मैप्ड ड्राइव के रूप में प्रदर्शित किया जाएगा;
volsizelimit:250000 - उपयोगकर्ता को 250 जीबी के कोटा तक सीमित करता है, लेकिन केवल तभी जब उपयोगकर्ता सिस्टम कोटा सेट नहीं करता है। क्योंकि हमारे मामले में, हम सिस्टम कोटा का उपयोग करते हैं, यह विकल्प बेकार है;
tm - एक आवश्यक विकल्प, क्लाइंट के लिए TimeMachine को बैकअप के लिए मान्य संसाधन को पहचानने की अनुमति देता है;
dbpath:/local/netatalk/db/$u - उपयोगकर्ता मेटाडेटा जानकारी के लिए पथ। यह उस स्थिति में आवश्यक है जब निर्देशिका और फ़ाइलों की सूची जो हमने बैकअप की है, निर्मित है। यह अधिक व्यावहारिक होगा यदि आप इसे एक अलग डिस्क पर रखते हैं, उदाहरण के लिए, एक एसएसडी पर;
चर $u उपयोगकर्ता नाम की जरूरत है कि हम तीसरे संस्करण में काम नहीं करता है।

Afpd लॉगिंग चालू करें।
/etc/nettalk/afpd.conf में लाइन जोड़ें

  -setuplog "default log_info /var/log/afpd.log" -keepsessions -transall -savepassword 

जिसमें:
keepsessions - एफएपीडी बंद होने पर सत्र बचाता है;
transall - दोनों प्रोटोकॉल शामिल हैं - AFP transall - transall और AFP-over-TCP;
savepassword - आपको स्थानीय किचेन में उपयोगकर्ता पासवर्ड याद रखने की अनुमति देता है (इस विकल्प के बिना, TimeMachine मैक ओएस 10.8 पर काम नहीं करता है)।

/etc/netatalk/netatalk.conf
उपयोगकर्ताओं की अधिकतम संख्या बढ़ाकर 100 करें

 AFPD_MAX_CLIENTS=100 

नेटालक किया जाता है। आप afp://%SERVERNAME%/ जैसे पते का उपयोग करके मानक टाइम मशीन एप्लिकेशन का उपयोग करके कनेक्ट कर सकते हैं afp://%SERVERNAME%/

सांबा

सांबा का उपयोग विंडोज और लिनक्स दोनों से कनेक्ट करने के लिए किया जाएगा।
सेटअप बहुत सरल है: /etc/samba/smb.conf जोड़ें

 [global] security = user workgroup = Badoo netbios name = BadooBackup local master = no domain master = no preferred master = no socket options = TCP_NODELAY IPTOS_LOWDELAY SO_KEEPALIVE SO_RCVBUF=8192 SO_SNDBUF=8192 [homes] comment = Home Directories valid users = %S writable = yes create mask = 0700 directory mask = 0700 browseable = No read only = No 

यह सेटअप पूरा करता है। विंडोज में, आप "एक्सप्लोरर" के माध्यम से कनेक्ट कर सकते हैं, लिनक्स में - जब आप सिस्टम में लॉग इन करते हैं तो स्वचालित रूप से माउंट होते हैं।

अभिगम नियंत्रण

तो, हम हार्डवेयर और अनुप्रयोगों के साथ किया जाता है। यह पता लगाने के लिए रहता है कि उपयोगकर्ताओं को कई एक्सेस विधियों के साथ कैसे प्रदान किया जाए।
हमारे पास पहले से ही एक उपयोगकर्ता प्रबंधन प्रणाली है , जिसका अर्थ है कि हम सामान्य कठपुतली मैनिफेस्ट का उपयोग करेंगे।

उपयोगकर्ता डेटा एक सहज MySQL तालिका में संग्रहीत किया जाएगा:

 | backupusers | CREATE TABLE `backupusers` ( `id` int(11) unsigned NOT NULL AUTO_INCREMENT, `uid` int(11) NOT NULL, `username` varchar(64) COLLATE utf8_unicode_ci DEFAULT NULL, `backup_username` varchar(64) COLLATE utf8_unicode_ci NOT NULL DEFAULT '', `backup_server` varchar(32) COLLATE utf8_unicode_ci NOT NULL DEFAULT 'backupmsk', `password` varchar(100) COLLATE utf8_unicode_ci NOT NULL DEFAULT '', `password_smb` varchar(100) COLLATE utf8_unicode_ci DEFAULT NULL, `shell` varchar(32) COLLATE utf8_unicode_ci NOT NULL DEFAULT '/bin/false', `map_drive` varchar(6) COLLATE utf8_unicode_ci NOT NULL DEFAULT 'sdc', `quota` int(5) NOT NULL DEFAULT '250', `sftp` tinyint(1) NOT NULL DEFAULT '0', `isactive` tinyint(1) NOT NULL DEFAULT '0', `os` int(1) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci | 

फ्रेमवर्क इस तालिका में डेटा लिखता है।
कुछ विशेषताएं:
फ़ील्ड `map_drive` - सर्वर और डिस्क नाम जिनका उपयोग वर्तमान उपयोगकर्ता के लिए किया जाएगा। यह व्यवस्थापक द्वारा सेट नहीं किया गया है, यह किसी विशेष अनुभाग में और सर्वर पर मौजूद जगह के आधार पर स्वचालित रूप से वितरित किया जाता है। यदि किसी के लिए पर्याप्त जगह नहीं है, तो डेटा को किसी अन्य अनुभाग में स्थानांतरित कर दिया जाएगा;
`isactive` फ़ील्ड इंगित करता है कि कर्मचारी को बैकअप के लिए सर्वर का उपयोग करने की अनुमति है या नहीं। यदि सभी OS निष्क्रिय हैं, तो यह 0 पर जाएगा। उसी समय, उपयोगकर्ता डेटा को हटाया नहीं जाएगा (उपयोगी, उदाहरण के लिए, यदि लैपटॉप खो गया है);
`sftp` फ़ील्ड उपयोगकर्ता को rsync (उस पर और अधिक) का उपयोग करने की अनुमति देता है। यह विधि "उन्नत" सहयोगियों को स्व-लिखित स्क्रिप्ट का उपयोग करके अपने डेटा का बैकअप लेने की अनुमति देगा।

तालिका को अपडेट करने के बाद, एक स्क्रिप्ट चलाई जाती है जो प्रत्येक उपयोगकर्ता के लिए डेटा के साथ प्रकट होती है।

उपयोगकर्ता निर्देशिकाओं को सुविधाजनक रूप से प्रबंधित करने के लिए, हमारे प्रकटन में एक फ़ंक्शन जोड़ें:

  define backupuser_dirs($name,$map_drive,$home="/home/${name}") { file { "$home": owner => $name, ensure => symlink, target => "/storage/${map_drive}/${name}", require => File["/storage/${map_drive}/${name}"]; "/storage/${map_drive}/${name}": owner => $name, ensure => directory, backup => false, mode => 0711; "$home/TimeMachine": owner => $name, ensure => directory, backup => false, mode => 0711, require => File["$home"]; } } 

और यहाँ एक उपयोक्ता के कठपुतली के घोषणापत्र का एक अंश है:

  @user { "i.ableev": ensure => $hostname ? { /^%servername%$/ => present, #       ,     default => absent, #     ,     ,  }, home => "/home/i.ableev", #   ; (!)    /storage/$map_drive/$name uid => "1217", groups => ['backupuser'], # ,      password => 'V2UgYXJlIGhpcmluZyEgaHR0cDovL2NvcnAuYmFkb28uY29tL2pvYnMvCg==', #     Netatalk  rsync shell => "/bin/false", #   shell,     ssh } @backupuser_dirs { "i.ableev": name => "i.ableev", map_drive =>"sdh", # ,         /storage/$map_drive/$name require => User["i.ableev"]; } @exec { "i.ableev_quota": command => "/usr/sbin/setquota -u i.ableev 262144000 262144000 0 0 -a", #   250  … path => "/usr/sbin", onlyif => "/usr/bin/test `/usr/sbin/repquota -ua | /usr/bin/egrep '^i.ableev\s*' | /usr/bin/awk {'print \$4'}` -ne \"262144000\"", # …      ,     250 . } @line { "i.ableev_smb": #    /etc/samba/smbpasswd  : # @user:$uid:$hash file => '/etc/samba/smbpasswd', line => 'i.ableev:1217:XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX:5CDA711BBD899465D8F57D12BDF2BF68:[U ]:LCT-5058462B:', #         } 

अब उपयोगकर्ताओं के पास मैक ओएस, विंडोज या लिनक्स का उपयोग करके सर्वर से जुड़ने का अवसर है।

rsync

Rsync (लेकिन ssh नहीं) के माध्यम से पहुंच प्रदान करने के लिए, हम सीमित सुविधाओं के साथ चेरोट प्लस शेल का उपयोग करेंगे। इस मामले में प्रकटन और कार्य थोड़ा अलग दिखेगा:

  define backupuser_dirs_sftp($name,$map_drive,$home) { file { "/home/${name}": owner => $name, ensure => symlink, target => "${home}", require => File["$home"]; "$home": ensure => directory, owner => root, mode => 0755; "$home/sftp": owner => $name, ensure => directory, backup => false, mode => 0711, require => File["$home"]; } } @user { "i.ableev": ensure => $hostname ? { /^backupmsk$/ => present, default => absent, }, home => "/storage/sdh/i.ableev", uid => "1217", groups => ['backupuser'], password => 'V2UgYXJlIGhpcmluZyEgaHR0cDovL2NvcnAuYmFkb28uY29tL2pvYnMvCg==', #     shell => "/bin/badooshell", #  shell    rsync } @backupuser_dirs_sftp { "i.ableev": name => "i.ableev", map_drive =>"sdh", home => "/storage/sdh/i.ableev", #    ~/sftp ―     require => User["i.ableev"]; } @file { "/storage/sdh/i.ableev/bin": #   chroot' ―     badooshell ensure => directory, recurse => true, purge => true, force => true, backup => false, owner => root, group => root, source => "puppet:///modules/officebackup/bin/"; #    } @file { "/storage/sdh/i.ableev/lib64": #   ,    rsync: ld-linux-x86-64.so.2 libc.so.6 libpopt.so.0 ensure => directory, recurse => true, purge => true, force => true, backup => false, owner => root, group => root, source => "puppet:///modules/officebackup/lib64/"; } 

सभी मेनिफेस्टो तैयार हैं।

परिणाम

परिणामस्वरूप हमें क्या मिला:

• उपयोगी डेटा के 72 टेराबाइट्स के साथ सस्ती सर्वर;
• एक सर्वर पर सभी प्रकार के उपयोगकर्ता ऑपरेटिंग सिस्टम के बैकअप हैं;
• एक्सेस उन सभी को दिया जाता है जो बैकअप करना चाहते हैं।

का आनंद लें!

इल्या अबेलेव, सक्षम , ऑपरेशन ऑफिसर विकास

हास्य मूल: dilbert.com/strips/comic/2007-11-21