👩🏾‍🤝‍👨🏽 🤹🏿 👊🏿 केंद्रीकृत syslog 🖕🏿 🈯️ 〽️

नमस्कार। अपने आईटी इन्फ्रास्ट्रक्चर में उन सर्वरों की बढ़ती संख्या को देखते हुए जो एडमिन और सभी प्रकार के अन्य डिवाइस (राउटर, आईपी फोन आदि) हैं, एक जगह पर लॉग इकट्ठा करने और उनके आउटपुट के लिए अधिक या कम पठनीय इंटरफ़ेस रखने की आवश्यकता है। शायद मैंने एक साइकिल का आविष्कार किया था, लेकिन उस समय मैं जल्दी से कुछ उपयुक्त Google नहीं कर सका, और मैं खुद कुछ बनाना चाहता था।

लॉग के संग्रह के लिए, syslog-ng + PostgreSQL का एक गुच्छा चुना गया था, डेटाबेस और विज़ुअलाइज़ेशन से चयन के लिए, पर्ल में एक सरल वेब इंटरफ़ेस लिखा गया था। फ्रीबीएसडी जेलों में यह सब सफलतापूर्वक वर्चुअलाइज किया जाता है, लेकिन अगर यह किसी भी यूनिक्स-जैसे ओएस पर काम करता है तो कोई बात नहीं। मैं यहां सभी सॉफ़्टवेयर की स्थापना और कॉन्फ़िगरेशन को कवर नहीं करूंगा (नेटवर्क पर बहुत सारी सामग्री है), लेकिन केवल आवश्यक।
इसलिए, डेटाबेस में दूरस्थ लॉग जोड़ने के लिए syslog- एनजी को मजबूर करने के लिए, हम साइनस-एनजी कॉन्फ़िगरेशन फ़ाइल में निम्नलिखित गंतव्य दर्ज करते हैं:

गंतव्य d_pgsql {
sql (प्रकार (pgsql) होस्ट ("<आपका डेटाबेस सर्वर>") पोर्ट ("5432") उपयोगकर्ता नाम ("आपका उपयोगकर्ता नाम>") पासवर्ड ("<आपका पासवर्ड>") डेटाबेस ("<आपके डेटाबेस का नाम>") तालिका ("<तालिका>") कॉलम ("होस्ट", "सुविधा", "प्राथमिकता", "स्तर", "टैग", "तिथि", "समय", "कार्यक्रम", "संदेश") मूल्य ('$' HOST ',' $ FACILITY ',' $ PRIORITY ',' $ LEVEL ',' $ TAG ',' $ YEAR- $ MONTH- $ DAY ',' $ HOUR: $ MIN: SEC, '$ PROGRAM', '$ MSG') अनुक्रमित ("होस्ट", "स्तर", "तिथि", "समय", "संदेश"));
};

हम स्रोत को नए गंतव्य से बांधते हैं, syslog-ng को पुनरारंभ करें (क्या आपको इससे पहले एक डेटाबेस और एक तालिका बनाने के लिए याद है?)। सभी लॉग को अब डेटाबेस में डाला जाना चाहिए। एक महत्वपूर्ण बिंदु - डेटाबेस में अनुक्रमित बनाना सुनिश्चित करें, अन्यथा आप एक बड़े डेटाबेस के साथ ब्राउज़र में "रिक्वेस्ट टाइम आउट" जैसे कुछ देखेंगे।
अगला, हम वेब इंटरफ़ेस बनाते हैं, मुझे यह मिला:

#!/usr/local/bin/perl # # syslog-stat (c) Roman Melko <romanmelko@gmail.com> # Description: Simple web-interface for querying syslog-ng records stored in PostgreSQL database # Requirements: get_hosts.pl script should be runned periodically to have an up-to-date hosts file # Version: 2011122001 # License: BSD # print "Content-type:text/html\n\n"; print <<EndOfHTML; <html><head><title>Syslog</title></head> <body bgcolor='lightgrey'> EndOfHTML use strict; use DBI; use CGI; use Socket; use feature qw/switch/; my $cgi = CGI->new(); my $host; my $level; my $fromdate; my $todate; my $server = "<  >"; # DB server my $user = "< username>"; # DB user my $password = "< password>"; # DB password my $dbname = "<  >"; # DB name my $table = "<>"; # DB table my $hosts_file = "/usr/local/www/syslog-stat/cache/hosts.db"; my $count = 100; # max count of servers my $i = 0; my $sth; my $dbh; my $color = "black"; my @hosts = (); my @levels = ( "", "info", "warning", "error", ); my @years = ("2011" .. "2030"); my @months = ("01" .. "12"); my @days = ("01" .. "31"); my ($fromsec,$frommin,$fromhour,$frommday,$frommon,$fromyear,$fromwday,$fromyday,$fromisdst) = localtime(time); my ($tosec,$tomin,$tohour,$tomday,$tomon,$toyear,$towday,$toyday,$toisdst) = localtime(time); my $where; $dbh = DBI->connect("DBI:Pg:dbname=$dbname;host=$server", "$user", "$password", {'RaiseError' => 1}); # Getting list of hosts, sending logs to syslog server sub get_hosts_ext { open(HOSTS,"<",$hosts_file) or die "open: $!\n"; my $count = 0; while (<HOSTS>) { $hosts[$count] = substr($_,0,length($_)-1); $count++; } close HOSTS or die "close: $!"; } sub query() { $host = $cgi->param('host'); $level = $cgi->param('level'); $fromdate = join("",$cgi->param('fromyear'),$cgi->param('frommonth'),$cgi->param('fromday')); $todate = join("",$cgi->param('toyear'),$cgi->param('tomonth'),$cgi->param('today')); if($fromdate > $todate) { $fromdate = $todate = join("-",$cgi->param('toyear'),$cgi->param('tomonth'),$cgi->param('today')); } else { $fromdate = join("-",$cgi->param('fromyear'),$cgi->param('frommonth'),$cgi->param('fromday')); $todate = join("-",$cgi->param('toyear'),$cgi->param('tomonth'),$cgi->param('today')); } $where = ""; if ($level) { given($level) { when("error") { $where = "and level='error' or host='$host' and level='err'"; } when("info") { $where = "and level='info' or host='$host' and level='notice'"; } default { $where = "and level='$level'"; } } } $sth = $dbh->prepare("SELECT * FROM logs where host='$host' and date>='$fromdate' and date<='$todate' $where order by date desc, time desc"); $sth->execute(); print(' <table border=1 cellpadding="1" cellspacing="0"> <tr> <th>DATE</th> <th>LEVEL</th> <th>PROGRAM</th> <th>MESSAGE</th> </tr> '); while(my $ref = $sth->fetchrow_hashref()) { $color = "black"; given($ref->{'level'}) { when("warning") { $color = "yellow"; } when(($ref->{'level'} eq "error") || ($ref->{'level'} eq "err")) { $color = "red"; } default { $color = "black"; } } print "<p><tr>"; print(" <td>  $ref->{'date'} $ref->{'time'}  </td> <td>  <font color=$color>$ref->{'level'}</font>  </td> <td>  $ref->{'program'}  </td> <td>  $ref->{'msg'}  </td> "); print "</tr></p>"; } print "</table>"; } $fromyear += 1900; $frommon++; $toyear += 1900; $tomon++; get_hosts_ext; if(length($frommon) == 1) { $frommon = join("","0",$frommon); } if(length($frommday) == 1) { $frommday = join("","0",$frommday); } if(length($tomon) == 1) { $tomon = join("","0",$tomon); } if(length($tomday) == 1) { $tomday = join("","0",$tomday); } print $cgi->start_form(); print "Host: ".$cgi->popup_menu(-name=>"host", -values=>[@hosts]); print "\t\tFrom: ".$cgi->popup_menu(-name=>"fromyear", -values=>[@years], -default=>$fromyear); print $cgi->popup_menu(-name=>"frommonth", -values=>[@months], -default=>$frommon); print $cgi->popup_menu(-name=>"fromday", -values=>[@days], -default=>$frommday); print "\t\tTo: ".$cgi->popup_menu(-name=>"toyear", -values=>[@years], -default=>$toyear); print $cgi->popup_menu(-name=>"tomonth", -values=>[@months], -default=>$tomon); print $cgi->popup_menu(-name=>"today", -values=>[@days], -default=>$tomday); print "\t\tLevel: ".$cgi->popup_menu(-name=>"level", -values=>[@levels]); print ($cgi->submit (-name=>'Query',-value=>'Query')); print("<div align='right'>syslog-stat (c) Roman Melko</div>"); print $cgi->end_form(); if(($cgi->param('host')) && ($cgi->param('fromyear') && ($cgi->param('frommonth')) && ($cgi->param('fromday')))) { query(); $cgi->param('host') = (); $cgi->param('fromyear') = (); $cgi->param('frommonth') = (); $cgi->param('fromday') = (); $cgi->param('toyear') = (); $cgi->param('tomonth') = (); $cgi->param('today') = (); $cgi->param('level') = (); } $dbh->disconnect(); print "</body></html>";

और भी get_hosts.pl स्क्रिप्ट, जिसे ताज पर चलाया जाना चाहिए। यह मेजबान की एक सूची बनाता है जो लॉग भेजता है। इसका कार्य मुख्य वेब इंटरफ़ेस में एकीकृत किया जा सकता है, लेकिन फिर इसमें लंबा समय लगेगा और "टाइम आउट अनुरोध" भी हो सकता है।

 #!/usr/local/bin/perl # # syslog-stat (c) Roman Melko <romanmelko@gmail.com> # Description: Get hosts from syslog-ng records stored in PostgreSQL database # Requirements: Should run periodically # Version: 2011121901 # License: BSD # use strict; use DBI; my $host; my $level; my $fromdate; my $todate; my $server = "<  >"; # DB server my $user = "< username>"; # DB user my $password = "< password>"; # DB password my $dbname = "<  >"; # DB name my $table = "<>"; # DB table my $hosts_file = "/usr/local/www/syslog-stat/cache/hosts.db"; my $sth; my $dbh; my @hosts = (); sub get_hosts { $dbh = DBI->connect("DBI:Pg:dbname=$dbname;host=$server", "$user", "$password", {'RaiseError' => 1}); $sth = $dbh->prepare("SELECT DISTINCT host FROM logs order by host asc"); $sth->execute(); my $count = 0; while(my $ref = $sth->fetchrow_hashref()) { $hosts[$count] = $ref->{'host'}; $count++; } $dbh->disconnect(); } sub dump_hosts { open(HOSTS,">",$hosts_file) or die "Dump failed: $!\n"; my $count = @hosts; my $i = 0; while(<@hosts>) { print HOSTS $_."\n"; } close(HOSTS); } get_hosts; dump_hosts; exit 0

सब कुछ, हमें कुछ इस तरह मिलना चाहिए:

फिलहाल, 7 महीने की अवधि के लिए, डेटाबेस मेरे लिए 6.5 जीबी लेता है।

केंद्रीकृत syslog

More articles: