पार्सिंग पहुँच.लॉग अपाचे

एक बार मुझे एक स्क्रिप्ट लिखने की ज़रूरत थी जो अपाचे वेब सर्वर के access.log का विश्लेषण करती है। मेरे पास लिखने के लिए समय नहीं था और मैं कुछ तैयार करना चाहता था। लेकिन मुझे कुछ भी उपयुक्त नहीं लगा और मुझे खुद लिखना पड़ा। इसलिए मैंने अपनी सर्वश्रेष्ठ प्रथाओं को साझा करने का फैसला किया।
वास्तव में, मैं इस कार्य के लिए सामान्य एल्गोरिथ्म का वर्णन करूंगा, जिसे हर कोई पहले से ही आवश्यक होने पर अपनी आवश्यकताओं को परिष्कृत कर सकता है।

तो, शुरुआत के लिए, आइए याद करते हैं कि access.log फ़ाइल क्या है। और यह इस तरह दिखता है:

193.34.12.132 - - [20/Oct/2011:12:46:08 +0400] "GET /scripts/fancyzoom.min.js HTTP/1.1" 200 4435 "http://kropus.amarox.ru/" "Mozilla/5.0 (Windows NT 5.1; rv:7.0.1) Gecko/20100101 Firefox/7.0.1"
193.34.12.132 - - [20/Oct/2011:12:46:08 +0400] "GET /bitrix/js/main/core/css/core_window.css?1318570950 HTTP/1.1" 200 44471 "http://kropus.amarox.ru/" "Mozilla/5.0 (Windows NT 5.1; rv:7.0.1) Gecko/20100101 Firefox/7.0.1"
193.34.12.132 - - [20/Oct/2011:12:46:08 +0400] "GET /bitrix/templates/kropus/components/bitrix/menu/kropus/script.js?1315557673 HTTP/1.1" 200 469 "http://kropus.amarox.ru/" "Mozilla/5.0 (Windows NT 5.1; rv:7.0.1) Gecko/20100101 Firefox/7.0.1"


जैसा कि आप शायद पहले से ही लॉगिंग के प्रारूप को जानते हैं, आप अपाचे सेटिंग्स को बदल सकते हैं। ऊपर डिफ़ॉल्ट प्रारूप है। इसमें आप क्लाइंट का आईपी एड्रेस, तारीख और समय, प्रोटोकॉल, रिक्वेस्ट साइज, क्वेरी स्ट्रिंग, ब्राउजर और ओएस देख सकते हैं।

संक्षेप में वर्णित है, लॉग पार्सिंग एल्गोरिथ्म स्वयं फ़ाइल की प्रत्येक पंक्ति का एक प्रसंस्करण अलग से है। स्ट्रिंग को संसाधित करते समय, एक सरणी बनाई जाती है, जिसके प्रत्येक क्षेत्र में एक तत्व होता है: पता, अनुरोध की लंबाई, प्रोटोकॉल, आदि। फिर, प्रत्येक व्यक्ति, आवश्यकता का, वह करता है जो वह इस डेटा के साथ चाहता है: इसे डेटाबेस में दर्ज करता है, तुरंत ब्राउज़र में प्रदर्शित करता है, आंकड़े एकत्र करता है, और आम तौर पर उस समस्या को हल करता है जो उसे चाहिए। और इसलिए इसे प्रत्येक पंक्ति के लिए या वांछित पंक्तियों के लिए दोहराया जाता है।

और अब और अधिक विस्तार में:
प्रत्येक पंक्ति को पार्स करने के लिए, उन सभी को एक सरणी में रखना पहले अधिक सुविधाजनक होगा, जहां प्रत्येक तत्व एक फ़ाइल से एक पंक्ति है। यह फ़ाइल फ़ंक्शन के साथ और अधिक किया जा सकता है।

$file_array = file(' ');


लेकिन यह विधि हमेशा उचित नहीं होती है क्योंकि लॉग फ़ाइल में कई हजार लाइनें शामिल हो सकती हैं और स्क्रिप्ट बस फ्रीज हो जाएगी या त्रुटि वापस कर देगी। इसलिए, यदि आप शायद जानते हैं कि फ़ाइल हो सकती है या बड़ी है, तो एक लूप का उपयोग करके कार्य को लागू करना बेहतर होता है जिसमें हम बस फ़ाइल की अगली पंक्ति लेते हैं, इसे पार्स करते हैं और डेटा को संसाधित करते हैं। इस प्रकार, आपको सभी पंक्तियों के साथ एक बार में एक विशाल सरणी बनाने की आवश्यकता नहीं है।

यह स्ट्रिंग प्राप्त करने के लिए फ़ंक्शन जैसा दिखता है
($ fp - fopen function द्वारा पहले प्राप्त फ़ाइल का पॉइंटर)

function get_log_string()
{
if (feof($fp))
{
return false;
}
$bits='';

for (;!feof($fp) && $bits != "\n";)
{
$bits .= fread($fp, 1);
}
return rtrim($bits, "\n");
}


इस प्रकार, हम एक बिट को तब तक पढ़ते हैं जब तक हम पंक्ति के अंत तक नहीं पहुंच जाते। यदि फ़ाइल का अंत पहुँच गया है, तो झूठे वापस लौटें।

इस फ़ंक्शन को लूप करने की आवश्यकता है
जबकि ($ स्ट्रिंग = $ get_log_string ())
{
// परिणामस्वरूप स्ट्रिंग $ स्ट्रिंग को पार्स करें
// और इसके साथ आवश्यक क्रियाएं करें
}

अब वास्तव में खुद को पार्स करने के लिए सीधे लाइन पर जाएं।
मैंने यह preg_match फ़ंक्शन और नियमित अभिव्यक्तियों का उपयोग करके किया। पैटर्न सेट करें

$pattern = "/(\S+) (\S+) (\S+) \[([^:]+):(\d+:\d+:\d+) ([^\]]+)\] \"(\S+) (.*?) (\S+)\" (\S+) (\S+) (\".*?\") (\".*?\")/"


हम अंत में मिलता है

preg_match ($pattern, $line, $result)


$ पैटर्न हमारा पैटर्न है
$ लाइन - पंक्ति से पार्स करने के लिए
$ परिणाम - एक सरणी जिसमें परिणाम लिखा जाएगा

सुविधा के लिए, सरणी को पठनीय प्रारूप में डाला जा सकता है

$formated['ip'] = $result [1];
$formated['identity'] = $result [2];
$formated['user'] = $result [3];
$formated['date'] = $result [4];
$formated['time'] = $result [5];
$formated['timezone'] = $result[6];
$formated['method'] = $result [7];
$formated['path'] = $result[8];
$formated['protocol'] = $result[9];
$formated['status'] = $result[10];
$formated['bytes'] = $result[11];
$formated['referer'] = $result[12];
$formated['agent'] = $result[13];


बस इतना ही। हमें लॉग लाइन से डेटा के साथ एक सरणी मिली। अब इस डेटा के साथ आप वह कर सकते हैं जो आपको किसी विशेष मामले में चाहिए।