😭 👶🏻 🎁 आईपी द्वारा एक देश का निर्धारण: हम एल्गोरिदम की गति का परीक्षण करते हैं 👗 🙏 🍔

आईपी द्वारा देश का निर्धारण करने के लिए, विशेष डेटाबेस की आवश्यकता होती है, जिसमें आईपी पते और उनके संबंधित देशों की श्रेणी शामिल होती है। आमतौर पर, इस तरह के डेटाबेस को डीबीएमएस में उपयोग के लिए सीएसवी या एसक्यूएल फाइलों के रूप में वितरित किया जाता है, या एक विशेष प्रारूप की बाइनरी फाइलें।

फरवरी बेस जियोलाइट देश, मैक्समाइंड से जियोआईपी कंट्री का मुफ्त संस्करण, परीक्षण के लिए चुना गया था।

इस विषय पर कई लोकप्रिय समाधानों और मेरी "बाइक" ने परीक्षण में भाग लिया।

प्रतिभागियों का परीक्षण करें

MySQL

MySQL प्रायोगिक DBMS के रूप में उपयोग किया जाएगा। जिसमें IP श्रेणियों और देश संख्याओं से मिलकर एक तालिका बनाई जाती है, IP को पूर्णांक में परिवर्तित किया जाता है और उन पर अनुक्रमणिकाएँ बनाई जाती हैं। तालिका संरचना इस तरह दिखती है:

CREATE TABLE `ip2country ` ( `ipn1` INT(10) UNSIGNED NOT NULL, `ipn2` INT(10) UNSIGNED NOT NULL, `num` TINYINT(3) UNSIGNED NOT NULL, PRIMARY KEY (`ipn1`), INDEX `ipn2` (`ipn2`) ) ENGINE=MyISAM;

MySQL के लिए, 3 प्रश्नों का परीक्षण किया जाएगा।

सरल।

 SELECT `num` FROM `ip2country` WHERE `ipn1` <= INET_ATON(' IP ') AND `ipn2` >= INET_ATON('IP')

बीच।

 SELECT num FROM `ip2country` WHERE INET_ATON('IP') BETWEEN `ipn1` AND `ipn2`

सबसिलेक्ट।

 SELECT num FROM (SELECT * FROM ip2country WHERE `ipn1` <= INET_ATON('IP') ORDER BY `ipn1` DESC LIMIT 1) AS t WHERE `ipn2` >= INET_ATON('IP')

जियोआईपी एपीआई

जियोआईपी PHP के लिए मूल एपीआई और द्विआधारी प्रारूप में डेटाबेस का उपयोग करेगा। इसका परीक्षण दो तरीकों से किया जाएगा:

स्टैंडआर्ट डिफ़ॉल्ट मोड है।
मेमोरी - डेटाबेस को मेमोरी में कैशिंग करना।

SxGeo v2

मेरी "बाइक" के बारे में कुछ शब्द। लगभग 6 साल पहले, उस समय उपलब्ध आईपी द्वारा देश के निर्धारण के समाधानों का अध्ययन करने के बाद, मैं बाइनरी जियोआईपी प्रारूप की गति से प्रभावित था। लेकिन वह, मुझे ऐसा लग रहा था, सही आईपी को खोजने के लिए बड़ी संख्या में फाइल नेवीगेशन की कमी थी। इसके कार्यान्वयन के बारे में एक दिलचस्प विचार उत्पन्न हुआ। जो बहुत जल्दी लागू किया गया था और, आश्चर्यजनक रूप से, मैं उम्मीद की तुलना में बहुत तेजी से निकला। लंबे समय तक Sypex जियो का उपयोग उनकी परियोजनाओं में किया गया था।

दूसरे दिन मैंने कुछ और अनुकूलन विचारों को लागू करने का फैसला किया। परिणामस्वरूप, Sypex Geo 2 (संक्षिप्त SxGeo) का एक संस्करण दिखाई दिया। डेटाबेस फ़ाइल पहले संस्करण की तुलना में 25% छोटी हो गई है, और एक ही समय में गति 1.7-2 गुना बढ़ गई है।

जियोआईपी और अन्य समाधानों पर मुख्य लाभ।

छोटा आधार आकार प्रति रेंज 4 बाइट्स से अधिक है। उदाहरण के लिए, जियोआईपी बाइनरी बेस का वजन 1.2 एमबी है, जबकि एसएक्सजीओ 2 का वजन 0.62 एमबी है।
बहुत उच्च प्रसंस्करण गति (परीक्षण के परिणाम देखें)।
डिस्क से न्यूनतम संख्या पढ़ती है (3 + 1 * एन, जहां एन आईपी की संख्या है)।
बैच प्रसंस्करण के लिए अतिरिक्त मोड।

SxGeo को तीन मोड में टेस्ट किया जाएगा:

फ़ाइल एकल आईपी प्रसंस्करण के लिए अनुशंसित सामान्य मोड है।
बैच - बैच प्रसंस्करण मोड, एक समय में कई आईपी पते को संसाधित करने के लिए डिज़ाइन किया गया।
बैच + मेमोरी - इस मोड में, मेमोरी में डेटाबेस कैश अतिरिक्त रूप से उपयोग किया जाता है। सबसे तेज़ मोड, लेकिन अधिक मेमोरी की आवश्यकता होती है, क्योंकि संपूर्ण डेटाबेस फ़ाइल को मेमोरी में लोड किया गया है।

Geobaza

इसके अलावा, जोबोजा एल्गोरिथ्म का प्रतियोगिता से बाहर परीक्षण किया गया था। प्रतियोगिता से बाहर, क्योंकि एक देशी बाइनरी फ़ाइल का उपयोग किया गया था, जिसमें काफी बड़ी संख्या में श्रेणियाँ थीं। Geobaza ने 2000-3000 IP / sec के बारे में बताया, परिणामों में बहुत बड़ी भिन्नता थी। अगर जियोज़ा के रचनाकारों ने इस लेख को पढ़ा और फरवरी जियोलाइट कंट्री द्वारा बनाई गई एक फ़ाइल भेजते हैं, तो मैं इसे खुशी के साथ परीक्षण में जोड़ दूंगा।

परीक्षण

परीक्षण के लिए, एक PHP स्क्रिप्ट लिखी गई थी, जिसमें प्रत्येक शुरुआत में 10,000 यादृच्छिक आईपी पतों की एक सरणी उत्पन्न हुई थी। उसके बाद, सभी एल्गोरिदम इस सरणी पर परीक्षण किए गए थे। यह परीक्षण विधि इसलिए चुनी गई कि एल्गोरिदम समान स्थितियों में थे।

FreeBSD 8 और PHP 5.2.17 पर चलने वाले सर्वर पर परीक्षण किया गया। यह भी विन 7 x 64, PHP 5.3.9 पर परीक्षण किया गया था, अनुपात उसी के बारे में हैं, इसलिए तालिकाओं में केवल FreeBSD परिणाम प्रस्तुत किए जाते हैं।
परीक्षण 10 बार चलाया गया था, औसत डेटा ग्राफ पर दिखाया गया है।

सबसे सरल MySQL क्वेरीज़ सबसे धीमी निकली। जब आप इन प्रश्नों के विस्तार को देखते हैं तो ऐसे धीमे संचालन का कारण स्पष्ट हो जाता है।

 EXPLAIN SELECT num FROM `ip2country` WHERE ipn1 <= INET_ATON('88.88.88.88') AND ipn2 >= INET_ATON('88.88.88.88') LIMIT 1;

 id select_type table type possible_keys key key_len ref rows Extra 1 SIMPLE ip2country range PRIMARY PRIMARY 4 NULL 51059 Using where 1 SIMPLE ip2country range PRIMARY PRIMARY 4 NULL 53852 Using where 1 SIMPLE ip2country range PRIMARY,ipn2 PRIMARY 4 NULL 51587 Using where

पहला परिणाम एक साधारण प्राथमिक कुंजी सूचकांक (`ipn1`) , दूसरा एक समग्र प्राथमिक कुंजी सूचकांक (` ipn1`, `ipn2`) , दो प्राथमिक कुंजी सूचकांक (` ipn1`), INDEX `ipn2` (` ipn2`) के लिए तीसरा है । जैसा कि आप अन्य मामलों की तुलना में बाद में गणना के लिए पंक्तियों के एक समग्र सूचकांक के लिए देख सकते हैं। मैंने LIMIT 1 के बिना परीक्षण किया, और इस मामले में EXPLAIN लिखता है कि सूचकांक का उपयोग नहीं किया गया है, हालांकि यह विकल्प वास्तव में LIMIT की तुलना में तेजी से काम करता है।

नेस्टेड सेलेक्ट वाला विकल्प ज्यादा तेज है। क्वेरी दिखाता है कि MySQL में इंडेक्स, जब सामान्य रूप से उपयोग किया जाता है, तो विशेष बाइनरी प्रारूपों के करीब पहुंचकर बहुत तेजी से काम करता है।

जियोआईपी ने दिखाया है कि MySQL की तुलना में इसका उपयोग करना अभी भी बेहतर है। मुझे भ्रम था कि स्मृति में कैशिंग का उपयोग इतनी छोटी वृद्धि देता है, 10% से कम। Geoip.inc में खुदाई करने पर, मुझे दोषी पाया गया। यह निम्नलिखित कोड निकला:

 if ($gi->flags & GEOIP_MEMORY_CACHE) { // workaround php's broken substr, strpos, etc handling with // mbstring.func_overload and mbstring.internal_encoding $enc = mb_internal_encoding(); mb_internal_encoding('ISO-8859-1'); $buf = substr($gi->memory_buffer, 2 * $gi->record_length * $offset, 2 * $gi->record_length); mb_internal_encoding($enc); }

यदि आप mb_internal_encoding के साथ लाइनों की टिप्पणी करते हैं, तो अंत में गति 6600 आईपी / सेकंड तक बढ़ जाएगी - स्मृति में कैशिंग के उपयोग से अधिक ध्यान देने योग्य वृद्धि। इस मामले में एन्कोडिंग हमें परेशान नहीं करती है, शायद जियोआईपी सिटी के साथ कुछ गड़बड़ियां थीं।

जैसा कि SxGeo के लिए है, तो मुझे लगता है कि टिप्पणियां बहुत कम हैं। यह सामान्य मोड में भी बहुत तेजी से काम करता है, और बैच + मेमोरी मोड में यह आपको अतिरिक्त 40% वृद्धि प्राप्त करने की अनुमति देता है।

जो लोग SxGeo 2 डाउनलोड और परीक्षण कर सकते हैं। इच्छाओं और बग रिपोर्ट का स्वागत है।

युपीडी। मैंने सूचकांकों के विभिन्न संयोजनों में प्रश्नों का भी परीक्षण किया, यह पता चला कि यदि आप पहले 2 प्रश्नों में LIMIT 1 जोड़ते हैं, तो MySQL बहुत सुस्त, कहीं 3-5 गुना धीमा होने लगता है।

आईपी ​​द्वारा एक देश का निर्धारण: हम एल्गोरिदम की गति का परीक्षण करते हैं