ग्रिड प्रदर्शन

इंटरनेट पर GridFS के प्रदर्शन पर बहुत सारे लेख नहीं हैं, उनमें से एक है GridFS के बाहर फाइलें परोसना जो दिखाता है कि GridFS से फाइलें अपलोड करना डिस्क से 6 गुना धीमी है।
लेकिन उस लेख में एक खामी है - परीक्षण में, पहुंच एक फ़ाइल में जाती है, और एक ही समय में फ़ाइल को nginx या फ़ाइल सिस्टम स्तर पर कैश किया जाता है, जो कि ग्रिड्स की तुलना में अंतराल देता है। हां और ताजा ग्रिडएफएफ की जांच करना अच्छा है, 3 साल बीत चुके हैं।
इसलिए, मैंने अलग-अलग फ़ाइल नामों का उपयोग करके, अपना परीक्षण करने का निर्णय लिया।

52 हजार फाइलें हैं - मूवी पोस्टर, 2GB की कुल मात्रा, औसत तस्वीर का वजन 40kb है। Ext4 पर फ़ाइलों की प्रतिलिपि बनाएँ, GridFS में प्रतिलिपि बनाएँ।
1 कोर के साथ 512MB वर्चुअल मशीन। Ubuntu सर्वर 12.04 LTS 64 बिट, Nginx / 1.4.1 सेटिंग्स मानक हैं।
परीक्षण कम-लागत वाले सर्वर के लिए डिज़ाइन किया गया है, शक्तिशाली सर्वरों के लिए, परिणाम अलग-अलग होंगे।

फ़ाइलें अपलोड करने के तरीके:
1) नग्नेक्स - स्टेटिक्स
2) नग्नेक्स के माध्यम से गीवेंट
3) nginx (संतुलन) के माध्यम से 2 एक्स गीवेंट
4) सीधे जीवेंट
5) nginx (यूनिक्स सॉकेट) के माध्यम से गीवेंट
अंक 2-5 के लिए, Python + Gevent में एक http सर्वर का उपयोग किया गया था जो ग्रिड्सएफएस से फाइलें देता था

लोडिंग के तरीके:
1) ol, t2 - एक url, 2 थ्रेड्स तक पहुंच
2) ol, t10 - एक url, 10 धागे तक पहुंच
3) t2 - विभिन्न url, 2 थ्रेड्स तक पहुंच
4) t10 - विभिन्न url, 10 धागे तक पहुंच



विवरण:
* सभी परीक्षण 3 बार चलाए गए थे, तालिका में औसत मूल्य।
* सभी परीक्षणों के लिए अलग-अलग url तक पहुँच लिंक की एक ही सूची पर होती है, लिंक में फ़ाइल पहचानकर्ता होता है (GridFS में, खोज पहचानकर्ता द्वारा होती है)
* परीक्षणों में जहां पहुंच एक url तक जाती है, फ़ाइल का आकार 13.5 kb है।
* जब भू-भाग के माध्यम से अपलोड किया जाता है, तो अंतिम फ़ाइल को कैश किया जाता है, इसलिए, उन परीक्षणों में जहां एक एकल url एक्सेस किया जाता है, GridFS तक पहुंच नहीं होती है और वास्तव में, पायथन से डेटा आउटपुट की गति को मापा जाता है।
* "एक लिंक" परीक्षण मुख्य रूप से ग्राहक की सीमा निर्धारित करने के लिए किया जाता है।

ग्राहक पायथन में लिखा गया है, परिणामों को देखते हुए, इसकी क्षमता न्यूनतम 1450 अनुरोध प्रति सेकंड के लिए पर्याप्त है। बढ़ते धागे, या कई प्रक्रियाओं के रूप में शुरू करने से ज्यादा प्रदर्शन नहीं होता है। यहां से हम न्याय कर सकते हैं कि सर्वर एक अड़चन थी, जो परीक्षण के लिए आवश्यक है।

नतीजतन, हमें जानकारी मिली कि ग्रिड्सएफएस का प्रदर्शन पहले के विचार से कम नहीं है, कम से कम छोटे सर्वरों पर।

अधिक विचार:
* Nginx-gridfs आज़माएँ
* uwsgi-gridfs
* उपज के माध्यम से फाइल अपलोड
* अन्य प्रॉक्सी सर्वर का प्रयास करें
* अन्य FS (ZFS की कोशिश करो?)

मैं एक शक्तिशाली सर्वर पर परीक्षण करने की योजना भी बना रहा हूं।

लिपि के स्रोत