16 जीबी रैम पर जावा मैप में 3 बिलियन प्रविष्टियां

एक बरसात की शाम, मैंने जावा में स्मृति प्रबंधन के बारे में सोचा और जावा संग्रह को प्रभावी ढंग से कैसे उपयोग किया जाए। मैंने एक सरल प्रयोग किया, मैं 16 जीबी रैम के साथ कितने रिकॉर्ड मैप कर सकता हूं?

इस प्रयोग का उद्देश्य संग्रह की आंतरिक मेमोरी लागतों की जांच करना है। इसलिए मैंने छोटी कुंजी और छोटे मूल्यों का उपयोग करने का फैसला किया। सभी परीक्षण 64-बिट लिनक्स कुबंटू 12.04 पर किए गए थे। हॉटस्पॉट 23.5-b02 के साथ जेवीएम 64 बिट ओरेकल जावा 1.7.0_09-b05। संपीड़ित बिंदु (-XX: + UseCompressedOops) इस JVM पर डिफ़ॉल्ट रूप से सक्षम हैं।

Java.util.TreeMap के साथ पहला परीक्षण। मानचित्र में एक संख्या सम्मिलित करता है, तब तक काम करता है जब तक कि स्मृति समाप्त नहीं हो जाती। इस परीक्षण के लिए जेवीएम पैरामीटर - Xmx15G

आयात java.util। *;
नक्शा m = नया ट्रीपैप ();
(लंबे काउंटर = 0 ;; काउंटर ++) {
m.put (काउंटर, "");
if (काउंटर% 1000000 == 0) System.out.println ("" + काउंटर);
}

यह उदाहरण 172 मिलियन में समाप्त हुआ। अंत में, कचरा कलेक्टर की आक्रामक गतिविधि के कारण प्रक्रिया धीमी हो गई। दूसरे रन में, मैंने ट्री मैप को एक हाशप के साथ बदल दिया, यह 182 मिलियन के साथ समाप्त हो गया।

डिफ़ॉल्ट रूप से, जावा संग्रह सुपर कुशल नहीं हैं। तो आइए अधिक मेमोरी को अनुकूलित करने का प्रयास करें: मैंने मैपहेड से लॉन्गहैश मैप चुना, जो कि आदिम लंबी कुंजियों का उपयोग करता है और छोटी मात्रा में मेमोरी के लिए अनुकूलित होता है। JVM सेटिंग्स फिर से -Xmx15G

आयात org.mapdb। *
LongMap m = नया LongHashMap ();
(लंबे काउंटर = 0 ;; काउंटर ++) {
m.put (काउंटर, "");
if (काउंटर% 1000000 == 0) System.out.println ("" + काउंटर);
}

इस बार काउंटर 276 मिलियन रिकॉर्ड पर बंद हो गया। फिर से अंत में, कचरा कलेक्टर की आक्रामक गतिविधि के कारण प्रक्रिया धीमी हो गई।

यह गतिशील संग्रह की सीमा प्रतीत होती है, कचरा संग्रहण अतिरिक्त लागत लाता है।

यह असली हथियारों को रोल आउट करने का समय है :-)। हम हमेशा गतिशील मेमोरी से दूर हो सकते हैं, जहां कचरा संग्रहकर्ता हमारे डेटा को नहीं देख पाएंगे। मुझे आप के लिए MapDB शुरू करते हैं, यह डेटाबेस समर्थन के साथ TreeMap और HashMap प्रदान करता है। यह विभिन्न भंडारण मोड का समर्थन करता है, जिसमें एक विकल्प शामिल है जो गतिशील मेमोरी में नहीं है।

तो चलो पिछले उदाहरण को चलाते हैं, लेकिन अब मैप गतिशील मेमोरी के बिना है। सबसे पहले, डेटाबेस को कॉन्फ़िगर और खोलने के लिए कई लाइनें हैं, लेन-देन के साथ मेमोरी तक सीधी पहुंच। अगली पंक्ति डेटाबेस में एक नया मानचित्र बनाती है।

आयात org.mapdb। *

DB db = DBMaker
.newDirectMemoryDB ()
.transactionDisable ()
.make ();

मानचित्र m = db.getTreeMap ("परीक्षण");
(लंबे काउंटर = 0 ;; काउंटर ++) {
m.put (काउंटर, "");
if (काउंटर% 1000000 == 0) System.out.println ("" + काउंटर);
}

यह मानचित्र गतिशील मेमोरी में नहीं है, इसलिए हमें अलग-अलग JVM सेटिंग्स की आवश्यकता है: -XX: MaxDirectMemorySize = 15G -Xmx128M। स्मृति 980 मिलियन में भाग गई।

लेकिन MapDB बेहतर किया जा सकता है। पिछले उदाहरण में समस्या विखंडन है, बी-ट्री नोड प्रत्येक सम्मिलित पर आकार देता है। समाधान डालने से पहले पेड़ के नोड्स को चाटना है। यह रिकॉर्डिंग विखंडन को कम कर देता है। DB कॉन्फ़िगरेशन बदलें:

DB db = DBMaker
.newDirectMemoryDB ()
.transactionDisable ()
.SyncFlushDelay (100)
.make ();

मानचित्र m = db.getTreeMap ("परीक्षण");

मेमोरी 31 मिनट के बाद 1.738 मिलियन रिकॉर्ड पर बाहर चला गया।

32 से 120 प्रविष्टियों में पेड़ में नोड का आकार बढ़ाकर और पारदर्शी संपीड़न को सक्षम करके MapDB और भी बेहतर किया जा सकता है:

DB db = DBMaker
.newDirectMemoryDB ()
.transactionDisable ()
.SyncFlushDelay (100)
।
.make ();

मानचित्र m = db.createTreeMap ("परीक्षण", 120, झूठा, अशक्त, अशक्त, अशक्त);

यह उदाहरण 3.315 मिलियन रिकॉर्ड पर मेमोरी को पूरा करता है। यह संपीड़न के कारण धीमा है, लेकिन यह अभी भी घंटों के भीतर पूरा करता है। मैं शायद कुछ अनुकूलन (विशेष धारावाहिक) कर सकता हूं और रिकॉर्ड की संख्या बढ़ा सकता हूं, कहीं 4 बिलियन के आसपास।

शायद आप पूछ सकते हैं कि ये सभी नोट वहां कैसे फिट हैं। उत्तर डेल्टा-कुंजी संपीड़न है। इसके अलावा, बी-ट्री में ऑर्डर की गई चाबियों को डालना एक बेहतर परिदृश्य है और मैपबीडी इसके लिए थोड़ा अनुकूलित है। सबसे खराब स्थिति परिदृश्य बेतरतीब ढंग से चाबियाँ सम्मिलित करता है।

सभी उदाहरणों पर डिफ़ॉल्ट रूप से डेल्टा-कुंजी संपीड़न। इस उदाहरण में, मैंने ज़ालिब संपीड़न को सक्रिय किया।

DB db = DBMaker
.newDirectMemoryDB ()
.transactionDisable ()
.SyncFlushDelay (100)
.make ();

मानचित्र m = db.getTreeMap ("परीक्षण");

रैंडम r = new random ();
(लंबे काउंटर = 0 ;; काउंटर ++) {
m.put (r.nextLong (), "");
if (काउंटर% 1000000 == 0) System.out.println ("" + काउंटर);
}

लेकिन यादृच्छिक क्रम के साथ भी, MapDB साधारण डायनेमिक संग्रह के आधार पर 651 मिलियन रिकॉर्ड, लगभग 4 गुना अधिक स्टोर करने में सक्षम होगा।

इस छोटे से अभ्यास के कई लक्ष्य नहीं हैं। यह MapDB का अनुकूलन करने का सिर्फ एक तरीका है। सबसे आश्चर्यजनक रूप से, सम्मिलन की गति उत्कृष्ट थी और मैपडीबी मेमोरी में संग्रह के साथ प्रतिस्पर्धा कर सकता है।

github.com/jankotek/jdbm3