एक जावा परियोजना में टारनटूल के साथ शुरुआत करना

नीचे दिए गए लेख में मैं संक्षेप में बात करने की कोशिश करूंगा कि टारनटूल क्या है और किसी मौजूदा परियोजना में इसका उपयोग कैसे शुरू करें यदि आप जावा में प्रोग्रामिंग कर रहे हैं। यदि आप किसी अन्य भाषा में प्रोग्राम करते हैं, तो आपको कनेक्टर में उपलब्ध कुछ टूल में रुचि हो सकती है, जैसे कि xlog फाइल को संपादित करने और किसी भी डेटा से स्नैप फाइल बनाने की क्षमता। यदि आप नहीं जानते हैं कि टारनटूल क्या है, तो इस पोस्ट को पढ़ना बेहतर है।

टारनटूल एक डाटा वेयरहाउस टपल कुंजी है। सभी डेटा और इंडेक्स रैम में संग्रहीत होते हैं। मान एक tuple बनाते हैं, फिर tuple , tuples - space, फिर space , space - data model। 3 प्रकार के डेटा समर्थित हैं: 32 बिट अहस्ताक्षरित पूर्णांक, 64 बिट अहस्ताक्षरित पूर्णांक और बाइनरी स्ट्रिंग, फिर क्रमशः NUM , NUM64 और STR । किसी भी स्थान के लिए, प्राथमिक सूचकांक के प्रकार और संरचना को परिभाषित किया जाना चाहिए, उदाहरण के लिए: खेतों में 1,2 एचएएच जहां 1 एनयूएम है और 2 एनयूएम 64 है। माध्यमिक सूचकांक प्राथमिक सूचकांक के रूप में उसी तरह निर्दिष्ट किए जाते हैं। डीएमएल संचालन टपल स्तर पर परमाणु हैं और केवल प्राथमिक सूचकांक पर ही किए जाते हैं। कई ऑपरेशनों को परमाणु रूप से करने के लिए, आपको अंतर्निहित भाषा लुआ का उपयोग करने की आवश्यकता है। वर्तमान स्थिति के एक स्नैपशॉट को सहेजकर डेटा सुरक्षा सुनिश्चित की जाती है, फिर स्नैपशॉट और एक बाइनरी लॉग, फिर xlog । ट्यूपल्स के भंडारण के लिए स्लैब का उपयोग किया जाता है।

नीचे दिए गए उदाहरणों में, जावा कनेक्टर का उपयोग किया जाता है, इसके बारे में अधिक जानकारी के लिए, dgreenru.github.com/tarantool-java देखें। लेखन के समय नवीनतम स्थिर संस्करण 0.1.2 है । नीचे मैं अतिरिक्त कार्यक्षमता का उपयोग करने के एक उदाहरण पर विचार करूंगा जो आपको किसी अन्य स्टोरेज के साथ डेटा को स्थानांतरित करने और सिंक्रनाइज़ करने की अनुमति देता है।

टैरनटूल बॉक्स में एक MySQL तालिका माइग्रेट करने का उदाहरण:

mysql> desc user; +------------+--------------+------+-----+-------------------+----------------+ | Field | Type | Null | Key | Default | Extra | +------------+--------------+------+-----+-------------------+----------------+ | id | int(11) | NO | PRI | NULL | auto_increment | | username | varchar(255) | NO | UNI | NULL | | | email | varchar(255) | NO | UNI | NULL | | | enabled | tinyint(1) | NO | | 1 | | | registered | timestamp | NO | | CURRENT_TIMESTAMP | | +------------+--------------+------+-----+-------------------+----------------+ 5 rows in set 

प्राथमिक सूचकांक आईडी और 2 द्वितीयक अद्वितीय सूचकांक उपयोगकर्ता नाम और ईमेल। डिफ़ॉल्ट रूप से बर्दाश्त नहीं किए जाने वाले स्थानों में से, आप auto_increment और timestamp का चयन कर सकते हैं। पहले के लिए, आप box.auto_increment संग्रहीत कार्यविधि का उपयोग कर सकते हैं, और दूसरे के लिए, आप डेटा को yyyMMddhhmmss प्रारूप या सेकंड में संग्रहीत कर सकते हैं। यदि उपयोगकर्ता तालिका काफी छोटी है, तो आप बस mysql से डेटा पढ़ सकते हैं और इसे टारेंटूल बॉक्स में पेस्ट कर सकते हैं, मैं इस कार्य पर नहीं रुकूंगा, लेकिन आपको बताएं कि क्या करना है यदि तालिका बहुत बड़ी है, अर्थात। बहुत सारे रिकॉर्ड हैं, जिनमें से प्रत्येक एक छोटा है। पहले आपको हमारे लिए सुविधाजनक प्रारूप में डेटा अपलोड करना होगा, अधिमानतः सर्वर संसाधनों का अधिक हिस्सा नहीं लेना चाहिए।

 mysql> select * into outfile '/tmp/user' from user; Query OK, 73890541 rows affected $ head -1 /tmp/user 1 username email@domain.tld 1 2012-10-14 01:27:05 

फ़ाइल को वांछित सर्वर या स्थानीय कंप्यूटर पर कॉपी करके, आप इसके प्रसंस्करण और रूपांतरण को टारेंटूल बॉक्स प्रारूप में आगे बढ़ा सकते हैं। नीचे दिए गए उदाहरण में, सादगी के लिए, भागने के दृश्यों पर विचार नहीं किया जाता है। यदि आपके पास टैब, लाइन ब्रेक, कैरिज रिटर्न, बैकस्लैश या फ़ील्ड्स हैं जो आपकी तालिकाओं में NULL मान रखते हैं, तो आपको उनकी प्रोसेसिंग स्वयं जोड़ने की आवश्यकता है।

 BufferedReader reader = new BufferedReader(new InputStreamReader(new GZIPInputStream(new FileInputStream("/tmp/user.gz")), "utf-8")); SnapshotWriter writer = new SnapshotWriter(new FileOutputStream("/tmp/user.snap").getChannel()); String line = null; DateFormat indf = new SimpleDateFormat("yyyy-MM-dd hh:mm:ss"); DateFormat outdf = new SimpleDateFormat("yyyyMMddhhmmss"); Pattern pattern = Pattern.compile("\t"); while ((line = reader.readLine()) != null) { try { String[] values = pattern.split(line); if (values.length == 5) { Integer id = Integer.parseInt(values[0]); String username = values[1]; String email = values[2]; byte[] enabled = { Byte.valueOf(values[3]) }; Long registered = Long.parseLong(outdf.format(indf.parse(values[4]))); Tuple tuple = new Tuple(5).setInt(0, id).setString(1, username, "UTF-8") .setString(2, email, "UTF-8").setBytes(3, enabled).setLong(4, registered); writer.writeRow(0, tuple); } else { System.err.println("Line should be splited in 5 parts, but has " + values.length + " for " + line); } } catch (Exception e) { System.err.println("Can't parse line " + line); e.printStackTrace(); } } writer.close(); reader.close(); 

नतीजतन, हमारे पास एक फ़ाइल है

 $ ls -sh /tmp/user.snap 16.1G /tmp/user.snap 

अब आपको अपने अनुसार स्पेस 0 कॉन्फ़िगर करना होगा।

 #         slab . #        slab, #        2 . #       24 . slab_alloc_arena = 24 #          xlog . rows_per_wal = 500000 #      space 0 space[0].enabled = 1 # id.   box.auto_increment     TREE. space[0].index[0].type = "TREE" space[0].index[0].unique = 1 space[0].index[0].key_field[0].fieldno = 0 space[0].index[0].key_field[0].type = "NUM" #username space[0].index[1].type = "HASH" space[0].index[1].unique = 1 space[0].index[1].key_field[0].fieldno = 1 space[0].index[1].key_field[0].type = "STR" #password space[0].index[2].type = "HASH" space[0].index[2].unique = 1 space[0].index[2].key_field[0].fieldno = 2 space[0].index[2].key_field[0].type = "STR" 

इसके बाद, हमें 000000_00000000000001.snap को बदलने की जरूरत है जो हमने बनाई गई फ़ाइल के साथ कॉन्फ़िगरेशन फ़ाइल से कार्य फ़ोल्डर में स्थित है।

 $ mv /tmp/user.snap /var/lib/tarantool/00000000000000000001.snap 

और सर्वर शुरू करने का प्रयास करें

 $ tarantool_box --background $ ps -C tarantool_box -o pid=,cmd= 8853 tarantool_box: primary pri: 33013 sec: 33014 adm: 33015 

टारनटूल.लॉग फ़ाइल को भी देखें, यदि यह सफलतापूर्वक शुरू होता है, तो यह नीचे की रेखाओं के समान लाइनों के साथ समाप्त हो जाएगा, एक त्रुटि के मामले में, आप तुरंत कारण देखेंगे।

 1350504007.249 7127 1/sched _ I> Space 0: done 1350504007.249 7127 101/33013/primary _ I> bound to port 33013 1350504007.249 7127 101/33013/primary _ I> I am primary 1350504007.249 7127 102/33014/secondary _ I> bound to port 33014 1350504007.250 7127 103/33015/admin _ I> bound to port 33015 1350504007.251 7127 1/sched _ C> log level 4 1350504007.251 7127 1/sched _ C> entering event loop 

इसके अलावा, डेटा प्रविष्टि की शुद्धता को सरल तरीके से जांचा जा सकता है।

 $ tarantool -a 127.0.0.1 127.0.0.1> select * from t0 where k0 = 1 Select OK, 1 rows affected [1, 'username', 'email@domain.tld', '\x01', '\x21\x8b\xe4\xc9\x4c\x12'] 127.0.0.1> select * from t0 where k1 = 'username' Select OK, 1 rows affected [1, 'username', 'email@domain.tld', '\x01', '\x21\x8b\xe4\xc9\x4c\x12'] 127.0.0.1> select * from t0 where k2 = 'email@domain.tld' Select OK, 1 rows affected [1, 'username', 'email@domain.tld', '\x01', '\x21\x8b\xe4\xc9\x4c\x12'] 

यानी हमने कॉन्फ़िगरेशन में हमारे द्वारा निर्दिष्ट 3 कुंजी के लिए डेटा का स्थान जांचा। अगला, आप सिस्टम में प्रक्रिया द्वारा खपत की गई मेमोरी की मात्रा और टैरेंट बॉक्स कंसोल में शो स्लैब कमांड की रिपोर्ट देख सकते हैं।

टारनटूल बॉक्स लॉन्च किया गया है, अब आपको डेटा का बैकअप लेने और MySQL तालिका को अद्यतित रखने की आवश्यकता है, यदि कुछ प्रश्न अपने स्वयं के प्रयोजनों के लिए इससे डेटा का उपयोग करते हैं। रेप्लिकेशन क्लिएंट क्लास का उपयोग करके व्यवस्थित करना काफी सरल है। यह आपको एक पूर्ण-दास स्लेव सर्वर का उपयोग किए बिना लगभग पूर्ण xlog बैकअप रखने और अतिरिक्त संसाधनों और समय की लागत के बिना MySQL में तालिका अपडेट करने का आयोजन करने की अनुमति देगा। प्रतिकृति संभव बनाने के लिए config में replication_port निर्दिष्ट करना न भूलें। नीचे वर्णित वर्ग, हम सर्वर से प्राप्त सभी लॉग को 50 हजार रिकॉर्ड की लंबाई वाली फाइलों में सहेजते हैं। ऑपरेशन एल्गोरिथ्म काफी सरल है:
1. मौजूदा लॉग की खोज करें
2. अधिकतम lsn का निर्धारण
3. प्रतिकृति पोर्ट के लिए कनेक्शन
4. प्राप्त डेटा को फ़ाइल में अनुवाद करें
इस कोड में MySQL अपडेट तर्क गायब है, लेकिन मुख्य फ़ंक्शन में लूप को थोड़ा बदलकर इसे लागू करना आसान है। कठिन स्थान कोड के साथ प्रतिकृति संकेत वर्ग का विस्तार है जो प्राप्त डेटा को बाइनरी लॉग में लिखता है, इसे xlog प्रारूप में विस्तारित करता है। आप विशेष रूप से इस स्थान पर नहीं रुक सकते, क्योंकि यह उदाहरण उपयोग के प्रदर्शन की तुलना में वास्तविक अनुप्रयोग के लिए अधिक उपसर्ग है।

 public class Backup { protected DecimalFormat xlogNameFormat = new DecimalFormat("00000000000000000000"); protected String folder; protected FileChannel xlogChannel; protected int row; protected int limit = 50000; protected long lsn = 0L; protected ReplicationClient client; protected XLogWriter writer; public void setLimit(int limit) { this.limit = limit; } public Backup(String folder, String host, int port) throws IOException { this.folder = folder; } protected void getLatestLSN(String folder) throws IOException, FileNotFoundException { final File backupFolder = new File(folder); String[] xlogs = backupFolder.list(new FilenameFilter() { @Override public boolean accept(File dir, String name) { return name.endsWith(".xlog"); } }); boolean hasLogs = xlogs != null && xlogs.length > 0; if (hasLogs) { Arrays.sort(xlogs); XLogReader reader = new XLogReader(new FileInputStream(folder + "/" + xlogs[xlogs.length - 1]).getChannel()); XLogEntry xlogEntry = null; while ((xlogEntry = reader.nextEntry()) != null) { lsn = xlogEntry.header.lsn; } reader.close(); } } public void start() throws IOException { getLatestLSN(folder); System.out.println("Planning to start from lsn: " + lsn); Runtime.getRuntime().addShutdownHook(new Thread(new Runnable() { @Override public void run() { try { synchronized (this) { close(); } } catch (IOException e) { throw new IllegalStateException("Can't close xlog", e); } } })); final ByteBuffer rowStartMarker = ByteBuffer.allocate(4).order(ByteOrder.LITTLE_ENDIAN).putInt(Const.ROW_START_MARKER); client = new ReplicationClient(SocketChannel.open(new InetSocketAddress("127.0.0.1", 33016)), lsn + 1L) { @Override protected ByteBuffer readBody(Header header) throws IOException { if (Backup.this.xlogChannel == null) { Backup.this.xlogChannel = nextFile(folder); } ByteBuffer body = super.readBody(header); this.header.flip(); rowStartMarker.flip(); synchronized (Backup.this) { while (rowStartMarker.hasRemaining()) Backup.this.xlogChannel.write(rowStartMarker); while (this.header.hasRemaining()) Backup.this.xlogChannel.write(this.header); while (body.hasRemaining()) Backup.this.xlogChannel.write(body); Backup.this.xlogChannel.force(false); body.flip(); } return body; } }; } public XLogEntry nextEntry() throws IOException { XLogEntry entry = client.nextEntry(); lsn = entry.header.lsn; if (++row >= limit) { close(); xlogChannel = nextFile(folder); row = 0; } return entry; } protected FileChannel nextFile(String folder) throws IOException { String fileName = folder + "/" + xlogNameFormat.format(lsn + 1L) + ".xlog"; new File(fileName).createNewFile(); FileChannel channel = new FileOutputStream(fileName, true).getChannel(); writer = new XLogWriter(channel); return channel; } public void close() throws IOException { if (writer != null) { writer.close(); } } public static void main(String[] args) throws IOException { final Backup backup = new Backup("/home/dgreen/backup", "localhost", 33016); backup.start(); XLogEntry entry = null; while ((entry = backup.nextEntry()) != null) { StringBuilder pk = new StringBuilder(); for (int i = 0; i < entry.tuple.size(); i++) { if (pk.length() > 0) { pk.append(" - "); } switch (entry.tuple.getBytes(i).length) { case 4: pk.append(String.valueOf(entry.tuple.getInt(i))); break; case 8: pk.append(String.valueOf(entry.tuple.getLong(i))); break; default: pk.append(entry.tuple.getString(i, "UTF-8")); } } switch (entry.op) { case Update.OP_CODE: System.out.println("Got update on #" + pk.toString()); break; case Insert.OP_CODE: System.out.println("Got insert " + pk.toString()); break; case Delete.OP_CODE: System.out.println("Got delete of #" + pk.toString()); break; default: System.out.println("Got unknown op " + entry.op + " " + pk.toString()); break; } } } } 

मैं यह भी अलग से नोट करना चाहूंगा कि जब xlog फ़ाइलों के साथ काम करने के लिए कार्यक्षमता का उपयोग किया जाता है, तो डेटा खोना लगभग असंभव है, भले ही आपने गलती से XLogReader और XLogWriter कक्षाओं का उपयोग करके एक टपल या पूरी तरह से खाली स्थान को हटा दिया हो , आप आसानी से xlog को संपादित कर सकते हैं।

यह मूल रूप से सभी है, मैं आपको एक बार फिर याद दिलाता हूं कि आप dgreenru.github.com/tarantool-java पर कनेक्टर के बारे में अधिक जान सकते हैं, उपयोग किए गए उदाहरणों का स्रोत कोड जीथब रिपॉजिटरी में उपलब्ध है।