🤼 🎐 🥔 डेटाबेस में जानें (ग्रूवी स्क्रिप्ट) 🚻 😣 🔍

ग्रूवी पर छोटी लिपियों के विषय की निरंतरता में - एक और।
पिछला: जीमेल के बड़े पत्र , अतिरिक्त व्यायाम (LATEX)

नई स्क्रिप्ट एक्सएमएल और ग्रूवी में डेटाबेस के साथ काम करने की मूल बातें दिखाती है। एक कार्य के रूप में, हम XML से डेटाबेस के लिए हमारे आरामदायक ज़ज़शकी को चुनना चुनते हैं।
ऐसा क्यों? - SQL हमें (या किसी और के) LJ के बारे में सबकुछ बताएगा - आँकड़े, आँकड़े, टैग्स - आँकड़े इकट्ठा करने के लिए कितनी कल्पना पर्याप्त है

पहले हमें XML में LJ डाउनलोड करना होगा।
यह किसी और की उपयोगिता द्वारा किया जाएगा - ljdump
आपको पायथन को स्थापित करना होगा, आईडीएलई (पायथन जीयूआई) खोलना है, वहां उपयोगिता को लोड करना होगा और इसे चलाना होगा। वह सब कुछ पूछेगा।

इसके चलाने के बाद आपके पास LXXX - पदों और CXXX - टिप्पणियों के साथ एक निर्देशिका होगी।

और इन XMLs पर हम अपनी स्क्रिप्ट चलाएंगे।
इस रूप में, यह एक शुद्ध जावा, एम्बेडेड हाइपरसोनिक डेटाबेस (HSQLDB) का उपयोग करता है, लेकिन आप निश्चित रूप से किसी से भी कनेक्ट कर सकते हैं। बस यह सुनिश्चित करें कि JDBC ड्राइवर आपके वर्गपथ में है।

इस प्रकार के डेटाबेस के साथ पार्सिंग और काम करना केवल लिपियों और छोटे कार्यक्रमों के लिए उपयुक्त है। उद्यम में, कोई भी सभी XML को मेमोरी में लोड नहीं करेगा (वे एसएएक्स का उपयोग करेंगे), और कोई भी सीधे एसक्यूएल नहीं भेजेगा (और कनेक्शन पूल, तैयार स्टेटमेंट, बैच, किसी प्रकार का हाइबरनेट होगा)।

कि हम परसिम कुछ इस तरह दिखते हैं:

<?xml version="1.0"?> <event> <itemid>1</itemid> <eventtime>2006-04-09 16:52:00</eventtime> <url>http://my-ljnick.livejournal.com/460.html</url> <event_timestamp>1144601520</event_timestamp> <reply_count>3</reply_count> <props> <commentalter>1148051408</commentalter> </props> <subject>  </subject> <event>      </event> <anum>204</anum> </event>

यहाँ स्क्रिप्ट है:

 import groovy.sql.Sql import java.sql.Timestamp def sql = Sql.newInstance("jdbc:hsqldb:file:lj", "sa", "", "org.hsqldb.jdbcDriver") // delete table if previously created try { sql.execute("drop table POST")} catch (Exception e) {} try { sql.execute("drop table COMMENT")} catch (Exception e) {} // create table sql.execute('''create table POST ( id integer not null primary key, url varchar(100), subject varchar(100), text varchar(10000), postdate timestamp )''') sql.execute('''create table COMMENT ( id integer not null primary key, postid integer, user varchar(100), subject varchar(100), text varchar(10000), commentdate timestamp, parentcomment integer )''') sql.execute(''' alter table COMMENT add constraint c_postid foreign key (postid) references POST (id) ''') def dir = "D:\\development\\ljdump-1.5.1\\my_lj\\" List<File> files = new File(dir).listFiles().findAll { it.name.startsWith("L") } files.each { record -> def event = new XmlSlurper().parse(record) int id = Integer.parseInt(event.itemid.text()) Date d = Date.parse("yyy-MM-dd HH:mm:ss", event.eventtime.text()) //No time zone java.sql.Timestamp sqlDate = new java.sql.Timestamp(d.time) String url = event.url.text() String subject = event.subject.text() String text = event.event.text() sql.execute("insert into post (id,url,subject, text, postdate) values ($id, $url, $subject,$text,$sqlDate )") File commentsFile = new File(dir + record.name.replace('L', 'C')); if (commentsFile.exists()) { def comments = new XmlSlurper().parse(commentsFile).comment comments.each() { comment -> String state = comment.state.text() if (!"D".equals(state)) { // not deleted int commentid = Integer.parseInt(comment.id.text()) String user = comment.user.text() String parentIdStr = comment.parentid.text() int parentid = 0; if (!parentIdStr.isEmpty()) Integer.parseInt(parentIdStr) Date commentDate = Date.parse("yyy-MM-dd HH:mm:ss", comment.date.text().replace('T',' ')) Timestamp sqlCommentTime = new Timestamp(commentDate.time) String commentsubject = comment.subject.text(); String body = comment.body.text() sql.execute("insert into comment (id,user,subject,text,commentdate,parentcomment, postid) values ($commentid,$user, $commentsubject, $body, $sqlCommentTime, $parentid, $id)") } } } } sql.close();

बेशक, इसमें सुधार किया जा सकता है:
1. पोस्ट के लेखक को रखें (महत्वपूर्ण यदि आप समुदाय को पार्स कर रहे हैं)
2. बनाओ यह एक फाइल के साथ एक निर्देशिका और एक तर्क के रूप में एक डेटाबेस URL मिलता है

आप योजना में सुधार कर सकते हैं:
1. टैग्स को सेव करें
2. लेखकों को एक अलग तालिका में संग्रहीत करें
3. अनुक्रमणिका जोड़ें

आप ग्रैब निर्देश जोड़ सकते हैं ताकि आपको ड्राइवरों को क्लासपाथ में जोड़ने की आवश्यकता न हो (मैंने कोशिश की, मैं सफल नहीं हुआ :(

अब देखते हैं कि इस आधार का उपयोग कैसे किया जा सकता है।
50 से अधिक टिप्पणियों के साथ मेरे पोस्ट की सूची बनाएं:

 @Grab('hsqldb:hsqldb:1.8.0.7') import groovy.sql.Sql Sql sql = Sql.newInstance("jdbc:hsqldb:file:lj", "sa", "", "org.hsqldb.jdbcDriver") sql.eachRow("select subject, url, (select count (*) from comment where postid = mypost.id) as numcom from POST as mypost order by numcom desc") { row -> if (row.numcom>50) println row}

वह सब है।
मुझे उम्मीद है कि कोई उपयोगी होगा।

डेटाबेस में जानें (ग्रूवी स्क्रिप्ट)

More articles: