अजगर के लिए सबसे तेज़ SAX पार्सर

अचानक मैं 240 GB xml फ़ाइलों में 180 GB के कुल वजन के साथ सभी xml टैग्स को पुनः प्राप्त करना चाहता था। अजगर - और तेज।

कार्य

दरअसल, मैं यह जानना चाहता था कि लाइब्रेरी से आगे निकलना कितना वास्तविक है, जिसका नाम अलाउड नहीं हो सकता, fb2 से docbook तक। FB2 की "विशिष्टता" के संबंध में, आपको यह पता लगाने की आवश्यकता है कि आप किन टैग्स को दुर्लभता के कारण छोड़ सकते हैं। यानी बस सभी फ़ाइलों में प्रत्येक टैग की घटनाओं की संख्या की गणना करें।
रास्ते में, विभिन्न सैक्स-पार्सर की तुलना करने की योजना बनाई गई थी। दुर्भाग्य से, परीक्षण काम नहीं किया, क्योंकि और पहले fb2 पर xml.sax और lxml टूट गया। परिणामस्वरूप, xml.parsers.expat बना रहा।
हां, और अधिक - * .fb2 फाइलें ज़िप अभिलेखागार में पैक की जाती हैं।

स्रोत डेटा

स्रोत डेटा 2013.02.01 के रूप में लाइब्रेरी का एक स्नैपशॉट है, इंटरनेट से निर्बाध: 242525 * .fb2 फाइलें 183909288096 बाइट्स के कुल वजन के साथ, 5625 अभिलेखागार में 82540008 बाइट्स के कुल वजन के साथ पैक किया गया है।
प्लेटफ़ॉर्म: Asus X5DIJ (पेंटियम डुअलकोर T4500 (2x2.30), 2 जीबी रैम); फेडोरा 18, अजगर 2.7।

कोड

बहुमुखी प्रतिभा के दावे के साथ जल्दबाजी में लिखा गया है:

#!/bin/env python # -*- coding: utf-8 -*- ''' ''' import sys, os, zipfile, hashlib, pprint import xml.parsers.expat, magic mime = magic.open(magic.MIME_TYPE) mime.load() tags = dict() files = 0 reload(sys) sys.setdefaultencoding('utf-8') def start_element(name, attrs): tags[name] = tags[name] + 1 if name in tags else 1 def parse_dir(fn): dirlist = os.listdir(fn) dirlist.sort() for i in dirlist: parse_file(os.path.join(fn, i)) def parse_file(fn): m = mime.file(fn) if (m == 'application/zip'): parse_zip(fn) elif (m == 'application/xml'): parse_fb2(fn) else: print >> sys.stderr, 'Unknown mime type (%s) of file %s' % (m, fn) def parse_zip(fn): print >> sys.stderr, 'Zip:', os.path.basename(fn) z = zipfile.ZipFile(fn, 'r') filelist = z.namelist() filelist.sort() for n in filelist: try: parse_fb2(z.open(n)) print >> sys.stderr, n except: print >> sys.stderr, 'X:', n def parse_fb2(fn): global files if isinstance(fn, str): fn = open(fn) parser = xml.parsers.expat.ParserCreate() parser.StartElementHandler = start_element parser.Parse(fn.read(), True) files += 1 def print_result(): out = open('result.txt', 'w') for k, v in tags.iteritems(): out.write(u'%s\t%d\n' % (k, v)) print 'Files:', files if (__name__ == '__main__'): if len(sys.argv) != 2: print >> sys.stderr, 'Usage: %s <xmlfile|zipfile|folder>' % sys.argv[0] sys.exit(1) src = sys.argv[1] if (os.path.isdir(src)): parse_dir(src) else: parse_file(src) print_result() 

परिणाम

हम शुल्क लेते हैं:

 time nice ./thisfile.py ~/Torrent/....ec > out.txt 2>err.txt 

हमें मिलता है:
* लीड समय - 74'15..45 "(उसी समय थोड़ा काम किया गया था और संगीत सुन रहा था, एसेनो);
* यह पता चला कि प्रसंस्करण की गति ~ 40 एमबी / एस (या 58 चक्र / बाइट) है
* 2584 फाइलें गिरा दी गईं * .fb2 (एक्सपैट, हालांकि गैर मान्य पार्सर - लेकिन एक ही सीमा तक नहीं ...) - ~ 10%;
* results.txt फ़ाइल में - क्यों नहीं ...
* ठीक है, वास्तव में, जिसके लिए सब कुछ शुरू किया गया था: 65 टैग FB2 _not_ केवल एक का उपयोग किया जाता है (आउटपुट-दस्तावेज़-वर्ग); कुछ और (आउटपुट, भाग, स्टाइलशीट) को छोड़ दिया जा सकता है; बाकी 10 हजार बार से लगाए जाते हैं।
* मोटे अनुमान के अनुसार, फ़ाइलों को पढ़ना (अनपैकिंग के साथ) 52%, पार्सिंग - 40%, प्रोसेसिंग_लेसमेंट - 8% लेता है।

और तेज - क्या यह हो सकता है? अजगर पर।