🗡️ 👨‍🚒 👩🏻‍✈️ पीडीएफ बैरल उत्पन्न करें 💪🏻 ☣️ 😷

प्रागितिहास

एक हब पर विभिन्न उपकरणों और वेब पृष्ठों के स्क्रीनशॉट बनाने के तरीकों का बार-बार उल्लेख किया गया था ।

मैं पायथन और क्यूटी में पीडीएफ बनाने के लिए अपनी खुद की "बाइक" साझा करना चाहता हूं, कई परियोजनाओं द्वारा केंद्रीकृत उपयोग के लिए पूरक और सुधार किया गया है।

प्रारंभ में, पीढ़ी को PHP स्क्रिप्ट से लॉन्च किया गया था, कुछ इस तरह से:

<?php //   exec('xvfb-run python2 html2pdf.py file:///tmp/in.html /tmp/out.pdf'); //  URL exec('xvfb-run python2 html2pdf.py http://habrahabr.ru /tmp/habr.pdf'); ?>

यह पर्याप्त था और सब कुछ ठीक था ...

यह सब कैसे शुरू हुआ

हालाँकि, लॉन्च की अवधि के लिए xvfb- रन DISPLAY: 99 बनाता है, और कई समानांतर कार्यों के साथ, लड़कियों ने लॉग में झगड़ा किया, लेकिन किसी तरह काम किया।

Xpra के लिए धन्यवाद , हर बार xvfb-run आवरण को चलाने की आवश्यकता नहीं थी , वर्चुअल X का पुन: उपयोग करना संभव हो गया, लड़कियों ने शांति बना ली, ओवरहेड कम हो गया था:

[user@rdesk ~]$ xpra start :99

और इस तरह चलाना संभव हो गया:

 <?php //   exec('DISPLAY=:99 python2 html2pdf.py file:///tmp/in.html /tmp/out.pdf'); //  URL exec('DISPLAY=:99 python2 html2pdf.py http://habrahabr.ru /tmp/habr.pdf'); ?>

एप्लिकेशन कोड html2pdf.py है, यह वह है जो ब्राउज़र बनाता है, इसमें HTML लोड करता है और इसे एक पीडीएफ फाइल में प्रिंट करता है।

नेटवर्क के खुले स्थानों पर पाया जाने वाला लगभग पूरा कॉपी-पेस्ट

 #!/usr/bin/env python2 # -*- coding: UTF-8 -*- from PyQt4.QtCore import * from PyQt4.QtGui import * from PyQt4.QtWebKit import * import sys #     if len(sys.argv) != 3: print "USAGE app.py URL FILE" sys.exit() #   def html2pdf(f_url, f_name): #  QT  app = QApplication(sys.argv) #  "" web = QWebView() #  URL   web.load(QUrl(f_url)) #   printer = QPrinter() #   printer.setPageSize(QPrinter.A4) #   printer.setOutputFormat(QPrinter.PdfFormat) #    printer.setOutputFileName(f_name) #    ""  PDF def convertIt(): web.print_(printer) QApplication.exit() #    ,   ,   "" PDF QObject.connect(web, SIGNAL("loadFinished(bool)"), convertIt) sys.exit(app.exec_()) html2pdf(sys.argv[1], sys.argv[2])

समाधान काफी व्यावहारिक था, लेकिन एक स्पष्ट माइनस के साथ - केवल स्थानीय दस्तावेजों के साथ काम करने की क्षमता। पर्यावरण की एक पूरी प्रतिलिपि बनाने के लिए स्केलेबिलिटी कम हो गई। इस बीच, दस्तावेजों की संख्या बढ़ रही थी, और संसाधन की खपत बढ़ रही थी।
एक केंद्रीकृत समाधान की आवश्यकता है।

मांस का निर्माण

संकल्पना

समर्पित सर्वर
रेंडर टास्क डिलीवरी टूल
दस्तावेज़ साझा तंत्र
सामान्य प्रणाली तर्क

डिलीवरी टूल - खरगोशबिट पहले से ही तैनात था , इसलिए उपलब्ध संसाधनों का उपयोग करना तर्कसंगत था।

दस्तावेज़ विनिमय - मूल HTML को रेंडर सर्वर में स्थानांतरित करना और परिणामी पीडीएफ प्राप्त करना।

क्यों HTML, और न केवल "लिंक का पालन करें": मैंने डायनामिक सामग्री खींचने वाली बड़ी संख्या में js की उपस्थिति में पृष्ठ लोडिंग को पूरा करने का एक तरीका नहीं खोजा -> परिणामस्वरूप पीडीएफ पर "घड़ी" दिखाई दे रही है।

जैसा कि बाद में पता चला, यह आवश्यक नहीं है। कुछ दस्तावेजों में बस बाहरी लिंक नहीं होते हैं। उदाहरण के लिए, दस्तावेज़ ए और बी है, प्रत्येक में 3 पैराग्राफ होते हैं, दस्तावेजों को पूरा करने के लिए 2 लिंक हैं, लेकिन केवल एपी 1 और बीपी 2 को अपडेट करने की आवश्यकता है। बाद में वे अतिरिक्त शैलियों पर खराब हो गए जिनका उपयोग दस्तावेज़ को प्रिंट करते समय, मक्खी पर "प्रिंट संस्करण" में बदल दिया गया था।

एफएस, एनएफएस, आदि मध्यवर्ती फाइलों के भंडार के रूप में - तुरंत खारिज कर दिया गया (क्लाइंट की तैनाती के दौरान जोड़तोड़ की संख्या बढ़ जाती है)।
स्पष्ट पसंद कुंजी मूल्य भंडारण था। लगभग आदर्श रूप से, मेमकाटेड आया, अगर एक चीज के लिए नहीं - यह पुनरारंभ होने पर सभी रिकॉर्ड खो देता है।
पसंद बड़े भाई - रेडिस पर गिर गई।
सरल, कॉम्पैक्ट, तेज, स्केलेबल, डेटाबेस को डिस्क पर संग्रहीत किया जाता है, वीएम / स्वैप जैसी स्वादिष्ट विशेषताएं

सामान्य तर्क "स्पष्ट है, स्पष्ट से बेहतर नहीं है" क्योंकि मैंने डेटाबेस और खरगोश की कतार में पास-थ्रू दस्तावेज़ आईडी का उपयोग किया है:

कार्य आईडी Q_app1_1314422323.65 है जहां:
क्यू से क्यू
app1 - स्रोत परियोजना पहचानकर्ता
1314422323.65 यूनिक्स टाइमस्टैम्प + एमएस

परिणाम: R_app1_1314422323.65 जहां:
आर - परिणाम

आर्किटेक्चर

रूट विवरण:

एक पीडीएफ बनाने के लिए एक "अनुरोध", PHP HTML डेटाबेस के लिए एक द्विआधारी दस्तावेज़ लिखता है, एक आईडी बनाता है
दस्तावेज़ के अस्तित्व को रिकॉर्ड करने और जांचने के बाद, आईडी खरगोश की कतार को लिखा जाता है
रेंडर को एक नई आईडी मिलती है
रेंडर डेटाबेस से आईडी द्वारा एक HTML दस्तावेज़ चुनता है
दस्तावेज़ प्रसंस्करण (प्रतिपादन)
एक परिवर्तित आईडी के साथ डेटाबेस में पीडीएफ लिखना, स्रोत HTML दस्तावेज़ से डेटाबेस की सफाई करना

फीडबैक जेनरेशन एंड लागू नहीं किया गया है।
प्रोजेक्ट स्वतंत्र रूप से डेटाबेस तक पहुँचते हैं और परिणाम की जाँच करते हैं
DB.EXISTS ('R_app1_1314422323.65')

कार्यान्वयन

कोड को पढ़ने में आसान बनाने के लिए इसे छोटा किया जाता है।

 #!/usr/bin/env python2 # -*- coding: UTF-8 -*- import pika, os, time, threading, logging, redis, Queue RBT_HOST = 'rabbit.myhost.ru' RBT_QE = 'pdf.render' RDS_HOST = 'redis.myhost.ru' LOG = 'watcher.log' MAX_THREADS = 4 #    logging.basicConfig(level=logging.DEBUG, format='%(asctime)-15s - %(threadName)-10s - %(message)s', filename=LOG ) def render(msg_id): #     output_file = '/tmp/' + msg_id + '.pdf' input_file = '/tmp/' + msg_id + '.html' #  HTML   logging.debug('[R] Loading HTML from DB...') dbcon_r = redis.Redis(RDS_HOST, port=6379, db=0) bq = dbcon_r.get(msg_id) logging.debug('[R] HTML loaded...') #  HTML    logging.debug('[R] Write tmp HTML...') fin1 = open(input_file, "wb") fin1.write(bq) fin1.close() logging.debug('[R] HTML writed...') #     command = 'DISPLAY=:99 python2 ./html2pdf.py %s %s' % ( 'file://' + input_file, output_file ) #    t_start = time.time() sys_output = int(os.system(command)) t_finish = time.time() #       i_size = str(os.path.getsize(input_file)/1024) o_size = str(os.path.getsize(output_file)/1024) #      log dbg_mesg = '[R] Render [msg.id:' + msg_id + '] ' +\ '[rend.time:' + str(t_finish-t_start) + 'sec]' + \ '[in.fle:' + input_file + '(' + i_size+ 'kb)]' +\ '[ou.fle:' + output_file + '(' + o_size + 'kb)]' #  log logging.debug(dbg_mesg) #  PDF logging.debug('[R] Loading PDF...') fin = open(output_file, "rb") binary_data = fin.read() fin.close() logging.debug('[R] PDF loaded...') #  ID   Q_  R_ msg_out = msg_id.split('_') msg = 'R_' + msg_out[1] + '_' + msg_out[2] #  PDF   logging.debug('[R] Write PDF 2 DB...') dbcon_r.set(msg, binary_data) logging.debug('[R] PDF commited...') #  ( ,   ) logging.debug('[R] DEL db record: ' + msg_id) dbcon_r.delete(msg_id) logging.debug('[R] DEL tmp: ' + output_file) os.remove(output_file) logging.debug('[R] DEL tmp: ' + input_file) os.remove(input_file) logging.debug('[R] Render done') # rets if not sys_output: return True, output_file return False, sys_output def catcher(q): '''   N     ''' while True: try: item = q.get() #     except Queue.Empty: break logging.debug('Queue send task to render: ' + item) render(item) #    q.task_done() #   #  logging.debug('Daemon START') #   TQ = Queue.Queue() logging.debug('Starting threads...') #    for i in xrange(MAX_THREADS): wrkr_T = threading.Thread(target = catcher, args=(TQ,)) wrkr_T.daemon = True wrkr_T.start() logging.debug('Thread: ' + str(i) + ' started') logging.debug('Start Consuming...') #  ,  ,    try: connection = pika.BlockingConnection(pika.ConnectionParameters(host = RBT_HOST)) channel = connection.channel() channel.queue_declare(queue = RBT_QE) def callback(ch, method, properties, body): TQ.put(body) logging.debug('Consumer got task: ' + body) channel.basic_consume(callback, queue = RBT_QE, no_ack = True) channel.start_consuming() except KeyboardInterrupt: logging.debug('Daemon END') print '\nApp terminated!'

कुछ आंकड़े

औसत मानकों पर, आधुनिक मानकों के अनुसार, ProLiant DL360 G5 (8 कोर E5410@2.33GHz, 16GB RAM)
परिणाम प्राप्त होते हैं:
8 धागे, एलए 120
मूल HTML 10Kb ... 5Mb
~ 5000 पीढ़ियों प्रति मिनट
दस्तावेज़ के प्रति औसत समय - 5 सेकंड

मूल HTML के आकार और इसे संसाधित करने की स्मृति के बीच एक दिलचस्प संबंध (रैखिक):
1MB HTML = ~ 17MB RAM

370MB के HTML आकार के साथ "धीरज के लिए तनाव परीक्षण"
ईमानदारी से, मुझे वेबकीट क्षेत्र में गिरावट की उम्मीद थी, क्योंकि यह व्यर्थ हो गया।
दस्तावेज़ को त्रुटियों के बिना संसाधित किया गया था, ~ 28,000 पृष्ठों का एक पीडीएफ प्राप्त हुआ था, और निश्चित रूप से एक ट्रिफ़ल जो ~ 50 घंटे और ~ 12 जीबी रैम (: लिया गया था)

संदर्भ

रेडिस + पायथन
खरगोश + पिका
xpra
गिथब कोड

पीडीएफ बैरल उत्पन्न करें