बैच पीडीएफ को पाठ गाथा में परिवर्तित करें

पहली नज़र में, पिछले साल सरल काम का आदेश दिया गया था: फ़ाइलों के बैच प्रसंस्करण की एक प्रणाली बनाने के लिए - जिसमें एक 12-स्तंभ तालिका, जिसमें से डेटा डेटाबेस में निर्यात करना है। सबकुछ ठीक हो जाएगा - लेकिन फाइलें पीडीएफ में दस्तावेज बन गईं, और ग्राहक ने दावा किया कि वह प्रसंस्करण के लिए एक और प्रारूप प्रदान नहीं कर सकता है।


_{एक ही पीडीएफ का एक नमूना - संरचना फ़ाइल में सहेजी जाती है, लेकिन सभी डेटा को साफ़ कर दिया जाता है।}

खैर, जानकार लोगों की चेतावनी के बावजूद, और उन्होंने ओह कोई आश्चर्य की चेतावनी दी - मैं काम करने के लिए नीचे उतर गया और इस साहसिक कार्य का अनुभव किया:



पीडीएफ फाइलों की बैच प्रोसेसिंग के लिए सॉफ्टवेयर की खोज शुरू हुई। काम लिनक्स पर किया गया था - क्योंकि पहला आवेदक पॉपलर पैकेज से प्रोग्राम था - pdftotext, जो इस उद्देश्य के लिए सबसे अधिक बार उपयोग किया जाता है।

pdftotext

फ़ंक्शन को कमांड लाइन से आसानी से कॉल किया जाता है, और इसके निम्न रूप हैं:

$ pdftotext .pdf .txt


लेकिन रूपांतरण परिणाम बहुत अजीब निकला:

<sub>रजिस्ट्री से निकालें
सौदों

नीलामी के बाद
CJSC सेंट पीटर्सबर्ग
अंतरराष्ट्रीय
कमोडिटी एक्सचेंज

सेट-वीआरएस फॉर्म

बोली तिथि: 01/01/1900
धारा: SPBMTSB CJSC का तेल उत्पाद अनुभाग
सदस्य: एलएलसी
सदस्य कोड: 000000000000
ग्राहक का नाम और कोड: OJSC / 000000000000
उपकरण कोड: 0000000001
उपकरण विवरण: गैसोलीन प्रीमियम यूरो -95 प्रकार द्वितीय श्रेणी बी,
फोन नंबर
लेन-देन

समय
लेन-देन

आवेदन संख्या

खरीद / लेन-देन मूल्य (प्रति मात्रा)
prodazha¹
एक टन)
बहुत सारे

01-01

01-02

01-03

एस

01-05

5

02-01

02-02

02-03

एस

02-05

1

0000000001 के लिए कुल</sub>

और इसी तरह ...

इतना ही नहीं: आउटपुट अभी भी फ़ाइल से फ़ाइल में बदल गया है - बेशक, इस रूप में तालिकाओं से डेटा खींचने के लिए एक पार्सर लिखना असंभव था।

इसलिए, एक दूसरा, इस बार मालिकाना उम्मीदवार क्षितिज पर उभरा है: लिनक्स के लिए एडोब एक्रोबेट रीडर।

कलाबाज पाठक

इस मामले में, मैंने शुरुआत के लिए, कमांड लाइन में गहराई से बिना, चित्रमय मोड में "फ़ाइल - टेक्स्ट के रूप में सहेजें" की अपनी क्षमता का परीक्षण करने का फैसला किया। जैसा कि बाद में पता चला, मैंने सही काम किया - मेरे पीडीएफ और इस कार्यक्रम में कनवर्ट करने के परिणाम उत्साहजनक नहीं थे:

_{सदस्य आईडी:
अनुभाग:
उपकरण कोड:
उपकरण कोड:
000000000000
लिमिटेड
0000000001
0000000002
00,000,000.11 00,000.12
0,000,000.21 0,000.22
01-12
02-12
03-12
04-12
CJSC सेंट पीटर्सबर्ग
अंतरराष्ट्रीय
कमोडिटी एक्सचेंज
रजिस्ट्री से निकालें
सौदों
नीलामी के बाद
बोली तिथि: 01/01/1900
सेट-वीआरएस फॉर्म
ग्राहक का नाम और कोड: OJSC / 000000000000
के सदस्य:
SPBMTSB CJSC का तेल उत्पाद अनुभाग
उपकरण विवरण: गैसोलीन प्रीमियम यूरो -95 प्रकार द्वितीय श्रेणी बी,
कोड
व्यापारी
समय
लेन-देन लेनदेन की मात्रा
फोन नंबर
लेन-देन
आवेदन संख्या
0000000001 के लिए कुल
उपकरण का विवरण: शीतकालीन डीजल ईंधन Z-0.2-35।
कोड
व्यापारी
समय
लेन-देन लेनदेन की मात्रा
फोन नंबर
लेन-देन
आवेदन संख्या
0000000002 के लिए कुल}

और इसी तरह ...

इस तरह के निष्कर्ष को पार्स करने के लिए, मैं भी वास्तव में नहीं चाहता था।

तीसरा और, जैसा कि यह निकला, अंतिम उम्मीदवार pdfedit था।

PDFedit

सभी रिपॉजिटरी में, इसे कमांड लाइन से स्क्रिप्ट निष्पादित करने की क्षमता के साथ एक ग्राफिकल प्रोग्राम द्वारा दर्शाया गया है। एक्रोबैट रीडर के साथ, चित्रमय वातावरण से उत्पन्न पाठ को पीडीएफ में परिवर्तित करने की पहली शुरुआत "फाइल - टेक्स्ट के रूप में सहेजें", परिणाम बहुत प्रसन्न था:

 
  CJSC "सेंट पीटर्सबर्ग रजिस्टर रजिस्टर सेट-वीआरएस फॉर्म से निकालें 
  अंतर्राष्ट्रीय सौदे 
  निविदाओं के परिणामों के बाद कमोडिटी और रॉ मटेरियल एक्सचेंज " 
                               बोली तिथि: 01/01/1900 
  धारा: CJSC "SPbMTSB" का "पेट्रोलियम उत्पाद" 
  सदस्य: एलएलसी 
  सदस्य कोड: 000000000000 
  ग्राहक का नाम और कोड: OJSC / 000000000000 
  उपकरण कोड: 0000000001 
  उपकरण विवरण: गैसोलीन प्रीमियम यूरो -95 प्रकार द्वितीय श्रेणी बी, 
    कक्ष समय क्रम संख्या 
                      खरीद / लेन-देन मूल्य (प्रति मात्रा) 
                                                    एनडीएस एक्सचेंज का नाम 
                                                                                  कोड 
                                  सीआरसी लेनदेन की मात्रा 
   लेन-देन का सौदा 
                        एक टन) 
                               बहुत (18%) प्रतिपक्ष संग्रह 
                                                                               व्यापारी 
  01-01 01-02 01-03 एस 01-05 5 01-07 01-08 01-09 01-10 पेसी 
                                                                             01-12 
  02-01 02-02 02-03 एस 02-05 1 02-07 02-08 02-09 02-10 PbSE 
                                                                             02-12 
   0000000001 00,000,000.11 00,000.12 के लिए कुल 
  टूल कोड: 0000000002 
  उपकरण का विवरण: शीतकालीन डीजल ईंधन Z-0.2-35। 
    कक्ष समय क्रम संख्या 
                      खरीद / लेन-देन मूल्य (प्रति मात्रा) 
                                                    एनडीएस एक्सचेंज का नाम 
                                                                                  कोड 
                                  सीआरसी लेनदेन की मात्रा 
   लेन-देन का सौदा 
                        एक टन) 
                               बहुत (18%) प्रतिपक्ष संग्रह 
                                                                               व्यापारी 
  03-01 03-02 03-03 एस 03-05 1 03-07 03-08 03-09 03-10 पूसी 
                                                                             03-12 
  04-01 04-02 04-03 एस 04-05 1 04-07 04-08 04-09 04-10 PgSee 
                                                                             04-12 
   0000000002 0.000.000.21 0.000.22 के लिए कुल 
  ब्रोकर SPbMTSB इलेक्ट्रॉनिक दस्तावेज़ की प्रतिलिपि 
        ¹ बी - खरीद, एस - बिक्री।  1/3 
 

परिणाम बहुत सही निष्कर्ष था - पार्स करना आसान और सुखद है। लेकिन यह वहाँ नहीं था, महाकाव्य को पूरा करने का रास्ता कांटेदार था। मानक pdfedit असेंबली में कमांड लाइन से "सेव द टेक्स्ट" फ़ंक्शन को कॉल करना असंभव था:

 
  $ pdfedit -console 
  PDFedit 0.4.5 
  का उपयोग करें: 
   pdfedit -console [फ़ंक्शन नाम] [फ़ंक्शन पैरामीटर (s)] 
  पहला पैरामीटर फंक्शन का नाम है (केस असंवेदनशील) या इसके अस्पष्ट भाग को। 
  शेष पैरामीटर को बुलाया फ़ंक्शन में पास किया जाता है। 
  उपलब्ध कार्य: 
   Delinearizator 
    विवरण: इनपुट फ़ाइल वितरित करें 
    पैरामीटर: [इनपुट फ़ाइल] [आउटपुट फ़ाइल] 
   flattener 
    विवरण: समतल इनपुट फ़ाइल (पिछले एक को छोड़कर सभी संशोधनों को हटा दें) 
    पैरामीटर: [इनपुट फ़ाइल] [आउटपुट फ़ाइल]  
 

कंसोल मदद के आउटपुट ने दो उपयोगिताओं को दिया, जिनका पाठ में परिवर्तित होने से कोई लेना-देना नहीं था। विकी पर दस्तावेज़ीकरण के आगे के अध्ययन ने एक तैयार किए गए रूपांतरण स्क्रिप्ट savealltext.qs के लिए नेतृत्व किया, लेकिन परेशानी यह है कि इसे चित्रमय मेनू से निष्पादित किया जाना चाहिए था। नतीजतन, मुझे विस्तार से मैटरियल का अध्ययन करना पड़ा:

pdfedit स्क्रिप्टिंग एपीआई विवरण
pdfedit स्क्रिप्ट निर्माण विकि
तैयार लिपियों के उदाहरण

इस सामग्री के "धूम्रपान" पहले से ही मानक विधानसभा /usr/share/pdfedit/delinearize.qs में प्रस्तुत कंसोल स्क्रिप्ट का + चरणबद्ध विश्लेषण - मुझे अपना खुद का savealltext.qs बनाने के लिए नेतृत्व किया:

 /** Print help for savealltext */ function savealltext_help() { print(tr("Usage:")); print("savealltext ["+tr("input file")+"] ["+tr("output file")+"]"); print(" "+tr("Input file must exist")); print(" "+tr("Output file must not exist")); exit(1); } function savealltext_fail(err) { print(tr("savealltext failed!")); print(err); exit(2); } function saveAsText_save(p,f) { document=loadPdf(p) qs=""; pages=document.getPageCount(); for (i=1;i<=pages;i++) { pg=document.getPage(i); text=pg.getText(); qs+=text; qs+="\n"; } saveFile(f,qs); } p=parameters(); if (p.length!=2) { savealltext_help("savealltext "+tr("is expecting two parameters")); } inFile=p[0]; outFile=p[1]; if (!exists(inFile)) savealltext_fail(tr("Input file '%1' does not exist").arg(inFile)); if (exists(outFile)) savealltext_fail(tr("Output file '%1' already exist").arg(outFile)); if (inFile==outFile) savealltext_fail(tr("Input and output files must be different")); if (saveAsText_save(inFile,outFile)) { } else { print(tr("savealltext")+" :"+inFile+" -> "+outFile); } 
 

/** Print help for savealltext */ function savealltext_help() { print(tr("Usage:")); print("savealltext ["+tr("input file")+"] ["+tr("output file")+"]"); print(" "+tr("Input file must exist")); print(" "+tr("Output file must not exist")); exit(1); } function savealltext_fail(err) { print(tr("savealltext failed!")); print(err); exit(2); } function saveAsText_save(p,f) { document=loadPdf(p) qs=""; pages=document.getPageCount(); for (i=1;i<=pages;i++) { pg=document.getPage(i); text=pg.getText(); qs+=text; qs+="\n"; } saveFile(f,qs); } p=parameters(); if (p.length!=2) { savealltext_help("savealltext "+tr("is expecting two parameters")); } inFile=p[0]; outFile=p[1]; if (!exists(inFile)) savealltext_fail(tr("Input file '%1' does not exist").arg(inFile)); if (exists(outFile)) savealltext_fail(tr("Output file '%1' already exist").arg(outFile)); if (inFile==outFile) savealltext_fail(tr("Input and output files must be different")); if (saveAsText_save(inFile,outFile)) { } else { print(tr("savealltext")+" :"+inFile+" -> "+outFile); }

/ usr / share / pdfedit / निर्देशिका में रखा जा रहा है, स्क्रिप्ट को कमांड लाइन से बुलाया जाता है और आवश्यक रूपांतरण करता है:

 
  $ pdfedit -console 
  PDFedit 0.4.5-20111014140242 
  का उपयोग करें: 
   pdfedit -console [फ़ंक्शन नाम] [फ़ंक्शन पैरामीटर (s)] 
  पहला पैरामीटर फंक्शन का नाम है (केस असंवेदनशील) या इसके अस्पष्ट भाग को। 
  शेष पैरामीटर को बुलाया फ़ंक्शन में पास किया जाता है। 
  उपलब्ध कार्य: 
   Delinearizator 
    विवरण: इनपुट फ़ाइल वितरित करें 
    पैरामीटर: [इनपुट फ़ाइल] [आउटपुट फ़ाइल] 
   flattener 
    विवरण: समतल इनपुट फ़ाइल (पिछले एक को छोड़कर सभी संशोधनों को हटा दें) 
    पैरामीटर: [इनपुट फ़ाइल] [आउटपुट फ़ाइल] 
   savealltext 
    विवरण: savealltext इनपुट फ़ाइल 
    पैरामीटर: [इनपुट फ़ाइल] [आउटपुट फ़ाइल] 
 

$pdfedit -console savealltext .pdf .txt

सब कुछ ठीक लग रहा था, लेकिन नुकसान जारी रहा: यह पता चला कि पीडीपीडिट, कंसोल मोड में, 612x792 पिक्सल के डिफ़ॉल्ट क्षेत्र से पाठ उठाता है - 72 डीपीआई के एक संकल्प पर यह ए 4 ए अभिविन्यास शीट से मेल खाती है। पैच रोटेट_टेक्स्ट_फिक्स .patch से संबंधित निर्देशों के कोड में मौजूद होने के बावजूद प्रोग्राम स्कैनिंग क्षेत्र को घुमाना नहीं चाहता था।
इस ट्रिकी "डिफॉल्ट एरिया" की परिभाषा की खोज ने मुझे प्रोजेक्ट सोर्स कोड में फ़ाइल: src / kernel / displayparams.h तक पहुँचाया - आखिरकार, हमने पाया कि इसे कहाँ रखा जाए!

static const int DEFAULT_PAGE_RX = 612; /**< Default A4 width on a device with 72 horizontal dpi. */
static const int DEFAULT_PAGE_RY = 792; /**< Default A4 height on a device with 72 vertical dpi. */

दोनों मानों को 1584 अंकों (जो एक ही संकल्प में आधे व्हाट्मैन से मेल खाते हैं) के साथ बदल दिया और परियोजना को फिर से बदल दिया।

इस पर, कोई कह सकता है, पीड़ा समाप्त हो गई - pdfs को टर्मिनल से संसाधित किया गया, उनके सभी A4 परिदृश्य एल्बम परिदृश्य में।
अपने पीड़ा के परिणामों के आधार पर, उन्होंने ArchLinux के लिए savealltext के साथ pdfedit पैकेज बनाने के नियम बनाए और AUR में डाल दिए:
pdfedit जारी
csv से pdfedit संस्करण

ps।:

जल्द ही परी कथा प्रभावित होती है, लेकिन जल्द ही बात नहीं बनती है - मैं वास्तव में उस पीडीएडिट को चलाने के लिए पसंद नहीं करता हूं, यहां तक ​​कि कंसोल मोड में भी, सिस्टम में आवश्यक qt3:

_{$ pdfedit -console
pdfedit: साझा लाइब्रेरी लोड करते समय त्रुटि: libqt-mt.so.3: साझा की गई फ़ाइल को नहीं खोल सकते: ऐसी कोई फ़ाइल या निर्देशिका नहीं}

जिसके कारण स्रोत से निर्माण करते समय कार्यक्रम की कॉन्फ़िगरेशन कुंजियों पर विचार किया गया और निम्नलिखित नुस्खा पाया गया:

configure --disable-gui --enable-pdfedit-core-dev --enable-tools

नतीजतन, ग्राफिक pdfedit बाइनरी बिल्कुल नहीं बनाया गया है, लेकिन उपयोगी उपयोगिताओं का एक पूरा गुच्छा बनाया गया है, जिसके बीच pdf_to_text - जो रूपांतरण की आवश्यकता को पूरा करता है, वही एल्गोरिदम को savealltext .qs स्क्रिप्ट, एल्गोरिदम के रूप में उपयोग करता है:

$pdf_to_txt -file .pdf >.txt

इस तरह के एक प्रोजेक्ट असेंबली के नतीजे, आर्कलिन के लिए PKGBUILD में बदल गए और AUR में पोस्ट किए गए।

upd1:

परामर्श के लिए आप सभी का धन्यवाद! चर्चा के लिए धन्यवाद, पीडीएफ को पाठ में बदलने के कई और दिलचस्प तरीके सामने आए:
zeliboba ने -doutout विकल्प को pdftotext पर लागू करने का सुझाव दिया
$ pdftotext -layout .pdf .txt

अतिशयोक्ति के बिना, हम कह सकते हैं कि एक लेख से परियोजना फाइलें इस विधि को पीडीएफडिट से बेहतर रूपांतरित करती हैं:

 
  CJSC "सेंट पीटर्सबर्ग रजिस्टर रजिस्टर सेट-वीआरएस फॉर्म से निकालें 
  अंतर्राष्ट्रीय सौदे 
  निविदाओं के परिणामों के बाद कमोडिटी और रॉ मटेरियल एक्सचेंज " 

                                                                          बोली तिथि: 01/01/1900 

  धारा: CJSC "SPbMTSB" का "पेट्रोलियम उत्पाद" 
  सदस्य: एलएलसी 
  सदस्य कोड: 000000000000 
  ग्राहक का नाम और कोड: OJSC / 000000000000 

  उपकरण कोड: 0000000001 
  उपकरण विवरण: गैसोलीन प्रीमियम यूरो -95 प्रकार द्वितीय श्रेणी बी, 

   नंबर समय क्रम संख्या खरीद / लेन-देन मूल्य (वैट की राशि के लिए) एक्सचेंज का नाम कोड 
                                                                                   सीआरसी लेनदेन की मात्रा 
   लेन-देन लेनदेन बिक्री (एक टन) बहुत (18%) व्यापारी के प्रतिपक्ष का संग्रह 

  01-01 01-02 01-03 एस 01-05 5 01-07 01-08 01-09 01-10 पेस्सी 01-12 
  02-01 02-02 02-03 एस 02-05 1 02-07 02-08 02-09 02-10 PbSee 02-12 

   0000000001 00,000,000.11 00,000.12 के लिए कुल 
 

दूसरी ओर - सभी pdfs के साथ नहीं यह नियम काम करता है:
"आज मैंने विभिन्न पीडीएफ फाइलों के साथ प्रयोग किया, यह पता चला कि पीडीएफडिट और पीडीएफटॉटेक्स के बीच अभी भी कोई पूर्ण चैंपियन नहीं है, चलो कहते हैं:
Pdftotext - बेहतर क्षैतिज रूप से लम्बी तालिकाओं और एकल-स्तंभ पत्रिकाओं की एक श्रृंखला में परिवर्तित।
Pdfedit - मल्टी- कॉलम लॉग्स (उदा: लाइनक्सफॉर्मेट) और वर्टीकल ओरिएंटेड टेबल के साथ बेहतर काम किया।
कहीं दोनों कार्यक्रमों में एक ही परिणाम दिखाई दिया (उदाहरण के लिए: Zeinghaus पत्रिका)। ”

kornerz ने सुझाव दिया कि पीडीएफ को svg में बदलना, इंकस्केप का उपयोग करना - पहले पीडीएफ-फाइल को चादरों में विभाजित करना (pdftk का उपयोग करते हुए एक विकल्प के रूप में)

$pdftk file.pdf burst

$inkscape -z -f pg_0001.pdf -l output_page1.svg