🤸🏽 👧🏽 📮 पीडीएफ में घुटने के उच्च। अच्छाई के साथ PHP पार्सर 🤲🏻 👨‍👨‍👦 🚶

ऐसा हुआ कि एक महीने पहले मेरे सामने एक पूरी तरह से अप्रत्याशित कार्य बढ़ गया: मौजूदा टेम्पलेट के अनुसार पीडीएफ को एचटीएमएल में बदलने के लिए। सहित यह सब कुछ पृष्ठों में तोड़ने और उनमें पैराग्राफ को उजागर करने के लिए आवश्यक था। हां, और भी बहुत कुछ। और सबकुछ ठीक हो जाएगा, और मैं कुछ बाईं लाइब्रेरी के साथ प्रबंधित करूंगा, लेकिन कुछ विशिष्ट छोटी चीजें-ध्वन्यात्मकता जिनकी मुझे ज़रूरत थी, पुस्तकालयों में नहीं मिलीं। और यह दुख की बात थी ...

0. पहले एक शब्द था और यह शब्द था: "प्रलेखन"

अफसोस की बात है, रूसी में अच्छे लेखों और नए दस्तावेज़ों की खोज ने मुझे सूचना के केवल दो उपयोगी स्रोतों तक पहुँचाया: यहाँ और यहाँ । पीडीएफ के सार की सामान्य समझ के लिए ये दोनों लेख बहुत उपयोगी थे, लेकिन उन्होंने मेरे लिए निर्धारित कार्यों को हल नहीं किया। और फिर वह दृश्य पर आया - आईएसओ 3200-1। 756 पृष्ठों के इस विशालकाय ने व्यावहारिक रूप से मुझे खाने के बदले बचाया, एक गाड़ी और एक छोटी गाड़ी।
और फिर भी, हर कोई जो पीडीएफ के साथ काम करने जा रहा है, मैं एक संदर्भ के रूप में अत्यधिक अनुशंसा करता हूं:
अंतर्राष्ट्रीय मानक आईएसओ की वेबसाइट पर यहाँ खरीदें
यहाँ डाउनलोड करें
और यहां एडोब की साइट से ही

1. शब्दों से लेकर कार्रवाई तक। चेतावनी! कार्य

कम से कम संभव समय में मुझे Pribluda को PHP में लिखने की ज़रूरत थी, जो स्मृति को कम या ज्यादा बचाएगा, क्योंकि औसतन 6 से 40 एमबी तक की पीडीएफ की उम्मीद थी। उसी समय, उसे पृष्ठों की सामग्री को निकालना था, पाठ को तार्किक ब्लॉकों (पैराग्राफ और हेडिंग) में तोड़ना, चित्र और सामग्री की एक तालिका को निकालना था।

2 ए। सिद्धांत की एक बिट। हमें वस्तुओं की तालिका प्राप्त होती है।

पहला, थोड़ा सिद्धांत। यहां नोटपैड में खोली गई पीडीएफ फाइल का उदाहरण दिया गया है

आप नग्न आंखों से भी देख सकते हैं कि फ़ाइल में, अजीब क्रोकज़बेलिक के अलावा, एक सार्थक पाठ भी है और यह आनन्दित नहीं कर सकता है। यह वह है जो हमें सब कुछ पता लगाने में मदद करेगा।
जैसा कि यह निकला (और आईएसओ 3200-1 ने यहां मदद की) पीडीएफ में लगभग निम्नलिखित संरचना है:

पहली पंक्ति पीडीएफ संस्करण का वर्णन करती है। दूसरी एक रहस्यमय रेखा है जिसमें मुझे कभी अनावश्यक नहीं समझा गया। यद्यपि मैं मानता हूं कि यह हमारे ब्रह्मांड और सामान्य रूप से सही सार को छुपाता है। आगे वस्तुओं का वर्णन है।

ऑब्जेक्ट सार्वभौमिक संरचनाएं हैं जो पीडीएफ में संग्रहीत सभी डेटा और उनके तार्किक कनेक्शन का वर्णन करती हैं। प्रत्येक ऑब्जेक्ट में "NM obj" (उद्धरण के बिना) फॉर्म की हेडिंग होती है, जहाँ N ऑब्जेक्ट की संख्या है, M इसका संस्करण है (सम्मान के लिए, मैं ध्यान देता हूँ कि मैं कभी किसी ऑब्जेक्ट से नहीं मिला जहाँ M! = 0)। वस्तु के शीर्षक के बाद << >> में इसके गुण हैं। और अंत में, वैकल्पिक रूप से एक डेटा स्ट्रीम है जो धारा, एंडस्ट्रीम की एक जोड़ी से घिरा हुआ है। ऑब्जेक्ट के सभी हिस्सों को लाइन ब्रेक द्वारा अलग किया जाता है। मैं बाद में और अधिक विस्तार से इन तत्वों पर चर्चा करूंगा। इस बीच, आइए ऑब्जेक्ट्स से पीडीएफ डॉक्यूमेंट के अंतिम भाग में जाते हैं

क्रॉस-रेफरेंस टेबल - एक निश्चित तालिका जिसमें फ़ाइल में प्रत्येक ऑब्जेक्ट के पते होते हैं। इस तालिका में लगभग निम्नलिखित संरचना है:

पहली पंक्ति xref कीवर्ड है। दूसरी दो संख्याएं हैं जो इंगित करती हैं कि कौन सी वस्तुओं का वर्णन करता है। इसके बाद खुद टेबल आता है। 0000000032 65535 f फॉर्म की प्रत्येक पंक्ति संबंधित संख्या की एक वस्तु का वर्णन करती है। यह मत भूलो कि कुछ तालिकाओं में नंबरिंग पहले ऑब्जेक्ट से शुरू नहीं होगी, लेकिन xref कीवर्ड के बाद लाइन में वर्णित एक के साथ। अंकों का पहला समूह: 10 अंक (मान बाईं तरफ महत्वहीन शून्य द्वारा पूरक है) उस फ़ाइल में पते का संकेत देता है जिसमें से ऑब्जेक्ट शुरू होता है।
UPD: दोषों को इंगित करने के लिए धन्यवाद, धन्यवाद। सही किया।
दूसरा समूह: 5 अंक 65535 (int) से अधिक नहीं है, जो वस्तु की संशोधन संख्या को दर्शाता है। और अंतिम वर्ण या तो n (प्रयुक्त वस्तुओं के लिए) है या मुक्त वस्तुओं के लिए च (जो हटाए गए थे)। किसी ऑब्जेक्ट को हटाते समय, इसकी संशोधन संख्या (पीढ़ी) 1 से बढ़ जाती है, और (n / f) ध्वज को f पर सेट किया जाता है। इसके अलावा, संशोधन संख्या 65535 पर सेट की जा सकती है। ऐसी वस्तु को स्वतंत्र माना जाता है और फिर कभी उपयोग नहीं किया जाता है। पीडीएफ प्रलेखन के पृष्ठ 40 पर और पढ़ें

तालिका के ठीक बाद कीवर्ड ट्रेलर है, जिसके बाद आप तालिका के गुण पा सकते हैं। हमें केवल एक ही चीज़ में दिलचस्पी होगी: / Prev 321249. यहाँ, संख्या उस फ़ाइल के पते को इंगित करती है जिसमें से पिछली तालिका शुरू होती है। तदनुसार, बहुत पहले तालिका में ऐसी संपत्ति नहीं है।

तालिका के गुणों के बाद, आप एक और कीवर्ड startxref पा सकते हैं, जिसके बाद एक संख्या इस तालिका की शुरुआत के पते को दर्शाती है।
यह ज्ञान हमारे लिए सभी पीडीएफ वस्तुओं की एक तालिका को उतारने के लिए पर्याप्त है, ताकि भविष्य में हमें पूरे पीडीएफ को मेमोरी में लोड न करना पड़े। अब, बीयर का एक घूंट लें और अभ्यास करें।

2 बी। व्यवहार में सिद्धांत। हमें वस्तुओं की तालिका प्राप्त होती है।

Nuss। चलो खदान के लिए मिलता है। यहाँ मेरे कुछ गोवनोकोड है:

private function get_ref_table(){ $currentString = ''; $matches=NULL; $tableLength = 0; $lastTable = false; /*  32   ,   ,      */ fseek($this->filePointer, -32, SEEK_END); $nextTableLink=''; /*  -32   ,    startxref      */ while(preg_match('/startxref/', $nextTableLink)!=1 && $nextTableLink!==false){ $nextTableLink = fgets($this->filePointer); } $nextTableLink = fgets($this->filePointer); while($lastTable!== true){ //  fseek($this->filePointer, $nextTableLink, SEEK_SET); //   fgets($this->filePointer); $currentString = fgets($this->filePointer); //        preg_match('/(\d+)\x20(\d+)/', $currentString, $matches); $tableLength = $matches[2]; $startIndex = $matches[1]; //  for($i=0; $i<$tableLength; $i++){ $currentString = fgets($this->filePointer); preg_match('/(\d+)\x20\d+\x20\x6E/', $currentString, $matches); if(isset($matches[1])) $this->RefTable[$startIndex+$i]=$matches[1]; } fgets($this->filePointer); $currentString = fgets($this->filePointer); //   ,      //     if(preg_match('/\x2FPrev\x20(\d+)/', $currentString, $matches)==1) $nextTableLink = $matches[1]+0; else $lastTable = true; } //    asort($this->RefTable, SORT_NUMERIC); reset($this->RefTable); $pointerKey=NULL; //      //  ,     //   . foreach($this->RefTable as $key => $value){ if($pointerKey!=NULL) $this->RefTableNext[$pointerKey]=&$this->RefTable[$key]; $pointerKey = $key; } if($pointerKey!=NULL) $this->RefTableNext[$pointerKey]= $nextTableLink; }

मुझे लगता है कि सामान्य तौर पर, कोड में सब कुछ स्पष्ट है: अंतिम तालिका का पता ढूंढें, इसके मूल्यों को एक सरणी में सहेजें, तालिका ट्रेस का पता पढ़ें। हम अंतिम तालिका केवल इसलिए बनाते हैं क्योंकि PHP में सरणी के अगले तत्व को जानना मुश्किल है। और मेरे मामले में, वांछित तत्व की तलाश में हर बार पूरे सरणी के माध्यम से चलाने के लिए मेरे लिए एक अतिरिक्त तालिका को स्टोर करना आसान था।

अब हमारे पास सरणी RefTable ['ऑब्जेक्ट नंबर'] = 'ऑब्जेक्ट एड्रेस' है, हम ऑब्जेक्ट्स-बाय-ऑब्जेक्ट को पढ़ने के लिए एक साधारण फ़ंक्शन का उपयोग कर सकते हैं। उदाहरण के लिए, इस तरह:

  public function get_obj_by_key($key){ fseek($this->filePointer, $this->RefTable[$key]); return fread($this->filePointer, $this->RefTableNext[$key]-$this->RefTable[$key]); }

3 ए। थोड़ा और सिद्धांत। हमें पेज टेबल मिलता है।

आइए अपनी वस्तुओं पर वापस जाएं, और उनके गुणों के लिए और अधिक सटीक रूप से। पीडीएफ में 9 मुख्य डेटा प्रकार हैं:

बूलियन - सच, गलत;
संख्यात्मक - int (623, +17, -98), वास्तविक (34.5, -3.62)
लिटरेलास्ट्रिंग - कोष्ठक में पात्रों का एक सेट (abcd)
हेक्सैडिकल स्ट्रिंग्स - <4E6F7620> हेक्साडेसिमल मानों की एक स्ट्रिंग।
नाम - / पिछला चरित्र सेट स्लैश फ़ील्ड
सरणी - [/ name 1 / name1 / name2] मनमानी प्रकार की वस्तुओं की एक सरणी
शब्दकोश - कुंजी-मूल्य प्रकार का एक सेट, जहां कुंजी हमेशा प्रकार के नाम (/ Prev) का एक ऑब्जेक्ट होता है, और मूल्य अन्य शब्दकोशों सहित किसी भी प्रकार का ऑब्जेक्ट होता है। शब्दकोश हमेशा << >> में घिरे रहते हैं
स्ट्रीम - कुछ डेटा जो वैसे भी एन्कोड किए जा सकते हैं।
पूर्ण - स्वयं के लिए बोलता है

अधिक विवरण के लिए दस्तावेज़ीकरण का 14 वां पृष्ठ देखें।
तो वस्तु के गुणों को शब्दकोशों (शब्दकोश) में संग्रहीत किया जाता है। और सबसे पहले, हम / प्रकार की संपत्ति में दिलचस्पी लेंगे, जिसमें अजीब तरह से, वस्तु का प्रकार स्थित है। शुरू करने के लिए, हमें दो ऑब्जेक्ट मिलेंगे: / प्रकार / कैटलॉग और / टाइप / पेज पहले में, गुणों के रूप में, सेवा की जानकारी और डेटा संरचनाओं के साथ वस्तुओं के लिंक संग्रहीत हैं, जिसमें / पेज 2 0 आर (यह उदाहरण के लिए है) शामिल हैं। यहां आप देख सकते हैं कि संपत्ति / पृष्ठ को ऑब्जेक्ट नंबर 2 0 R के प्रकार / प्रकार / पृष्ठों पर मैप किया गया है।
ऑब्जेक्ट / टाइप / पेज, जो हम अपनी तालिका में नंबर 2 पर पाएंगे, यह मूल्यवान है कि इसमें संख्याओं के साथ एक सरणी / Kids [3 0 R 29 0 R] गुण शामिल हैं। इस सरणी में जो ऑब्जेक्ट हमें मिलते हैं, वे अपने बच्चों के साथ या तो अन्य नोड / टाइप / पेज हो सकते हैं, या वे ऑब्जेक्ट्स / टाइप / पेज जिन्हें हम खोज रहे हैं, यानी पेज।
और फिर ठंडे अंधेरे की एक बोतल के लिए समय आता है।

3 बी। कोड पर वापस जाएं। हमें पेज टेबल मिलता है।

यहाँ फ़ंक्शन है कि मिल जाएगा

 private function get_page_table(){ $currentObj = ''; reset($this->RefTable); $key = key($this->RefTable); $matches = NULL; $nextPage = NULL; $pages = array(); //  ,    /Type/Catalog while((preg_match('/\x2F\x54\x79\x70\x65\x2F\x43\x61\x74\x61\x6C\x6F\x67/',$currentObj) != 1) || ($currentObj === false) ){ $currentObj = $this->get_obj_by_key($key); next($this->RefTable); $key = key($this->RefTable); } //     /Pages N 0 R preg_match('/\x2F\x50\x61\x67\x65\x73\x20(\d+)\x20\x30\x20\x52/', $currentObj, $matches); $currentObj = $this->get_obj_by_key($matches[1]); preg_match('/\x2FKids\[(.*)\]/',$currentObj, $kids); //  preg_match_all('/\s?(\d+)\s\d+\sR/',$kids[1], $matches); foreach($matches[1] as $value){ $pages[] = $value; } foreach($pages as $key => $value){ if(isset($this->RefTable[$value])){ $page=$this->get_obj_by_key($value); //  – ,      if(preg_match('/\/Type\/Page\W/',$page) == 1){ $this->pageTable[] = $value; } //      $this->pageTable = array_merge($this->pageTable,$this->getChildren($value)); } } return true; }

अगला एक सहायक कार्य है जो बच्चे के पृष्ठों को खोजने में पुन: मदद करता है।

 private function getChildren($Obj){ $pages = array(); $pagesArr = array(); $currentObj = $this->get_obj_by_key($Obj); preg_match('/\x2FKids\[(.*)\]/',$currentObj, $kids); if(isset($kids[1])){ if(preg_match_all('/\s?(\d+)\s\d+\sR/',$kids[1], $matches) > 0){ foreach($matches[1] as $value){ $pages[] = $value; } foreach($pages as $key => $value){ if(isset($this->RefTable[$value])){ $page=$this->get_obj_by_key($value); if(preg_match('/\/Type\/Page\W/',$page) == 1){ $pagesArr[] = $value; } $pagesArr = array_merge($pagesArr,$this->getChildren($value)); } } return $pagesArr; } else return array(); } return array(); }

खैर, एक चमत्कार हुआ: हमारे पास एक टेबल ऑब्जेक्ट नंबर है-> ऑब्जेक्ट का पता और एक टेबल है पेज नंबर-> ऑब्जेक्ट नंबर। केवल एक ही चीज़ छोटी है: पृष्ठों की सामग्री प्राप्त करें और इसे तार्किक संरचनाओं में तोड़ दें।

4 ए। सिद्धांत वापस आ गया है। धाराओं से डेटा पुनर्प्राप्त करना।

कभी-कभी वस्तुओं के बाद आप अजीब पात्रों का एक गुच्छा पा सकते हैं, और कभी-कभी उन्हें उस वस्तु में पाया जा सकता है, जिसमें आप वस्तु के संसाधन संसाधन में लिंक पा सकते हैं। यह एन्कोडेड डेटा है। ऐसी वस्तुओं के शब्दकोश में आपको / फ़िल्टर संपत्ति मिलेगी जो या तो एक मान या एक सरणी (महत्वपूर्ण) निर्दिष्ट की जा सकती है! यह अच्छी तरह से हो सकता है कि ऑब्जेक्ट के बाद का डेटा एन्क्रिप्ट नहीं किया जाएगा। इस मामले में, कोई / फ़िल्टर संपत्ति नहीं होगी। यहां तक कि एक ज़ोस्कोलनिक भी स्ट्रीम पढ़ सकता है। )। आपको 22 पृष्ठ पर प्रलेखन में सभी संभावित फिल्टर की एक सूची मिलेगी, लेकिन मैं एक पर ध्यान केंद्रित करूंगा। / फ़िल्टर / FlateD timecode - यह सबसे आम फिल्टर है और 99% मामलों में केवल यह पर्याप्त है। FlateDecode नियमित gzip से अधिक कुछ नहीं है और हमें जो कुछ भी चाहिए वह है gzuncompress ($ स्ट्रीम)। एक बात है लेकिन FlateDecode मानक के अनुसार, डेटा के पहले 4 बिट्स ओवरहेड कैरेक्टर के होते हैं और इनकी व्याख्या नहीं की जाती है, लेकिन कुछ PDF में ये बिट्स अनुपस्थित होते हैं और gzuncompress () डेटा त्रुटि हो सकती है। मैं आपको खुश कर सकता हूं: एक युवा ने हमारे लिए एक पैच लिखा। हम यहां जाकर पढ़ते हैं
और इसलिए इसका मतलब है कि हमने इस तरह की संगति की और धारा से डेटा निकाला, और वहाँ:

और पाठ है। हम निम्नलिखित पंक्तियों में रुचि लेंगे:
एक पंक्ति जो बीटी के साथ समाप्त होती है। यह अच्छी तरह से पता लगा सकता है कि केवल बीटी लाइन में होगा
एक पंक्ति जो Tf में समाप्त होती है। यह टेक्स्ट के ब्लॉक में उपयोग किए गए फोंट का वर्णन करता है।
टीजे में स्ट्रिंग समाप्त। इसमें हम स्वयं ही पाठ (लगभग) पाएंगे।
खैर, सभी ईटी खत्म हो जाएंगे
आइए एक उदाहरण देखें
/ P << / MCID 0 >> बीडीसी बीटी
/ एफ 1 13.56 टीएफ
1 0 0 1 245.69 760.8 टी.एम.
0 जी
0 जी
[<0245> -2 <0278> 4 <025B> 5 <0268> -3 <025C> 12 <0276> -3 <000F0003> 4 <025E> 5 <025F0265: 5 <0276> -3 <026E0262> 6 < 0267> 4 <00030262> 6 <00030266> 7 <0268> -3 <026A> -3 <025F0011>] टीजे
ईटी
बीटी और ईटी पाठ की शुरुआत और पाठ के अंत से ज्यादा कुछ नहीं हैं। बीटी के सामने एक मार्कर है जो वास्तव में पाठ (पैराग्राफ और हेडिंग) में तार्किक संरचनाओं को उजागर करने में मदद करता है। इस लेख में मैं इस पर विस्तार से ध्यान नहीं दूंगा। जबकि आप प्रत्येक ऐसे ब्लॉक << / MCID 0 >>, << / MCID 1 >> इत्यादि पर एक पैराग्राफ की शुरुआत के रूप में विचार कर सकते हैं या पेज 556 लॉजिकल स्ट्रक्चर सेक्शन में प्रलेखन में उनके बारे में पढ़ सकते हैं। अगर किसी को दिलचस्पी होगी - मैं लेख को पूरक कर सकता हूं।
फ़ॉन्ट पंक्ति में हम / एफ 1 और अंकों में रुचि रखते हैं। / एफ 1 - फ़ॉन्ट का नाम जिसे हमें पाठ को डिकोड करने की आवश्यकता होगी (हाँ, हाँ, हमारी पीड़ा अभी खत्म नहीं हुई है) और पाठ शैली प्राप्त करें
TJ से पहले [] प्रतिष्ठित पाठ है। अब हम भाग्यशाली हो सकते हैं और हम पाठ देखेंगे। कोष्ठक पाठ हमेशा कोष्ठक में होता है। यदि हम भाग्यशाली नहीं हैं, और ऐसा होगा, तो हम त्रिकोणीय कोष्ठक में संख्याओं के समूह पाएंगे। प्रत्येक 4 अंक एक वर्ण होता है, जिसका षोडश आधारी मूल्य पत्राचार तालिका में पाया जा सकता है, और फ़ॉन्ट वस्तु में पत्राचार तालिका जो हमें पहले मिली थी, बत्तख में खरगोश और अंडे में बतख ... ऊँ मैं पीड़ित ...
वर्ण कोडों की एक तालिका ढूंढना मुश्किल नहीं है: जिस पृष्ठ पर हमने डिकोड किया है, उसके पास / संसाधन संपत्ति है, और इसमें << / फ़ॉन्ट << / F1 5 0 R / F2 10 0 R / F3 12 0 R ……… ... आपको पहले से ही क्या करना चाहिए अनुमान लगाया: हम संबंधित फ़ॉन्ट के ऑब्जेक्ट नंबर पर जाते हैं, और उस ऑब्जेक्ट में (यह कोई मजाक नहीं है) संपत्ति है / ToUnicode 98 0 R वहां आपको एक टेबल मिलेगी। इसके साथ क्या करना है यह हबर पर अच्छी तरह से वर्णित किया गया था । यदि आपके पास पर्याप्त नहीं है, तो आप उन स्रोतों को देख सकते हैं जिन्हें मैं संलग्न करूंगा।
अभी के लिए बस इतना ही। यह सिर्फ एक सामान्य अवलोकन था। यदि रुचि है, तो मैं आपको और अधिक विस्तार से बताऊंगा कि कैसे छवियों, एक कैटलॉग, तालिकाओं, शैलियों और अन्य बन्स को निकालना है। यदि आपके कोई प्रश्न हैं, तो आपका स्वागत है। और हां, मैं आपसे कोड को अधिक ट्रोल नहीं करने के लिए कहता हूं, यह पढ़ने का नाटक नहीं करता है, यह केवल सार के रूप में व्याख्या करना है।

और अंत में एक सामान्य समझ के लिए एक छोटा कोड।

पीडीएफ में घुटने के उच्च। अच्छाई के साथ PHP पार्सर