🍍 🦄 ♀️ JAXB और XSLT StAX का उपयोग कर 🍅 🏣 🥧

एक परियोजना में, सैकड़ों मेगाबाइट से दसवें गीगाबाइट तक बड़ी एक्सएमएल फ़ाइलों को संसाधित करना आवश्यक था।
इसके अलावा, विभिन्न "गहराई" पर स्थित केवल कुछ टैगों को बाहर निकालना आवश्यक था। XSLT "माथे में" स्मृति की कमी के कारण टूट गया। मुझे स्ट्रीम पार्सर के बारे में सोचना और याद रखना था।

कई XML प्रोसेसिंग मॉडल हैं। सबसे प्रसिद्ध डोम और एसएएक्स हैं।
DOM पूरे XML दस्तावेज़ को लोड करता है, इसका आंतरिक प्रतिनिधित्व बनाता है और पूरे दस्तावेज़ में नेविगेट करने की क्षमता प्रदान करता है। SAX, इसके विपरीत, इनपुट दस्तावेज़ को पढ़ता है और, जब कोई तत्व पहचाना जाता है, तो प्रसंस्करण के लिए हैंडलर को बुलाता है।

मेरे मामले में, मेमोरी की खपत के कारण डोम गिरा दिया गया। एसएएक्स एपीआई हैंडलर पर बनाया गया है, जिसके परिणामस्वरूप कम पठनीय कोड है। Stax एक स्ट्रीम पार्सर (SAX की तरह) है, लेकिन एपीआई पुल के सिद्धांत पर बनाया गया है। यही है, मान्यता प्राप्त तत्व मांग पर धारा से "हटा" दिए जाते हैं।

चूंकि संसाधित किए जाने वाले डेटा ढांचे बहुत जटिल और विविध थे, और प्रसंस्करण काफी गैर-तुच्छ था, इसलिए आंतरिक प्रतिनिधित्व में अनुवाद करने के लिए JAXB का उपयोग करने का निर्णय लिया गया।

परियोजना डेटा एनडीए द्वारा बंद कर दिया जाता है, इसलिए, लेख में उपयोग नहीं किया जाता है।

और इसलिए, निम्नलिखित है

XML दस्तावेज़

<data> <dtype_one> <p1>p1_data_1</p1> <p2>p1_data_1</p2> <p3>p1_data_1</p3> <p4>p1_data_1</p4> <p5>p1_data_1</p5> </dtype_one> <dtype_two> <p1>p1_data_2</p1> <p2>p1_data_2</p2> <p3>p1_data_2</p3> <p4>p1_data_2</p4> <p5>p1_data_2</p5> </dtype_two> <WS> <dtype_three> <p1>p1_data_3</p1> <p2>p1_data_3</p2> <p3>p1_data_3</p3> <p4>p1_data_3</p4> <p5>p1_data_3</p5> </dtype_three> </WS> </data>

इसमें से आपको dtype_one, dtype_two और dtype_three टैग का चयन करने और संसाधित करने की आवश्यकता है। दस्तावेज़ में टैग दोहराया जाता है। लेना

दस्तावेज़ की रूपरेखा

 <?xml version="1.0" encoding="UTF-8"?> <xs:schema attributeFormDefault="unqualified" elementFormDefault="qualified" xmlns:xs="http://www.w3.org/2001/XMLSchema"> <xs:element name="data" type="dataType"/> <xs:element name="dtype_one" type="dtype_oneType"/> <xs:element name="dtype_two" type="dtype_twoType"/> <xs:element name="dtype_three" type="dtype_threeType"/> <xs:complexType name="dtype_oneType"> <xs:sequence> <xs:element type="xs:string" name="p1"/> <xs:element type="xs:string" name="p2"/> <xs:element type="xs:string" name="p3"/> <xs:element type="xs:string" name="p4"/> <xs:element type="xs:string" name="p5"/> </xs:sequence> </xs:complexType> <xs:complexType name="dataType"> <xs:sequence> <xs:element type="dtype_oneType" name="dtype_one"/> <xs:element type="dtype_twoType" name="dtype_two"/> <xs:element type="WSType" name="WS"/> </xs:sequence> </xs:complexType> <xs:complexType name="WSType"> <xs:sequence> <xs:element type="dtype_threeType" name="dtype_three"/> </xs:sequence> </xs:complexType> <xs:complexType name="dtype_twoType"> <xs:sequence> <xs:element type="xs:string" name="p1"/> <xs:element type="xs:string" name="p2"/> <xs:element type="xs:string" name="p3"/> <xs:element type="xs:string" name="p4"/> <xs:element type="xs:string" name="p5"/> </xs:sequence> </xs:complexType> <xs:complexType name="dtype_threeType"> <xs:sequence> <xs:element type="xs:string" name="p1"/> <xs:element type="xs:string" name="p2"/> <xs:element type="xs:string" name="p3"/> <xs:element type="xs:string" name="p4"/> <xs:element type="xs:string" name="p5"/> </xs:sequence> </xs:complexType> </xs:schema>

और सुनिश्चित करें कि हमारे द्वारा आवश्यक टैग के "तत्व" तत्व हैं:

  <xs:element name="dtype_one" type="dtype_oneType"/> <xs:element name="dtype_two" type="dtype_twoType"/> <xs:element name="dtype_three" type="dtype_threeType"/>

यदि कोई स्कीमा नहीं है, तो IDEA इसे पूरी तरह से xml फ़ाइल से उत्पन्न कर सकता है।

यह XJC के लिए @XmlRootElement एनोटेशन जनरेट करने के लिए है । इस परियोजना को maven जा रहा है, maven-jaxb2-plugin का उपयोग XJC को कॉल करने के लिए किया जाता है। स्कीमा फ़ाइल में सभी "तत्व" के लिए @XmlRootElement उत्पन्न करने के लिए, आपको निम्नलिखित लाइनों को bindings.xjb फ़ाइल में जोड़ना होगा:

 <jaxb:bindings> <jaxb:globalBindings > <xjc:simple/> </jaxb:globalBindings> </jaxb:bindings>

और इसे pom.xml में प्लगइन कॉन्फ़िगरेशन मावेन-जक्सब 2-प्लगइन से कनेक्ट करें

 <bindingDirectory>${project.basedir}/xjb</bindingDirectory>

अब, वास्तव में कोड के लिए, TagEngine वर्ग टैग हैंडलर की सूची संग्रहीत करता है और इसे पार्स करता है :

  public void process(InputStream inputStream) throws FileNotFoundException, XMLStreamException, TransformerException { //  XMLStreamReader,   XMLInputFactory factory = XMLInputFactory.newFactory(); XMLStreamReader streamReader = factory.createXMLStreamReader(inputStream); //   Stack<String> tagStack = new Stack<String>(); //    while (streamReader.hasNext()) { //   int eventType = streamReader.next(); //    if(eventType == XMLStreamConstants.START_ELEMENT) { //    tagStack.push(streamReader.getName().toString()); //     TagProcessor t = processorMap.get(tagStack); if(t != null) { // ,  t.process(streamReader); tagStack.pop(); } } else if(eventType == XMLStreamConstants.END_ELEMENT) { tagStack.pop(); } } }

JAXBProcessor वर्ग चयनित तत्वों को अनमर्श करता है। XSLTProcessor वर्ग XSLT परिवर्तनों को आमंत्रित करता है। उपयोगी कार्य करने वाला वर्ग ऐसा दिखता है:

 public class DataOne extends JAXBProcessor<DtypeOne> { private static final String TAG_NAME = "data/dtype_one"; //  public DataOne() throws JAXBException, SAXException { super(DtypeOne.class, TAG_NAME); } //       public DataOne(String schemaFileName) throws JAXBException, SAXException { super(DtypeOne.class, TAG_NAME, schemaFileName); } //     XML  @Override public void doWork(DtypeOne element) { // System.out.println(element.getP1()); } }

XSLT DataThreeXSLT अनुप्रयोग उदाहरण।

लॉन्च उदाहरण (277 मेगाबाइट फ़ाइल का संसाधन उत्सर्जित होता है):

 स्कीमा सत्यापन के बिना JAXB अनमरशॉल
 रनटाइम: 8034ms, 277000015 बाइट्स संसाधित
 प्रयुक्त मेमोरी: 80 एमबी
 स्कीमा सत्यापन के साथ JAXB अनमरशाल
 रनटाइम: 66180ms, 277000015 बाइट्स संसाधित
 प्रयुक्त मेमोरी: 56 एमबी
 XSLT प्रसंस्करण
 रनटाइम: 10604ms, 277000015 बाइट्स संसाधित
 प्रयुक्त मेमोरी: 231 एमबी

मेमोरी के साथ सबकुछ ठीक है, कोर्स की वैलिडेशन बहुत प्रोसेसिंग को धीमा कर देती है।

पुनश्च। परीक्षणों के लिए मैंने मॉकिटो का इस्तेमाल किया (मैंने पहले जॉकॉक का इस्तेमाल किया)। मुझे एक लाइव (मॉक) ऑब्जेक्ट के साथ काम करते समय जासूस - अवरोधन कॉल और उनके मापदंडों की संभावना पसंद आई।
पी पी एस। GitHub प्रोजेक्ट कोड।

JAXB और XSLT StAX का उपयोग कर

More articles: