Teiid के लिए नए डेटा स्रोत, भाग 2: अनुवादक लिखना

पिछले भाग में, हमने संक्षेप में DDL का उपयोग करके डेटा स्रोत का वर्णन करने का तरीका देखा। लेकिन क्या होगा अगर स्रोत एक विशिष्ट प्रोटोकॉल का उपयोग करता है? यदि प्रत्यक्ष डेटा मानचित्रण पर्याप्त नहीं है? क्या हमें डेटा प्रीप्रोसेसिंग या इनलाइन प्रक्रिया को जोड़ना चाहिए? एक समाधान है: एक अनुवादक लिखें।

सामान्य तौर पर, एक अनुवादक में 4 भाग (वर्ग) होते हैं। यह ExecutionFactory वर्ग और ResultSetExecution , ProcedureExecution और UpdateExecution कार्यान्वयन के UpdateExecution ; इसके अलावा, सुविधा के लिए मानक तीद अनुवादक एक मेटाडेटा प्रोसेसर (मेटाडेटा प्रोसेसर) को एक अलग वर्ग में आवंटित करते हैं, हालांकि यह किसी भी इंटरफ़ेस को लागू नहीं करता है और किसी भी चीज़ से विरासत में नहीं मिलता है। चलो सब कुछ क्रम में विचार करें।

अनुवादक के पुर्जे

• ExecutionFactory - अनुवादक का प्रारंभिक बिंदु, वह स्थान जहाँ उसका नाम और विवरण, उसके गुण निर्धारित किए जाते हैं, जो SQL समर्थन करता है, उसका वर्णन किया जाता है, मेटाडेटा उत्पन्न होता है (यानी, उन तालिकाओं और प्रक्रियाओं का वर्णन जो अनुवादक लागू होते हैं)। यदि आवश्यक हो, तो उपरोक्त इंटरफेस के उदाहरण बनाए जाते हैं जो सीधे SELECT, INSERT / UPDATE / DELETE क्वेरीज़ और अंतर्निहित प्रक्रिया कॉल को संसाधित करते हैं।
• ResultSetExecution - एक इंटरफ़ेस जिसका कार्यान्वयन का उपयोग चयन क्वेरी को संसाधित करने के लिए किया जाता है। अनुवादक में कार्यान्वयन उपलब्ध नहीं हो सकता है।
• ProcedureExecution - एक इंटरफ़ेस जिसका कार्यान्वयन अंतर्निहित प्रक्रियाओं को कॉल करने के लिए उपयोग किया जाता है। अनुवादक में कार्यान्वयन उपलब्ध नहीं हो सकता है।
• UpdateExecution - एक इंटरफ़ेस जिसका कार्यान्वयन INSERT / UPDATE / DELETE अनुरोधों को संसाधित करने के लिए उपयोग किया जाता है। अनुवादक में कार्यान्वयन उपलब्ध नहीं हो सकता है।

आगे हम इन बिंदुओं पर आगे बढ़ेंगे।

मूल सेटिंग्स

हमारे अनुवादक को देखने के लिए तीईद के लिए, हमें परिणामी जार में मौजूद मेटा में शामिल करने के लिए META-INF \ services \ org.teiid.translator.ExecutionFactory फ़ाइल की आवश्यकता होती है जिसमें हम लाइन जोड़ते हैं:

 ru.habrahabr.HabrExecutionFactory 

इसके अलावा, JBoss 7 के लिए, आपको इसे फ़ाइल JBOSS_HOME% / स्टैंडअलोन / कॉन्फ़िगरेशन / स्टैंडअलोन.xml (या [..] डोमेन [..] में जोड़ना होगा:

 <subsystem xmlns="urn:jboss:domain:teiid:1.0"> [..] <translator name="habrahabr" module="ru.habrahabr"/> [..] 

यहां हम सर्वर को बताते हैं कि हमारा अनुवादक किस मॉड्यूल में स्थित है। यह स्पष्ट है कि हमारे अनुवादक के साथ जार को ru.habrahabr मॉड्यूल में रखा जाना चाहिए।

और यहां, पिछले लेख की तरह, हमें अनुवादक के लिए एक डेटा स्रोत पंजीकृत करने की आवश्यकता है।

 <subsystem xmlns="urn:jboss:domain:resource-adapters:1.0"> [...] <resource-adapters> <resource-adapter> <archive>teiid-connector-ws.rar</archive> <transaction-support>NoTransaction</transaction-support> <connection-definitions> <connection-definition class-name="org.teiid.resource.adapter.ws.WSManagedConnectionFactory" jndi-name="java:/habrDS" enabled="true" use-java-context="true" pool-name="habr-ds"> <config-property name="EndPoint">http://habrahabr.ru/api/profile/</config-property> </connection-definition> </connection-definitions> </resource-adapter> </resource-adapters> [...] 

मॉडल विवरण

सरलतम मामले में, जब पैरामीटर स्वयं या अनुवादक के लिए सेट नहीं होते हैं, तो vdb फ़ाइल में मॉडल विवरण इस तरह दिखाई देगा:

  <model name="habr"> <source name="habr" translator-name="habrahabr" connection-jndi-name="java:/habrDS"/> </model> 

वह सब है।

यदि आपको अनुवादक के गुणों को निर्धारित करने की आवश्यकता है, तो आपको अनुवादक-वारिस का वर्णन करना होगा:

  <model name="habr"> <source name="habr" translator-name="habrahabr2" connection-jndi-name="java:/habrDS"/> </model> <translator name="habrahabr2" type="habrahabr"> <property name="defaultUser" value="elfuegobiz"/> </translator> 

और अगर आपको मेटाडेटा कलेक्टर के लिए पैरामीटर निर्दिष्ट करने की आवश्यकता है, तो एक और लाइन जोड़ी जाएगी:

  <model name="habr"> <source name="habr" translator-name="habrahabr2" connection-jndi-name="java:/habrDS"/> <property name="importer.convertToUppercase" value="true"/> </model> <translator name="habrahabr2" type="habrahabr"> <property name="defaultUser" value="elfuegobiz"/> </translator> 

ExecutionFactory

यहाँ हम यह कर सकते हैं:

1. अनुवादक का नाम और विवरण सेट करें।
2. अनुवादक के गुणों का वर्णन करें।
3. एसक्यूएल निर्माण का वर्णन हम समर्थन करेंगे।
4. समर्थित तालिकाओं और प्रक्रियाओं के लिए मेटाडेटा बनाएँ।
5. अनुरोधों को संभालने के लिए कक्षा उदाहरण बनाएं।

तो चलिए चलते हैं।

अनुवादक का नाम और विवरण

 package ru.habrahabr; import javax.resource.cci.ConnectionFactory; import org.teiid.translator.ExecutionFactory; import org.teiid.translator.Translator; import org.teiid.translator.WSConnection; @Translator(name = "habrahabr", description = "A translator for Habrahabr API") public class HabrExecutionFactory extends ExecutionFactory<ConnectionFactory, WSConnection> { } 

Translator एनोटेशन वर्ग को Translator वर्ग के रूप में चिह्नित करता है, name पैरामीटर वह name सेट करता है जिसके तहत यह सिस्टम में दिखाई देगा, और description - एक मनमाना पाठ विवरण। हम इस तथ्य के आधार पर विरासत के मापदंडों को निर्धारित करते हैं कि हम मानक WS कनेक्टर Teiid का उपयोग करते हैं।

अनुवादक के गुण

ऊपर, अध्याय "मॉडल विवरण" में हमने defaultUser लिए defaultUser संपत्ति मूल्य निर्दिष्ट किया। अब हम इसे अनुवादक कोड में लागू करते हैं।

 import org.teiid.translator.TranslatorProperty; [..] private String defaultUser; @TranslatorProperty(description="Default user name", display="Default user name to use for table queries", required=true) public String getDefaultUser() { return defaultUser; } public void setDefaultUser(String defaultUser) { this.defaultUser = defaultUser; } 

प्रापक के लिए TranslatorProperty एनोटेशन संपत्ति का संक्षिप्त और विस्तृत विवरण निर्धारित करता है। यदि यह संपत्ति आवश्यक है, तो आप एनोटेशन में required=true पैरामीटर जोड़ सकते हैं।

अनुवादक उदाहरण बनाते समय, Teiid स्वचालित रूप से vdb फ़ाइल में अनुवादक विवरण से मान के साथ इस फ़ील्ड को भर देगा।

SQL निर्माण समर्थन करते हैं

ExecutionFactory वर्ग में कई समर्थित मास्क विधियाँ हैं supports* जो एक boolean मान boolean जो यह दर्शाता है कि अनुवादक इस सुविधा का समर्थन करता है या नहीं। अनुवादक जिस सुविधा का समर्थन नहीं करता है, वह विशेषताएं अपने स्वयं के साधनों को लागू करती है। उदाहरण के लिए, यदि अनुवादक समुच्चय फ़ंक्शन sum() को संसाधित करने में सक्षम नहीं है, तो Teiid अनुवादक से डेटा का अनुरोध करेगा, और फिर वह राशि की गणना करेगा।

इन सेटिंग्स को बदलने के लिए, उनमें से लगभग सभी को ओवरलैप करने की आवश्यकता होती है, केवल कुछ के पास एक ही निपटान होता है जिसे कंस्ट्रक्टर में कहा जा सकता है। उदाहरण के लिए, यदि हम count(*) प्रश्नों के लिए समर्थन लागू करना चाहते हैं और limit <> निर्माण करते हैं, तो हम संबंधित तरीकों को ओवरराइड करेंगे और उनमें true वापसी करेंगे:

  @Override public boolean supportsAggregatesCountStar() { return true; } @Override public boolean supportsRowLimit() { return true; } 

यह इन सभी संभावनाओं को लागू करने के लिए समझ में आता है अगर डेटा स्रोत में उनके कार्यान्वयन के लिए एपीआई है। हालांकि, हमारे अनुवादक बहुत सरल होंगे - स्रोत से मेल खाने के लिए, हम अगले लेख में अधिक जटिल अनुवादक लिख सकते हैं यदि दर्शक इस विषय में रुचि दिखाते हैं।

तालिकाओं और प्रक्रियाओं मेटाडेटा

अनुवादक में लागू की गई तालिकाओं और प्रक्रियाओं का वर्णन करने के लिए, ExecutionFactory getMetadata(MetadataFactory metadataFactory, WSConnection conn) क्लास में एक विशेष getMetadata(MetadataFactory metadataFactory, WSConnection conn) विधि getMetadata(MetadataFactory metadataFactory, WSConnection conn) , जिसे अतिव्यापी और कार्यान्वित किया जाना चाहिए। हमें MetadataFactory क्लास का एक उदाहरण मिलता है, जिसमें टेबल, प्रक्रियाएं और बहुत कुछ बनाने के तरीके हैं, साथ ही हमारी वेब सेवा के लिए पहले से ही स्थापित कनेक्शन की एक वस्तु है: अगर हमें डेटा का अनुरोध करने की आवश्यकता है, उदाहरण के लिए, हमारे स्रोत से तालिकाओं की संख्या और नाम। हमारे मामले में, हम पहले से जानते हैं कि हम क्या लागू करना चाहते हैं:

  @Override public void getMetadata(MetadataFactory metadataFactory, WSConnection conn) throws TranslatorException { Table table = metadataFactory.addTable("habr"); metadataFactory.addColumn("login", DefaultDataTypes.STRING, table); metadataFactory.addColumn("karma", DefaultDataTypes.FLOAT, table); metadataFactory.addColumn("rating", DefaultDataTypes.FLOAT, table); metadataFactory.addColumn("ratingposition", DefaultDataTypes.LONG, table); Procedure proc = metadataFactory.addProcedure("getHabr"); metadataFactory.addProcedureParameter("username", TypeFacility.RUNTIME_NAMES.STRING, Type.In, proc); metadataFactory.addProcedureParameter("ratingposition", TypeFacility.RUNTIME_NAMES.LONG, Type.ReturnValue, proc); metadataFactory.addProcedureParameter("rating", TypeFacility.RUNTIME_NAMES.FLOAT, Type.ReturnValue, proc); metadataFactory.addProcedureParameter("karma", TypeFacility.RUNTIME_NAMES.FLOAT, Type.ReturnValue, proc); metadataFactory.addProcedureParameter("login", TypeFacility.RUNTIME_NAMES.STRING, Type.ReturnValue, proc); } 

हमने चार फ़ील्ड के साथ एक तालिका और एक पैरामीटर और चार रिटर्न मान के साथ एक प्रक्रिया का वर्णन किया। क्योंकि हम तालिका में पैरामीटर पारित नहीं कर सकते, तालिका defaultUser डेटा defaultUser - वह पैरामीटर जिसे हमने कॉन्फ़िगरेशन के दौरान अनुवादक को सौंपा था। प्रक्रिया के साथ सब कुछ सरल है, यहां हम एक पैरामीटर पास कर सकते हैं और प्रतिक्रिया में कई मान प्राप्त कर सकते हैं। मैं कोष्ठक में ध्यान देता हूं कि प्रक्रियाएं न केवल निश्चित मानों की एक निश्चित संख्या लौटा सकती हैं, बल्कि एक पूरी तालिका भी, जैसे कि ResultSetExecution : इसके लिए, मापदंडों का वर्णन करते समय, आपको Type.Result प्रकार का उपयोग करने की आवश्यकता है, और हैंडलर में next() विधि भी लागू करें।

संचालकों

हमारी प्रक्रिया की कॉल और प्रश्नों को हमारी टेबल पर हैंडल करने के लिए, हमें हैंडलर प्रदान करना होगा। उदाहरण के लिए, इस तरह से।

  public ResultSetExecution createResultSetExecution(QueryExpression command, ExecutionContext executionContext, RuntimeMetadata metadata, WSConnection connection) throws TranslatorException { return new HabrResultSetExecution((Select) command, connection); } public ProcedureExecution createProcedureExecution(Call command, ExecutionContext executionContext, RuntimeMetadata metadata, WSConnection connection) throws TranslatorException { return new HabrProcedureExecution(command, connection); } 

अगर हमारे पास कई टेबल या प्रक्रियाएं हैं और अलग-अलग लोगों के लिए अलग-अलग हैंडलर उपलब्ध कराना चाहते हैं, तो हम इन तरीकों से जाँच कर सकते हैं:

  public ResultSetExecution createResultSetExecution(QueryExpression command, ExecutionContext executionContext, RuntimeMetadata metadata, WSConnection connection) throws TranslatorException { String tableName = ((NamedTable) command.getProjectedQuery().getFrom().get(0)). getMetadataObject().getName(); if ("habr".equalsIgnoreCase(tableName)) return new HabrResultSetExecution((Select) command, connection); if ("hrenabr".equalsIgnoreCase(tableName)) return new HrenabrResultSetExecution((Select) command, connection); return null; } public ProcedureExecution createProcedureExecution(Call command, ExecutionContext executionContext, RuntimeMetadata metadata, WSConnection connection) throws TranslatorException { if ("getHabr".equalsIgnoreCase(command.getProcedureName())) return new HabrProcedureExecution(command, connection); if ("getHrenabr".equalsIgnoreCase(command.getProcedureName())) return new HrenabrProcedureExecution(command, connection); return null; } 

लेकिन हमारे अनुवादक में हम ऐसा नहीं करेंगे: कोई जरूरत नहीं है।

अरे हां ... थोड़ा स्ट्रीट मैजिक

एक चौकस पाठक ने शायद यह देखा कि अभी तक हमने importer.convertToUppercase उपयोग नहीं किया है। कॉन्फ़िगरेशन में निर्दिष्ट किए गए मॉडल संपत्ति का उपयोग करें। Teiid कोड इस अच्छी सुविधा का उपयोग करता है, हम इसका भी उपयोग करते हैं:

 [..] private boolean convertToUppercase; public boolean isConvertToUppercase() { return convertToUppercase; } public void setConvertToUppercase(boolean convertToUppercase) { this.convertToUppercase = convertToUppercase; } [..] @Override public void getMetadata(MetadataFactory metadataFactory, WSConnection conn) throws TranslatorException { [..] PropertiesUtils.setBeanProperties(this, metadataFactory.getImportProperties(), "importer"); } 

जैसा कि आप आसानी से कोड द्वारा अनुमान लगा सकते हैं, PropertiesUtils.setBeanProperties विधि metadataFactory.getImportProperties() MetadataFactory स्थानांतरित की गई गुणों को उपसर्ग कर सकती है और मॉडल के कॉन्फ़िगरेशन से metadataFactory.getImportProperties() माध्यम से उपलब्ध हो सकती है, और सामान्य रूप से गुणों के लिए खाता प्रकार रूपांतरण और जाँच में निर्दिष्ट POJO के साथ उन्हें भरें। इस प्रकार हमें मुफ्त में कोड के लिए कॉन्फ़िगरेशन पैरामीटर पास करने का एक सुविधाजनक तरीका मिलता है।

ResultSetExecution

इसके साथ शुरू करने के लिए, हम एक सरल विधि लिखेंगे जो इनपुट डेटा को पार्स करेगी और आउटपुट के लिए एक तालिका पंक्ति HabrExecutionFactory और इसे हमारे HabrExecutionFactory वर्ग में जोड़ HabrExecutionFactory ।
यह हमारी convertToUppercase प्रॉपर्टी के मूल्य को भी ध्यान में convertToUppercase है और यदि true सेट किया जाता true , तो लॉगिन अपरकेस अक्षरों में बदल जाता है।

  protected List<Object> extractResult(DataSource dataSource) throws TranslatorException { List<Object> results = new ArrayList<Object>(); try { DocumentBuilderFactory xmlFact = DocumentBuilderFactory.newInstance(); DocumentBuilder builder; builder = xmlFact.newDocumentBuilder(); Document doc = builder.parse(dataSource.getInputStream()); dataSource.getInputStream().close(); final XPath xpath = XPathFactory.newInstance().newXPath(); Node node = (Node) xpath.compile("/habrauser/login").evaluate(doc, XPathConstants.NODE); String login = node.getTextContent(); if (convertToUppercase) login = login.toUpperCase(); results.add(login); node = (Node) xpath.compile("/habrauser/karma").evaluate(doc, XPathConstants.NODE); results.add(Float.valueOf(node.getTextContent())); node = (Node) xpath.compile("/habrauser/rating").evaluate(doc, XPathConstants.NODE); results.add(Float.valueOf(node.getTextContent())); node = (Node) xpath.compile("/habrauser/ratingPosition").evaluate(doc, XPathConstants.NODE); results.add(Long.valueOf(node.getTextContent())); } catch (Exception e) { throw new TranslatorException(e); } return results; } 

अब आप HabrResultSetExecution वर्ग लिख सकते हैं:

  public class HabrResultSetExecution implements ResultSetExecution { private final WSConnection conn; private boolean closed; private DataSource dataSource; public HabrResultSetExecution(Select query, WSConnection conn) { this.conn = conn; } @Override public void execute() throws TranslatorException { closed = false; try { Dispatch<DataSource> dispatch = conn.createDispatch(HTTPBinding.HTTP_BINDING, defaultUser, DataSource.class, Mode.MESSAGE); dispatch.getRequestContext().put(MessageContext.HTTP_REQUEST_METHOD, "GET"); dataSource = dispatch.invoke(null); } catch (Exception e) { throw new TranslatorException(e); } } @Override public List<?> next() throws TranslatorException, DataNotAvailableException { if (closed) return null; closed = true; return extractResult(dataSource); } @Override public void close() { closed = true; } @Override public void cancel() throws TranslatorException { closed = true; } } 

अनुरोध को निष्पादित करने के लिए सिस्टम द्वारा execute() विधि कहा जाता है। हमारे कार्यान्वयन में, वह उसे दिए गए कनेक्शन का उपयोग करके सेवा के लिए एक अनुरोध पूरा करता है, और क्षेत्र में डेटा स्रोत उदाहरण को याद करता है। उसके बाद, सिस्टम next() विधि को तब तक कॉल करता है जब तक कि वह null । पहली कॉल में, विधि संग्रहित DataSource को extractResult() विधि से extractResult() करती है, जो सभी काम करती है और एक डेटा पंक्ति भी बनाती है: List<?> , जिनमें से प्रत्येक डेटाबेस पंक्ति के क्षेत्र से मेल खाती है। क्योंकि हमारे पास डेटा की केवल एक पंक्ति है, दूसरी और बाद की कॉल पर हम null ।

ProcedureExecution

यह वर्ग समान तरीके से काम करता है। केवल दो अंतर हैं:

• execute() विधि सेवा को कॉल करने के लिए प्रक्रिया पैरामीटर में पारित उपयोगकर्ता नाम का उपयोग करती है
• next() विधि के बजाय, डेटा को सिस्टम द्वारा getOutputParameterValues() विधि (जिसे प्रति कॉल केवल एक बार कहा जाता है getOutputParameterValues() माध्यम से चुना जाता है; next() विधि, जैसा कि मैंने पहले उल्लेख किया है, कहा जा सकता है कि क्या प्रक्रिया परिणाम सेट कर सकती है

  public class HabrProcedureExecution implements ProcedureExecution { private final Call procedure; private final WSConnection conn; private DataSource dataSource; public HabrProcedureExecution(Call procedure, WSConnection conn) { this.procedure = procedure; this.conn = conn; } @Override public void execute() throws TranslatorException { List<Argument> arguments = this.procedure.getArguments(); String username = (String) arguments.get(0).getArgumentValue().getValue(); try { Dispatch<DataSource> dispatch = conn.createDispatch(HTTPBinding.HTTP_BINDING, username, DataSource.class, Mode.MESSAGE); dispatch.getRequestContext().put(MessageContext.HTTP_REQUEST_METHOD, "GET"); dataSource = dispatch.invoke(null); } catch (Exception e) { throw new TranslatorException(e); } } @Override public List<?> getOutputParameterValues() throws TranslatorException { return extractResult(dataSource); } @Override public List<?> next() throws TranslatorException, DataNotAvailableException { return null; } @Override public void close() { } @Override public void cancel() throws TranslatorException { } } 

UpdateExecution

हम इस हैंडलर को अगले लेख में लागू कर सकते हैं, अगर दर्शक इस विषय में दिलचस्पी दिखाते हैं।

निष्कर्ष

तो हम इस बिंदु पर आ गए। अब हमारे पास करने के लिए केवल दो चीजें हैं:

1. इन अनुरोधों पर अमल करें:
   

    select * from habr.habr; select w.* from (call habr.getHabr(username=>'elfuegobiz')) w; 

2. कहो: यह अच्छा था =)