SPARQL HTML पृष्ठों की सामग्री पर सवाल उठाता है

नमस्ते
एक सम्मेलन में भाग लेने के बाद, मुझे एक विचार मिला, जिसके अवतार मैं प्रस्तुत करता हूं।
यह पोस्ट ग्रैब और rdflib पुस्तकालयों के साथ काम करने का एक उदाहरण प्रदान करता है, साथ ही वेब पृष्ठों की सामग्री के लिए SPARQL प्रश्नों को निष्पादित करने के लिए एक तैयार वर्ग भी प्रदान करता है।

यह इस उपकरण का उपयोग उन साइटों की जानकारी को चालू करने के लिए किया जाता है जो इसे संरचित रूप (rdf-triples, xml, json) में एक ऐसे रूप में प्रदान नहीं करते हैं जो "मशीनों" के लिए समझ में आता है।


Html सामग्री में SPARQL प्रश्नों को करने के लिए, आपको एक स्थानीय rdf रिपॉजिटरी बनाने की आवश्यकता है, और इसे html पेज से प्राप्त जानकारी को हड़पने के उपयोग से भरें।

शुरू करने के लिए, हम सभी आवश्यक पुस्तकालयों को आयात करते हैं, और SPARQL प्लगइन के उपयोग को भी पंजीकृत करते हैं।

# -*- coding: utf-8 -*- import grab import rdflib from rdflib import * from rdflib import plugin plugin.register( 'sparql', rdflib.query.Processor, 'rdfextras.sparql.processor', 'Processor') plugin.register( 'sparql', rdflib.query.Result, 'rdfextras.sparql.query', 'SPARQLQueryResult') 

हमारी कक्षा को परिभाषित करें, और इसके लिए एक निर्माता का निर्माण करें।
डिजाइनर उस पृष्ठ के url को स्वीकार कर सकता है जिसे हल करने और रिपॉजिटरी में रखने की आवश्यकता है, और यह नाम स्थान की परिभाषा के गैर-मानक स्थान को भी निर्धारित कर सकता है।

 class SQtHD(): ''' sparql query to html documents ''' def __init__(self,url=None,htmlNamespace='http://localhost/rdf/html#'): ''' Constructor ''' self.__grab__=grab.Grab()#  self.__storage__=Graph()#  self.__namespace__=Namespace(htmlNamespace)#   self.__storage__.bind('html', URIRef(htmlNamespace))#     self.__initnamespace__=dict(self.__storage__.namespace_manager.namespaces()) if url:# ,       . self.__store__(url) 

अगला, आपको पृष्ठ की सामग्री के साथ भंडार को भरने के लिए एक उपयोगिता फ़ंक्शन को परिभाषित करने की आवश्यकता है।

  def __store__(self,url): self.__storage__.remove((None,None,None))#  self.__grab__.go(url)#      grab root=self.__grab__.tree.getroottree().getroot() self.__parse__(root)#  . 

निम्नलिखित वस्तु जानकारी स्थानीय भंडारण में संग्रहीत है:

• तत्व के प्रकार के बारे में जानकारी (जो html टैग)
• जनक जानकारी
• भाइयों के संबंध में तत्व की स्थिति पर जानकारी
• तत्व नेस्टिंग जानकारी
• तत्व में निहित परीक्षण
• बच्चों की संख्या पर जानकारी
• बाल तत्वों का संदर्भ
• वस्तु के लिए गुण मान

अगली उपयोगिता फ़ंक्शन पुनरावर्ती रूप से आवश्यक जानकारी एकत्र करने और इसे भंडार में जोड़ने वाले तत्वों के पेड़ से गुजरती है।

  def __parse__(self,element,parent=None,children_position=None,children_level=0): current_element=BNode() children_elements=element.getchildren() if str(element.tag)=='<built-in function Comment>': self.__storage__.add((current_element, RDF.type, self.__namespace__['comment'])) else: self.__storage__.add((current_element, RDF.type, self.__namespace__[element.tag])) if not parent==None: self.__storage__.add((current_element,self.__namespace__['parent'],parent)) self.__storage__.add((parent,self.__namespace__['children'], current_element)) self.__storage__.add((current_element,self.__namespace__['children_position'], Literal(children_position))) self.__storage__.add((current_element,self.__namespace__['children_level'], Literal(children_level))) if element.text and len(element.text.strip())>0: self.__storage__.add((current_element,self.__namespace__['text'], Literal(element.text.strip()))) if element.text_content() and len(element.text_content().strip())>0: self.__storage__.add((current_element,self.__namespace__['text_content'], Literal(element.text_content().strip()))) self.__storage__.add((current_element,self.__namespace__['children_count'], Literal(len(children_elements)))) for i in element.attrib: self.__storage__.add((current_element,self.__namespace__[i], Literal(element.attrib[i]))) for i in range(len(children_elements)): self.__parse__(children_elements[i],current_element,i,children_level+1) 

यह फ़ंक्शन स्थानीय संग्रहण में SPARQL क्वेरी निष्पादित करता है।

  def executeQuery(self,query,url=None): ''' execute query on storadge ''' if url:# ,       . self.__store__(url) return self.__storage__.query(query, initNs=self.__initnamespace__)#   . 

यह फ़ंक्शन निर्दिष्ट पृष्ठ की सामग्री के साथ भंडार भरता है।

  def loadStoradge(self,url): ''' load and parse html page to local rdf storadge ''' self.__store__(url) 

और अंत में, कुछ सरल क्वेरी उदाहरण।

 if __name__ == "__main__": endPoint = SQtHD()#   SQtHD endPoint.loadStoradge('http://habrahabr.ru')#    print "All sources for images given by tag <img>:"#     q=endPoint.executeQuery('SELECT DISTINCT ?src { ?a rdf:type html:img. ?a html:src ?src. }') for row in q.result: print row print print "All link urls:"#     q=endPoint.executeQuery('SELECT DISTINCT ?href { ?a rdf:type html:a. ?a html:href ?href. }') for row in q.result: print row print print "All class names for elements:"#     q=endPoint.executeQuery('SELECT DISTINCT ?class { ?a html:class ?class. }') for row in q.result: print row print ''' print "All scripts (without loaded by src):"#   . q=endPoint.executeQuery('SELECT ?text { ?a rdf:type html:script. ?a html:text ?text. }') for row in q.result: print row print''' print "All script srcs:"#   . q=endPoint.executeQuery('SELECT ?src { ?a rdf:type html:script. ?a html:src ?src. }') for row in q.result: print row print 

सभी स्क्रिप्ट लिंक प्रदर्शित करने के अनुरोध को निष्पादित करने का परिणाम:

 All script srcs: /javascripts/1341931979/all.js /javascripts/1341931979/_parts/posts.js /javascripts/1341931979/_parts/to_top.js /javascripts/1341931979/_parts/shortcuts.js /javascripts/1341931979/libs/jquery.form.js /javascripts/1341931979/facebook_reader.js /js/1341931979/adriver.core.2.js /javascripts/1341931979/libs/highlight.js /javascripts/1341931979/hubs/all.js /javascripts/1341931979/posts/all.js 

इस प्रकार, भंडार को भरने के 3 तरीके हैं:

1. क्लास इनिशियलाइज़ेशन में
2. LoadStoradge फ़ंक्शन के माध्यम से
3. हर भंडारण अनुरोध के लिए

GIST प्रोजेक्ट में xml का उपयोग करके एक नाम स्थान परिभाषा भी शामिल है। नाम स्थान यह निर्धारित करता है कि एक टैग क्या है, आवश्यक गुणों और संबंधों को देता है, और html 4 टैग को भी परिभाषित करता है।
अनुशंसित पढ़ने:
टोबी सेगरान, कॉलिन इवांस, जेमी टेलर द्वारा "सिमेंटिक वेब प्रोग्रामिंग"