हमने अपना माइक्रो-मार्किंग सत्यापनकर्ता कैसे और क्यों बनाया

हमने हाल ही में अपने शब्दार्थ मार्कअप सत्यापनकर्ता के बारे में लिखा है । और आज हम आपको यह बताना चाहते हैं कि यह क्यों और क्यों बनाया गया था, विकास के दौरान क्या कठिनाइयाँ आईं और हमने उनसे कैसे निपटा। बेशक, हमने ऐसा क्यों किया, इसका एक कारण यह था कि हम रोबोट को वेबमास्टर की त्रुटियों से बचाने के लिए चाहते थे। लेकिन हमें न केवल इसके द्वारा निर्देशित किया गया था।



धीरे-धीरे लेकिन निश्चित रूप से, सिमेंटिक मार्कअप लोकप्रियता प्राप्त कर रहा है। दस साल पहले ( मई 2001 में ) "अर्थ वेब" शब्द पहली बार पेश किया गया था। 2004 में, आरडीएफ का पहला उल्लेख एक प्रारूप में दिखाई दिया, और माइक्रोफ़ॉर्मेट्स उसी समय के आसपास विकसित होने लगे। जून 2011 में , schema.org मानक शुरू किया गया था। अब सिमेंटिक माइक्रो-मार्कअप यैंडेक्स और अन्य प्रमुख विश्व खोज इंजनों द्वारा समर्थित है।

हालांकि, वेबमास्टर्स अक्सर इस तथ्य का सामना करते हैं कि HTML सत्यापनकर्ता बहुत अधिक त्रुटियां पैदा करते हैं। तथ्य यह है कि उनमें से ज्यादातर माइक्रो-मार्किंग का समर्थन नहीं करते हैं। उदाहरण के लिए, validator.w3.org परीक्षण मोड में HTML5 का समर्थन करता है और माइक्रोडाटा को एक त्रुटि मानता है:



सिमेंटिक मार्कअप की जाँच के लिए कई उपकरण हैं। उनमें से कुछ सार्वभौमिक हैं (उदाहरण के लिए, http://validator.nu/ ), जबकि अन्य एक विशिष्ट प्रकार के मार्कअप की जांच करते हैं। RDFa सत्यापनकर्ता ( checkrdfa , w3.org/RDF/Validator/ , rdfabout.com और अन्य), Facebook के OpenGraph सत्यापनकर्ता, माइक्रोफ़ॉर्मेट्स सत्यापनकर्ता (उदाहरण के लिए, hcp सत्यापनकर्ता ) हैं। मार्कअप का उपयोग करने वाले खोज इंजन अपने सत्यापनकर्ताओं की पेशकश करते हैं।

जब Yandex ने अपनी सेवाओं में microformats और schema.org का उपयोग करना शुरू किया, तो यह पता चला कि प्रत्येक मार्कअप उपभोक्ता के पास इसके उपयोग की अपनी विशिष्टताओं और अपने स्वयं के एक्सटेंशन का सेट है। इसलिए, सत्यापनकर्ता वेबमास्टर के जीवन को बहुत आसान बनाता है। इसके अलावा, हम न केवल मानक में त्रुटियों के बारे में चेतावनी देते हैं, बल्कि इसके बारे में भी कि मार्कअप में क्या बदलाव करने की आवश्यकता है ताकि हम अपनी सेवाओं में डेटा का उपयोग कर सकें।

एक सार्वभौमिक अर्थ मार्कअप सत्यापनकर्ता का विकास

अब सत्यापनकर्ता सभी लोकप्रिय प्रकार के सिमेंटिक माइक्रो-मार्किंग (माइक्रोफ़ॉर्मेट्स, माइक्रोडाटा, आरडीएफए) और लोकप्रिय शब्दकोशों ( schema.org , OpenGraph ) की प्रक्रिया करता है। ये प्रारूप पृष्ठ और आंतरिक संरचना पर एम्बेड करने के तर्क द्वारा आपस में भिन्न होते हैं।

माइक्रोफ़ॉर्मेट्स को पार्स करने के लिए सबसे मुश्किल है। जाहिर है, उनके विकास के दौरान, डेटा निष्कर्षण में आसानी के बजाय, पेज पर एम्बेड करने की सुविधा पर अधिक ध्यान दिया गया था।

माइक्रोफ़ॉर्मेट्स को सीएसएस कक्षाओं के रूप में एम्बेडेड किया गया है, और उन्हें एक पृष्ठ पर खोजने के लिए, आपको उनकी संरचना को समझने की आवश्यकता है। इसके अलावा, वे एक दूसरे में निहित हो सकते हैं। या एक माइक्रोफ़ॉर्मेट दूसरे का क्षेत्र हो सकता है। कुछ मामलों में कुछ माइक्रोफ़ॉर्मेट्स स्वतंत्र हो सकते हैं, और अन्य में - अन्य प्रारूपों के क्षेत्र। उदाहरण के लिए, hCard का उपयोग अपने दम पर और एक क्षेत्र के रूप में किया जा सकता है। खुद से दूसरे लोग कभी नहीं मिलते (उदाहरण के लिए hCard में adr फील्ड)।

हमारे माइक्रो-लेआउट सत्यापनकर्ता के पास एक छोटा ढांचा है जो विभिन्न माइक्रो-लेआउट स्वरूपों को पार्स करने के तर्क को समझता है। उसके लिए धन्यवाद, हम अलग से नए क्षेत्र या यहां तक ​​कि पूरे प्रकार के मार्कअप जोड़ सकते हैं।
आइए एक कोड टुकड़े के एक उदाहरण को देखें जो पार्स माइक्रोफ़ॉर्मेट को पार्स और सत्यापित करता है:

public class HRecipe extends Microformat { final private static HRecipe instance = new HRecipe("hrecipe", true); protected HRecipe(@NotNull final String name, final boolean root) { super(name, root); } /** *     . *    : * MFPropertySingular –      , * MFPropertyPlural –  , MFPropertyConcatenated –  * ,   . *         ,     . */ static { instance.addProperty(new MFPropertySingular("fn", TextProperty.getInstance())); instance.addProperty( new MFPropertyPlural("ingredient", Ingredient.getInstance(), TextProperty.getInstance())); instance.addProperty(new MFPropertySingular("yield", TextProperty.getInstance())); instance.addProperty( new MFPropertySingular("instructions", Instructions.getInstance(), TextProperty.getInstance())); ... instance.addProperty(new MFPropertySingular("result-photo", URIProperty.getInstance())); instance.addProperty(new MFPropertySingular("summary", TextProperty.getInstance())); } ... } 

जब पेड़ में माइक्रोफ़ॉर्मेट्स पार्स करते हैं, तो अंक जो रूट हो सकते हैं, उन्हें हाइलाइट किया जाता है। फिर सभी तत्व हैं जो खेतों (एडीआर, एफएन, आदि) के रूप में उपयोग किए जा सकते हैं। उसके बाद, नेस्टेड कार्ड का प्रारूप साफ हो जाता है। तब प्रारूप पार्सिंग शुरू होता है। यदि फ़ील्ड जो माइक्रोफ़ॉर्मेट्स भी हैं, तो उनका पता लगाया जाता है, उन्हें पुनरावर्ती रूप से पार्स किया जाता है। आप देख सकते हैं कि यह कैसे एक उदाहरण के रूप में hCard microformat का उपयोग करता है:

 <div class="vcard"> <!--  fn org url      --> <a class="fn org url" href=" http://www.commerce.net/"> CommerceNet </a> <!--  adr   (       )      : street-address, locality  . --> <div class="adr"> <span class="type">Work</span>: <div class="street-address">169 University Avenue</div> <span class="locality">Palo Alto</span>, <abbr class="region" title="California">CA</abbr> <span class="postal-code">94301</span> <div class="country-name">USA</div> </div> <!--  tel       type --> <div class="tel"> <span class="type">Work</span> +1-650-289-4040 </div> <div class="tel"> <span class="type">Fax</span> +1-650-289-4041 </div> <div>Email: <span class="email">info@commerce.net</span> </div> <!--         ,    .   agent    hCard--> <div class="agent vcard">Contact person: <a class="fn n email" href=" mailto:johndow@commerce.net">John Dow</a> </div> <!--    hCard    ,        --> <div class="vcard">See also: <a class="fn org url" href=" http://www.yellowpages.com/ATT">AT&T</a> </div> </div> 

सभी माइक्रोफ़ॉर्मेट्स उनकी आंतरिक संरचना और खेतों की संरचना में भिन्न होते हैं। उदाहरण के लिए, hResume प्रारूप दिलचस्प है (या बल्कि, इस प्रारूप का प्रारूप - यह, कई अन्य लोगों की तरह, अभी तक पूर्ण संस्करण नहीं है)। इस प्रारूप में, अनुभव क्षेत्र एक साथ hCalendar (समय अवधि को इंगित करने के लिए) और hCard (उस संगठन का वर्णन करने के लिए निर्धारित किया जाता है जिसमें व्यक्ति ने काम किया है)। इस प्रकार, ऐसे क्षेत्र हैं जो एक ही समय में दो कार्ड पर लागू होते हैं। अन्य माइक्रोफ़ॉर्मेट्स को पार्स करते समय, हमने प्रत्येक फ़ील्ड को एक कार्ड में सौंपा। इससे हमें माइक्रोफ़ॉर्मेट्स को एक-दूसरे में मनमाने ढंग से अलग होने में मदद मिली। पार्सर के तर्क को तोड़ने के बिना एक फिर से शुरू करने का तरीका जानने के लिए, हमने अपने कृत्रिम डेटा प्रकार को फ्रेमवर्क में जोड़ा - उन्नत hCalendar, जिसमें हम कार्य अनुभव से संबंधित सभी क्षेत्रों को जोड़ते हैं। इस प्रकार, हम विनिर्देशों के अनुसार इस माइक्रोफ़ॉर्मेट को पार्स नहीं करते हैं, लेकिन सही ढंग से।

 <div class="hresume"> <div class=" position first experience vevent vcard summary-current" style="display:block"> <span class="n fn" id="name"> <span class="full-name"><span class="given-name">Peter</span> <span class="family-name">Savelyev</span></span> </span> <div class="postitle"> <h4><strong> <a class="company-profile" href="/company/10718?trk=pro_other_cmpy"><span class="org summary">Yandex</span></a> </strong> </h4> </div> <p class="period"> <abbr class="dtstart" title="2011-07-01"> 2011 .</abbr> <abbr class="dtstamp" title="2012-12-11"> </abbr> <span class="duration"><span class="value-title" title="P1Y6M"> </span>(1  6 )</span> </p> <p class="description current-position">structured information extraction using semantic technologies</p> </div> </div> 

पार्सर इस उदाहरण को इस प्रकार संसाधित करेगा:

  hresume experience vevent vcard fn = Peter Savelyev n family-name = Savelyev given-name = Peter org = Yandex dtstamp = 2012-12-11 dtstart = 2011-07-01 duration = P1Y6M summary = Yandex description = structured information extraction using semantic technologies 

कई माइक्रोफ़ॉर्मेट्स के पास तैयार किए गए विनिर्देश नहीं हैं, हालांकि वे पहले से ही सक्रिय रूप से उपयोग किए जाते हैं। अब केवल hCalendar, hCard और कई rel निश्चित रूप से परिभाषित हैं। बाकी तत्परता की अलग-अलग डिग्री के विनिर्देशों के प्रारूप संस्करण हैं: कुछ लगभग तैयार हैं (उदाहरण के लिए, hRecipe), अन्य बिल्कुल सही हैं और अनिश्चितताओं की संख्या है (उदाहरण के लिए, hListing )। कई माइक्रोफ़ॉर्मेट्स केवल उदाहरणों द्वारा निर्धारित किए जाते हैं, इसलिए विवादित स्थितियों में एक सूचित निर्णय लेना मुश्किल हो सकता है।

hListing माल और सेवाओं के विवरण के लिए एक माइक्रोफ़ॉर्मेट है। उसके लिए, लिस्टिंग एक्शन फील्ड का कोई औपचारिक विवरण नहीं है जो सेवा के प्रकार (बिक्री, खरीद) को चिह्नित करता है, इसलिए यहां वेबमास्टरों को उनके विवेक पर छोड़ दिया जाता है। उदाहरण के लिए, इस तरह:

 <div class="hlisting"> ... <span class="offer rent"></span> ... </div>   <div class='hlisting offer-rent'> ... </div> 

हमने विनिर्देशन के अधिक पूर्ण संस्करण के जारी होने तक इस प्रारूप के लिए समर्थन को स्थगित कर दिया।

Schema.org शब्दकोश भी हमेशा साथ काम करने के लिए सुविधाजनक नहीं है। वास्तविक दुनिया में, आदर्श परिस्थितियों में माइक्रो-मार्किंग अलग तरीके से काम करता है।

उदाहरण के लिए, लिंक के लिए केवल url को चिह्नित किया जा सकता है। हालाँकि, लिंक पाठ में ही उपयोगी जानकारी हो सकती है। इसलिए, हमारा पार्सर अब न केवल लिंक बचाता है - जैसा कि विनिर्देश के अनुसार किया जाना चाहिए - लेकिन यह भी पाठ:

 <a onclick="(new Image()).src='/rg/title-overview/director-1/images/b.gif?link=%2Fname%2Fnm0000487%2F';" href="/name/nm0000487/" itemprop="director">Ang Lee</a></div> 

यदि हम नियमों के अनुसार इस उदाहरण का विश्लेषण करते हैं, तो केवल "" / name / nm0000487 / "लिंक" निर्देशक "फ़ील्ड में स्थित होगा, लेकिन ज्यादातर मामलों में यह जानकारी पर्याप्त नहीं है। इसलिए, हमारा पार्सर डेटा को इस प्रकार निकालेगा:

 director href = /name/nm0000487/ text = Ang Lee 

किसी भी माइक्रो-मार्कअप को मान्य और उपयोग करते समय सबसे आम समस्या वेबमास्टर की त्रुटियां हैं। पृष्ठों में हमेशा सही मार्कअप नहीं होता है, कभी-कभी यह पृष्ठ पर गलत तरीके से एम्बेड किया जाता है, आदि। सत्यापनकर्ता हमेशा एक त्रुटि के बारे में चेतावनी देता है (या बस यह कि यांडेक्स सेवाओं में उपयोग के लिए पर्याप्त डेटा नहीं है)। हम यथासंभव संभावित और स्पष्ट त्रुटि चेतावनियाँ बनाने का प्रयास करते हैं।

उसी समय, हम डेटा का उपयोग अधिकतम करने का प्रयास करते हैं, भले ही उनमें त्रुटियां हों। इसलिए, कभी-कभी हम एक त्रुटि के बारे में चेतावनी देते हैं, लेकिन हमारे पार्सर सफलतापूर्वक गलत तरीके से चिह्नित डेटा को पुनः प्राप्त करते हैं।

लेकिन आरडीएफए प्रारूप के साथ कोई समस्या नहीं थी। हालांकि एक अति सूक्ष्म अंतर है। तथ्य यह है कि आरडीएफए संस्थाओं को एक-दूसरे को संदर्भित करने की अनुमति देता है, अर्थात, यह लूप बनाने के लिए संभव बनाता है। हालांकि, अगर एक इकाई के मूल्य में दूसरे के लिए एक लिंक है, तो हम इसे एक लिंक के रूप में मानते हैं, और इकाई के विवरण को स्थानापन्न नहीं करते हैं। यह समाधान आधिकारिक विनिर्देश का खंडन नहीं करता है और संभावित समस्याओं को रोकता है।

विभिन्न शब्दकोशों के लिए धन्यवाद, RDFa का उपयोग करके आप विभिन्न प्रकार के डेटा को चिह्नित कर सकते हैं। हमारे सत्यापनकर्ता पहले से ही कुछ शब्दकोशों को जानते हैं, अन्य केवल योजनाओं में हैं। अब सबसे लोकप्रिय शब्दकोशों में से एक ओपनग्राफ है । उसके लिए, परीक्षण के परिणामों में, हमारे पास एक अलग उपसर्ग है - "ओग"।

परिणाम

अब हमारा सत्यापनकर्ता सभी लोकप्रिय प्रकार के माइक्रो-मार्किंग का समर्थन करता है। यहां तक ​​कि वे जो अभी तक यैंडेक्स सेवाओं में उपयोग नहीं किए जाते हैं। हम उन वेबमास्टरों के लिए जीवन आसान बनाना चाहते हैं जो सिमेंटिक वेब में रुचि रखते हैं और त्रुटियों से निपटने में उनकी मदद करते हैं। ऐसा करने के लिए, हमने, विशेष रूप से, सत्यापनकर्ता पर एक सहायता अनुभाग , स्कीमा ओआरजी का एक परिचय, और माइक्रोफ़ेट्स का उपयोग करने में मदद करने के लिए लिखा।

कुछ आंकड़े

आधे से अधिक सत्यापनकर्ता अनुरोधों में स्कीमाओ मार्कअप शामिल हैं। उसी समय, लगभग 9% में, सत्यापनकर्ता को त्रुटियां मिलती हैं।

HCard माइक्रोफ़ॉर्मेट वाले अनुरोध लगभग 20% हैं, और लगभग 10% मामलों में त्रुटियों का पता लगाया जाता है।

लगभग 4% अनुरोध RDFa हैं , और लगभग 10% उदाहरणों में त्रुटियां हैं।

ओपनग्राफ केवल 1.5% अनुरोध करता है, लेकिन इस प्रारूप में व्यावहारिक रूप से कोई त्रुटि नहीं है। केवल 1% मामलों में, सत्यापनकर्ता गलत मार्कअप की रिपोर्ट करता है। हालांकि, अगर आपको ओपनग्राफ वाले कोड की जाँच करते समय चेतावनी दिखाई दे तो आश्चर्यचकित न हों। तथ्य यह है कि यांडेक्स केवल ओगोर: वीडियो को स्वीकार करता है, जैसा कि सत्यापनकर्ता रिपोर्ट करता है, और यह इस मार्कअप के अन्य प्रकारों को भी जांच सकता है।

और लगभग 2% अनुरोध सत्यापनकर्ता के मुख्य पृष्ठ पर स्थित उदाहरणों का एक चेक हैं।

हम अपने लॉरेल पर आराम करने नहीं जा रहे हैं और सत्यापनकर्ता इंटरफ़ेस को और अधिक दृश्य और सरल बनाने की योजना बना रहे हैं। उदाहरण के लिए, यैंडेक्स सेवाओं की त्रुटियों और चेतावनियों से मानक से संबंधित अलग-अलग त्रुटियां और चेतावनी। और, ज़ाहिर है, हमारी सेवाओं में उपयोग करने के लिए सक्रिय रूप से संभव के रूप में माइक्रो-मार्किंग का उपयोग करके प्राप्त डेटा। निकट भविष्य में, हम आपको माइक्रो-मार्किंग के बारे में उपयोगी जानकारी के बारे में बताना जारी रखेंगे, कि इसे कैसे एम्बेड करना अधिक सुविधाजनक है और इसका उपयोग करना कहां बेहतर है। और अगर आप कुछ विशिष्ट जानना चाहते हैं - तो टिप्पणियों में इसके बारे में लिखें, और हम निम्नलिखित पोस्ट में आपके सवालों का जवाब देने की कोशिश करेंगे।