AJAX साइटों को अनुक्रमित करना

Joosy , AJAX के विकास के साथ-साथ - लेकिन जैसी कि उम्मीद थी - उन सभी परियोजनाओं पर पानी फेर दिया जिसके लिए हम काम करते हैं। प्रतिमान एक को छोड़कर सभी पहलुओं में बेहद सफल साबित हुआ है। वही क्लासिक: “AJAX अनुक्रमण? Pff ... "। जबकि हम ऑनलाइन बैंकिंग करते हैं, यह हमें पूरी तरह से सूट करता है। लेकिन खुले वेब-संसाधनों के लिए अपने आप को इस उत्तम आनंद से कैसे इनकार नहीं किया जाए?

और यहां बताया गया है: Google AJAX क्रॉलिंग Google का मानक है जो आपको Google को एक विशेष तरीके (#!) में AJAX पते बनाने के बजाय किसी अन्य जादुई पते के लिए अनुरोध करने के लिए बाध्य करने की अनुमति देता है। जिससे Google इस पृष्ठ के HTML डंप की प्रतीक्षा करेगा, जिसे वह पूरी तरह से चबाता है। यह कैसे काम करता है, इसके बारे में पहले से ही लोगों ने एक लेख लिखा है। खैर, यह सीखना हमारे लिए है कि इस डंप को प्रभावी ढंग से कैसे बनाया जाए। हां, ताकि आवेदन के कोड के साथ हस्तक्षेप किए बिना।


हैशबैंग एक छोटा रूबी प्रॉक्सी सर्वर है जो रैक प्रोटोकॉल का उपयोग करता है। उत्तरार्द्ध का मतलब है कि इसे लेने के लिए रूबी और / या रेल के साथ काम करने वाले किसी भी वेब सर्वर को करना होगा। और जो लोग स्वयं रेल का उपयोग करते हैं, उनके लिए हमने कुछ विशेष बन्स तैयार किए हैं। लेकिन पहले बातें पहले।

सामान्य उपकरण

आरंभीकरण के बाद, हैशबंग अपने आंत्रों में एक WebKit ब्राउज़र उदाहरण बनाता है। निर्दिष्ट URL के साथ एक अनुरोध लॉन्च किए जाने के बाद, यह वांछित पता खोलता है, एक विशेष जावास्क्रिप्ट घटना की प्रतीक्षा करता है, और जिस समय यह घटना हुई थी, तब HTML कोड लौटाता है।

इसका मतलब यह है कि आपको वर्तमान एप्लिकेशन में परिवर्तन करने की आवश्यकता है

Sunscraper.finish() 

जब जावास्क्रिप्ट द्वारा तैयार पृष्ठ को तैयार माना जा सकता है।

मुकाबला मोड में, यह इस तरह दिखेगा:

आंतरिक ब्राउज़र और प्रदर्शन के बारे में

हमने एक हेडलेस ब्राउज़र के संभावित कार्यान्वयन के साथ बहुत कुछ प्रयोग किया है। वटीर और विभिन्न मौजूदा क्यूटी बाइंडिंग की कोशिश की। कुछ भी अच्छा नहीं निकला। हताश होकर, हमने सिर्फ Qt-WebKit के लिए अपनी खुद की बाइंडिंग लिखी है, जो केवल एक घटना को ट्रैक करके HTML को वापस करना जानता है: Sunscraper । यह चमत्कार C / C ++ मिश्रण में लिखा गया है और FFI का उपयोग करते हुए रूबी से जुड़ता है। इसका मतलब है कि Sunscraper न केवल MRI पर, बल्कि JRuby / Rubinius पर भी काम करना चाहिए। दुर्भाग्य से, यह अभी भी उसी एफएफआई के कार्यान्वयन में बग के कारण रुबिनियस के साथ काम नहीं करता है।

चूँकि हम जो भी लॉन्च करते हैं वह WebKit इंजन ही है, इस समस्या को हल करने के लिए प्रदर्शन अधिकतम के करीब है। संग्रह प्रक्रिया के दौरान लाइव सर्वर से वास्तविक डेटा।

स्थापना से पहले

Sunscraper Qt का उपयोग करता है। इसलिए, आपको हैशबंग रत्न स्थापित करने के लिए निश्चित रूप से इसकी आवश्यकता होगी। यदि आप एक मैक का उपयोग कर रहे हैं, तो हम Homebrew की सलाह देते हैं: brew install qt । लिनक्स पर, आप किसी भी नए पैकेज को स्थापित कर सकते हैं।

रेलों पर विकास-मोड

यदि आप रेल पर विकसित नहीं कर रहे हैं, तो अगले पैराग्राफ पर जाने के लिए स्वतंत्र महसूस करें, जो हैशबैंग को लड़ाई में पेश करने के बारे में बात करेगा।

हैशबंग को एक रेल परियोजना में स्थापित करने के लिए, आपको निम्नलिखित कार्य करने होंगे:

1. gem hashbang को मणिफाइल में जोड़ें
2. rails g hashbang का उपयोग करके आधार एप्लिकेशन rails g hashbang

अब आपके रेल एप्लिकेशन के अंदर, हैशबैंग फ़ोल्डर में, हैशबैंग का ही मिनी-एप्लिकेशन है। और इसका मतलब है कि आपको "सेटअप और लॉन्च" में पहले पैराग्राफ को छोड़ना होगा।

विकास के माहौल में, हैशबैंग अपने मिडलवेयर को रेल्स डाउनलोड में सम्मिलित करता है, जो _escaped_fragment_ मैजिक टुकड़े युक्त सभी अनुरोधों को स्वीकार करता है और स्वचालित रूप से उन्हें संसाधित करता है। केवल एक समस्या है: वेब्रिक एक ही धागे पर चलता है। और जब से हैशबैंग "खुद" के लिए पूछता है, यह गतिरोध की ओर जाता है। इसलिए, स्थानीय रूप से वर्तमान एप्लिकेशन का परीक्षण करने के लिए, इसे rake hashbang:rails साथ rake hashbang:rails । यह कमांड आपके एप्लिकेशन को दो धाराओं में यूनिकॉर्न सर्वर के तहत लॉन्च करेगी। शुरू करने के बाद - localhost:3000/?_escaped_fragment_ - और HTML की जाँच करें। बस याद रखें कि आपको AJAX एप्लिकेशन में Sunscraper.finish() को कॉल करने की आवश्यकता Sunscraper.finish() ।

हैशबैंग को युद्ध मोड में चलाने के लिए, जहां यह / के माध्यम से चलता है? Url = http: // ..., rake hashbang:standalone उपयोग करें rake hashbang:standalone कमांड।

सेटअप और लॉन्च

यदि आप रेल का उपयोग नहीं करते हैं, तो मूल एप्लिकेशन को विशेष रिपॉजिटरी से लिया जा सकता है । आपको बस इसे कहीं पर रखना है, सुनिश्चित करें कि आपने रत्न बंडलर स्थापित किया है और आवेदन की जड़ में bundle install ।

उत्पन्न / कॉपी किए गए हैशबैंग एप्लिकेशन के अंदर config.rb फ़ाइल निहित है, जिसे प्रभावी कार्य के लिए संपादित किया जाना चाहिए। इसके केवल दो निर्देश हैं:

• url : नियमित अभिव्यक्ति जो अनुरोधित URL से मेल खाना चाहिए
• टाइमआउट : मिलीसेकंड में टाइमआउट जो हैशबैंग Sunscraper.finish () ईवेंट का इंतजार करेगा

मान लीजिए कि हम उस सेवा को शुरू करने के लिए यात्री मॉड्यूल का उपयोग करते हैं, जो Nginx के आधार पर रैक के साथ काम करता है। इस मामले में, सही संचालन के लिए, हमें निम्नलिखित हासिल करने की आवश्यकता है:

• हसबैंग एप्लिकेशन को एक विशेष आंतरिक पते पर काम करना चाहिए
• _Escaped_fragment_ वाले सभी अनुरोधों को इस एप्लिकेशन को अग्रेषित किया जाना चाहिए, और uri-escaped को url = .... पैरामीटर के लिए पूर्ण url के साथ अग्रेषित किया जाना चाहिए।
• हमें इस एप्लिकेशन के समानांतर संसाधनों की संख्या को सीमित करने की आवश्यकता है, क्योंकि यह संभावना नहीं है कि हमें एक सौ थ्रेड में अनुक्रमित किया जाएगा, और WebKit को संसाधन पसंद हैं।

यहाँ विन्यास फाइल है जिसका आप उपयोग कर सकते हैं: https://gist.github.com/2127685 । यह रालिस एप्लिकेशन में हैशबैंग का उपयोग करने का एक उदाहरण है।

ओह दुखद

दुर्भाग्य से, यह मानक हमारे मूल लिंगों, यैंडेक्स तक नहीं पहुंचा। यह Google द्वारा समर्थित है, यह बिंग (और इसलिए याहू) द्वारा समर्थित है। यहां तक ​​कि फेसबुक क्रॉलर भी इसका समर्थन करता है। लेकिन यांडेक्स - नहीं। इसका मतलब यह है कि हैशबैंग इंटरनेट के घरेलू क्षेत्र में आपकी अनुक्रमणिका में मदद नहीं करेगा। कम से कम अभी के लिए। हम यांडेक्स टीम के प्रति अच्छे की हिंसक किरणों को निर्देशित करते हैं और उनसे कामना करते हैं कि वे जल्दी से अपनी आँखों को वेब के इतने तेज़ी से विकसित हो रहे तकनीकी क्षेत्र में बदल दें :)।

निष्कर्ष में

इस तथ्य के बावजूद कि हम पहले से ही हैशबैंग का उपयोग लड़ाई में कर रहे हैं, हमने अभी तक सभी संभव कॉन्फ़िगरेशन पर इसका परीक्षण नहीं किया है। अगर आपको इसे असेम्बल करने या कॉन्फ़िगर करने में कोई समस्या है, तो हम हमेशा नए मुद्दों को जीथब पर देखकर खुश होते हैं ।

धन्यवाद :)।