लिनक्स के लिए Yandex.Disk क्लाइंट। ब्रैकट

आज हम लिनक्स के लिए लंबे समय से प्रतीक्षित Yandex.Disk ग्राहक प्रस्तुत करते हैं। यहां तक ​​कि "विशेष रूप से हबराब्र के लिए" भी कह सकते हैं, क्योंकि यहां डिस्क का एक भी उल्लेख लिनक्स के लिए क्लाइंट के बारे में सवालों के बिना पूरा नहीं हुआ था।

इसमें सभी बुनियादी कार्यक्षमता है जो क्लाइंट के पास ओएस एक्स और विंडोज के लिए है, और इससे भी अधिक (सिमिलिंक!), और एक विशेषता यह है कि यह कंसोल है।



यह कैसे कॉन्फ़िगर किया गया है, यह क्या कर सकता है, और यह कैसे काम करता है और इसमें क्या करना मुश्किल था, इसके बारे में नीचे पढ़ें।


आप इसे यहाँ स्थापित कर सकते हैं । पैकेज स्थापित करने के तुरंत बाद, यैंडेक्स-डिस्क कमांड टर्मिनल में दिखाई देगा, जिसके माध्यम से यैंडेक्स क्लाउड के साथ संचार जारी रहेगा। उसके बाद, आपको मैन्युअल रूप से सेटअप कमांड चलाने की आवश्यकता है।

कॉन्फ़िगरेशन विज़ार्ड आपको संवाद मोड में सिंक्रनाइज़ेशन के लिए एक फ़ोल्डर का चयन करने, सिस्टम स्टार्टअप पर ऑटोरन को सक्षम करने, प्रॉक्सी सर्वर के माध्यम से काम को कॉन्फ़िगर करने (जब तक कि आप इसका इस्तेमाल नहीं करते), और Yandex.Disk में लॉग इन करने की अनुमति देता है। मैन्युअल रूप से सेट करते समय, पहली चीज जो आपको करने की आवश्यकता है वह है लॉग इन। उसके बाद, होम निर्देशिका में स्थित .config फ़ोल्डर में एक कॉन्फ़िगरेशन बनाया जाएगा जिसमें आप सिंक्रनाइज़ेशन फ़ोल्डर में पथ को कॉन्फ़िगर कर सकते हैं (आप इसे मैन्युअल रूप से कंसोल में निर्दिष्ट कर सकते हैं), टोकन फ़ाइल का पथ निर्दिष्ट करें, उन फ़ोल्डरों को निर्दिष्ट करें जो सिंक्रनाइज़ नहीं होंगे और, और प्रॉक्सी सर्वर सेटिंग्स निर्धारित करें।

आदेशों

तैयारी का काम खत्म हो गया है, यह एक टीम के डेमॉन को लॉन्च करना बाकी है। वे आपको फ़ाइलों और फ़ोल्डरों को सिंक्रनाइज़ करने और इंटरनेट का उपयोग करने की अनुमति देंगे।

• सिंक डेमॉन शुरू करता है, ड्राइव फ़ोल्डर में सब कुछ सिंक्रनाइज़ करता है, और डेमन को रोकता है।
• प्रारंभ वही करेगा, लेकिन सिंक्रनाइज़ेशन पूरा होने के बाद डेमॉन को रोकने के बिना। प्रारंभ का उपयोग करते समय, डेमन चालू रहता है और ड्राइव फ़ोल्डर में होने वाले सभी परिवर्तन स्वचालित रूप से सिंक्रनाइज़ हो जाएंगे।
• टर्मिनल में स्टॉप दर्ज करके, आप किसी भी समय चल रहे डेमॉन को रोक सकते हैं यदि यह आपको परेशान करता है।
• स्थिति कमांड के साथ, आप यह पता लगा सकते हैं कि सिंक्रनाइज़ेशन कर्नेल किस स्थिति में है।

आप टर्मिनल और Nautilus से डिस्क फ़ोल्डर के साथ काम कर सकते हैं।

क्या कर सकते हैं

कंसोल क्लाइंट आपको प्रकाशित आदेश का उपयोग करके एक फ़ाइल या फ़ोल्डर साझा करने की अनुमति देता है (यदि फ़ाइल डिस्क फ़ोल्डर में नहीं है, तो इसे प्रकाशन से पहले कॉपी किया जाएगा)। लिंक टर्मिनल में उपलब्ध होगा, और जो भी इसका अनुसरण करेगा वह आपके द्वारा प्रकाशित फ़ाइल या फ़ोल्डर को देख या सहेज सकेगा। यदि गलत फ़ाइल गलती से प्रकाशित हुई थी, तो अप्रकाशित आदेश सार्वजनिक ऑब्जेक्ट तक पहुंच को अवरुद्ध कर सकता है।

Yandex.Disk में, चयनात्मक सिंक्रनाइज़ेशन संभव है। बहिष्करण आदेश फ़ोल्डर को सिंक्रनाइज़ेशन से बाहर कर देगा: इसके बाद इसमें किए गए सभी परिवर्तन क्लाउड पर नहीं भेजे जाएंगे।

केवल पढ़ने के लिए विकल्प आपको स्थानीय रूप से फ़ाइलों को बदलने की अनुमति देता है, उन्हें क्लाउड पर अपलोड किए बिना। यदि स्थानीय परिवर्तनों के साथ संघर्ष होता है, तो बाद का नाम बदलकर रखी गई फ़ाइलों में सहेज लिया जाएगा, और क्लाउड से परिवर्तन सिंक्रनाइज़ किए जाएंगे। अधिलेखित विकल्प केवल-पढ़ने के लिए मोड में स्थानीय रूप से संशोधित फ़ाइलों को अधिलेखित करेगा।

हम मदद नहीं कर सकते हैं लेकिन सिंक्रोनाइज़ेशन कोर में सबसे दिलचस्प नवाचार का दावा करते हैं - अब से हम सिम्लिंक सिंक्रोनाइज़ेशन का समर्थन करते हैं! यदि आप कंसोल क्लाइंट का उपयोग करने में कठिनाइयों और प्रश्नों का सामना करते हैं, तो आदमी और सहायता कमांड आपको उन्हें आसानी से और आसानी से समझने में मदद करेंगे।

कैसे किया जाता है

ताकि भविष्य में विभिन्न ओएस के लिए ग्राहकों को लागू करने के लिए कोड का उपयोग किया जा सके, इसे C ++ में लिखने का निर्णय लिया गया। हमने विभिन्न ऑपरेटिंग सिस्टमों के लिए विशिष्ट कोडों के टुकड़ों को अलग-अलग कार्यों या कक्षाओं में निकाला, और प्रत्येक प्लेटफ़ॉर्म के लिए एक कार्यान्वयन लिखा। हमने मुख्य क्रॉस-प्लेटफॉर्म पुस्तकालयों के रूप में बूस्ट , ओपनएसएसएल और जोंसकैप लिया और गिट संस्करण नियंत्रण प्रणाली बन गया। लिनक्स के लिए क्लाइंट ऑटोकॉन्फ़ का उपयोग करके बनाया गया था। कोड को KDevelop + कंसोल gdb, या Qt क्रिएटर में (डेवलपर की प्राथमिकताओं के आधार पर) के एक समूह में लिखा और डीबग किया गया था।

क्लाउड और सिंक्रोनाइज़ेशन के साथ सहभागिता को Yandex.Disk कर्नेल लाइब्रेरी का उपयोग करके किया जाता है, जिसका उपयोग सेवा के डेस्कटॉप क्लाइंट द्वारा किया जाता है।

यह कैसे काम करता है

कंसोल क्लाइंट में दो भाग होते हैं: डेमॉन और क्लाइंट। वे टेक्स्ट पैकेट के माध्यम से संवाद करते हैं, जिसमें सॉकेट्स (लिनक्स और मैक ओएस एक्स यूनिक्स-डोमेन सॉकेट्स पर उपयोग किया जाता है) के माध्यम से भेजे गए संदेश होते हैं। एसिंक्रोनस ऑपरेशन को बढ़ावा देने के लिए लागू किया जाता है :: एसियो लाइब्रेरी। डेटा एक्सेस सिंक्रोनाइज़ेशन को बढ़ावा देने के माध्यम से लागू किया जाता है :: asio :: io \ _service :: स्ट्रैंड, जो आपको कई थ्रेड्स से डेटा तक एक साथ पहुंच की समस्या के बारे में नहीं सोचने देता है, और गतिरोध की उपस्थिति को भी समाप्त करता है।

स्थानीयकरण के लिए, हम बढ़ावा :: लोकल लाइब्रेरी का उपयोग करते हैं। क्लाइंट के अंदर का टेक्स्ट utf-8 में एन्कोड किया गया है और यदि आवश्यक हो, तो प्रत्येक ऑपरेटिंग सिस्टम के लिए विशिष्ट कोड में बदल दिया जाता है। लिनक्स के लिए फाइल सिस्टम मॉनीटर इनओटीफाइ का उपयोग करता है, जो बढ़ावा देने के साथ अच्छी तरह से फिट बैठता है :: एसियो का अतुल्यकालिक ऑपरेशन

कैसे सिंक्रनाइज़ेशन काम करता है

सिंक्रनाइज़ेशन Yandex.Disk का दिल है, इसकी प्रमुख विशेषता है। क्लाउड के साथ फ़ाइल ट्री को सिंक्रनाइज़ करने का कार्य कई स्वतंत्र भागों में विभाजित है।

१ । फाइल सिस्टम मॉनिटरिंग । Yandex.Disk सिंक्रोनाइज़ेशन कोर को एक पोर्टेबल एब्स्ट्रक्शन के रूप में डिज़ाइन और बनाया गया था, जो सभी समर्थित प्लेटफार्मों पर कार्यों को करने में सक्षम था। लेकिन फ़ाइल सिस्टम मॉनिटरिंग के रूप में ऐसी समस्या मानक C ++ लाइब्रेरी द्वारा या तो बढ़ावा देने जैसे राक्षसों द्वारा भी लागू नहीं की जाती है। इसके अलावा, यहां तक ​​कि ऑपरेटिंग सिस्टम के "देशी" एपीआई का उपयोग करते हुए, हमें प्रत्येक प्लेटफॉर्म के लिए विशिष्ट घटनाओं का एक सेट मिलता है।

फ़ाइल सिस्टम की निगरानी के लिए, "पर्यवेक्षक" इंटरफ़ेस डिज़ाइन किया गया था, जो एक विशिष्ट निर्देशिका में घटनाओं की निगरानी करने में सक्षम है और इसमें होने वाली घटनाओं की एक सूची देता है। इसके अलावा, प्रत्येक समर्थित प्लेटफॉर्म के लिए, इन घटनाओं का सेट अलग है। उदाहरण के लिए, मैक ओएस एक्स केवल एक बच्चे की निर्देशिका में कुछ बदलाव के तथ्य को विस्तार के बिना रिपोर्ट करने में सक्षम है। लेकिन विंडोज और लिनक्स एक पूरा सेट लौटाते हैं, जिसमें ऑब्जेक्ट बनाना, हटाना, संशोधित करना और बढ़ना शामिल है। यद्यपि अभ्यास ने दिखाया है कि विंडोज प्लेटफॉर्म पर घटनाओं पर भरोसा नहीं किया जाना चाहिए और सबसे विश्वसनीय विकल्प अधिसूचना प्राप्त करने के बाद निर्देशिका को सूचीबद्ध कर रहा है।

२ । स्थानीय फ़ाइलों और निर्देशिकाओं को अनुक्रमित करना । फ़ाइल डेल्टा अद्यतनों की अखंडता और कार्यान्वयन को नियंत्रित करने के लिए, Yandex.Disk सिंक्रोनाइज़ेशन कोर फ़ाइल के चेकसम और उसके अलग-अलग हिस्सों के डाइजेस्ट - सेट का उपयोग करता है। संपूर्ण फ़ाइल के लिए, हम एक स्थिर SHA-256 हैश और अलग-अलग ब्लॉकों के लिए कम स्थिर रकम का एक सेट की गणना करते हैं। Yandex.Disk फ़ोल्डर में स्थित प्रत्येक फ़ाइल और अपवादों की सूची में शामिल नहीं किया जाना चाहिए। लेकिन SHA-256 हैश की गणना करना एक महंगा ऑपरेशन है, और जब भी आप सॉफ़्टवेयर लॉन्च करते हैं, तो हर बार हैश की गणना करना संसाधनों का अक्षम्य अपशिष्ट होगा। इसलिए, फ़ाइल को अनुक्रमित करने के बाद, सिंक्रनाइज़ेशन कोर "बैंक" में प्राप्त डाइजेस्ट को बचाता है - Yandex.Disk सेवा निर्देशिका में स्थित एक विशेष भंडार। रिपॉजिटरी में खुदाई करने के लिए खोज करने के लिए, एक अद्वितीय फ़ाइल पहचानकर्ता का उपयोग किया जाता है - इनोड (अंतिम परिवर्तन का आकार और समय)। दुर्भाग्य से, यह दृष्टिकोण कमियों के बिना नहीं है। उदाहरण के लिए, कई क्रिप्टोकरेंसी फाइल रिकॉर्डिंग के बाद भी अंतिम संशोधन समय को अपरिवर्तित रखती हैं।

संभवतः, प्रतीकात्मक लिंक के साथ काम करने की पेचीदगियों के अलावा, निर्देशिकाओं की सूची में कुछ भी विशेष रुचि नहीं है। सिंक्रनाइज़ेशन को सफलतापूर्वक पूरा करने के लिए, कर्नेल को सिंक्रनाइज़ेशन से परिपत्र शाखाओं का पता लगाना और बाहर करना होगा।

सामान्य तौर पर, प्रतीकात्मक लिंक सिंक्रनाइज़ेशन कोर के लिए एक वास्तविक "सिरदर्द" हैं। वे फ़ाइल सिस्टम में मनमाने स्थानों को इंगित कर सकते हैं, और उन सभी के लिए समान सिंक्रनाइज़ेशन नियम लागू किए जा सकते हैं। उदाहरण के लिए, मैक ओएस एक्स एप्लिकेशन पैकेज में अक्सर सिस्टम लाइब्रेरी निर्देशिकाओं के प्रतीकात्मक लिंक होते हैं, और उन्हें क्लाउड पर सिंक्रनाइज़ करना अवांछनीय होगा - विशेष रूप से ओएस के विभिन्न संस्करणों के बीच। लेकिन एक ही समय में, प्रतीकात्मक लिंक का उपयोग करके अतिरिक्त निर्देशिकाओं को सिंक्रनाइज़ करने की क्षमता एक बहुत ही आकर्षक अवसर है, जिसे मैं याद नहीं करना चाहता था।

इसलिए, प्रतीकात्मक लिंक को सिंक्रनाइज़ करने के लिए एक विशेष नीति पेश की गई थी, जिसके लिए कर्नेल प्रत्येक प्रतीकात्मक लिंक के लिए एक विशिष्ट सिंक्रनाइज़ेशन विकल्प चुन सकता है - यह उस वस्तु के स्थान पर निर्भर करता है जो इसे इंगित करता है।

३ । क्लाउड फ़ाइल सिस्टम ट्री प्राप्त करना । सिंक्रोनाइज़ेशन समस्या को हल करने के लिए, स्थानीय फ़ाइल संरचना और फ़ाइल डाइजेस्ट होना पर्याप्त नहीं है - आपको क्लाउड में फ़ाइल सिस्टम की वर्तमान स्थिति प्राप्त करने की आवश्यकता है। यदि PROPFIND विधि का उपयोग करके सिंक्रनाइज़ेशन कोर को हर बार पेड़ को पार करना पड़ता है , तो प्रत्येक सिंक्रनाइज़ेशन चक्र अनुचित रूप से लंबे समय तक ले जाएगा और चैनल पर अनावश्यक भार पैदा करेगा। इसलिए, Yandex.Disk सॉफ्टवेयर एक विशेष एपीआई का उपयोग करता है, जो क्लाउड में फ़ाइल ट्री की वर्तमान स्थिति और उसमें होने वाले परिवर्तनों को प्राप्त करना संभव बनाता है, जो कि पेड़ के संस्करण द्वारा निर्धारित कुछ ज्ञात क्षण से शुरू होता है।

४ । क्लाउड फ़ाइल सिस्टम परिवर्तन के बारे में अलर्ट प्राप्त करें । वास्तविक समय फ़ाइल सिंक्रनाइज़ेशन को क्लाउड में फ़ाइलों के लिए हुए परिवर्तनों की समय पर अधिसूचना की आवश्यकता होती है। क्लाइंट द्वारा सर्वर के आवधिक मतदान का उपयोग करना संभव होगा, लेकिन, ग्राहकों की संभावित संख्या का अनुमान लगाने के बाद, हम इस निष्कर्ष पर पहुंचे कि यह दृष्टिकोण कमजोर रूप से स्केलेबल होगा और सेवा के बुनियादी ढांचे के त्वरित अधिभार को जन्म देगा। एक छोटी खोज के बाद, हम XMPP प्रोटोकॉल पर बस गए। इसका एक कार्यान्वयन यैंडेक्स में लंबे समय से काम कर रहा है। यह एक टीम द्वारा विकसित किया गया था जो बाद में Yandex.Disk परियोजना के लिए एक WebDAV सर्वर बनाने में लगा था, इसलिए इस प्रोटोकॉल के एकीकरण के साथ कोई कठिनाई नहीं थी।

अब सिंक्रनाइज़ेशन कोर द्वारा संसाधित किए गए पुश नोटिफिकेशन में न केवल ऐसी घटनाएं शामिल हैं जो सीधे Yandex.Disk क्लाउड में फ़ाइलों या फ़ोल्डरों के साथ हुईं, बल्कि विभिन्न सेवा संदेश भी। उदाहरण के लिए, सार्वजनिक फ़ोल्डर में अतिरिक्त स्थान या अन्य उपयोगकर्ताओं के कार्यों का मुद्दा। मौजूदा प्रोटोकॉल में इन घटनाओं को जोड़ने से एक्सएमपीपी की व्यापकता के कारण बहुत कठिनाई नहीं हुई, जिसने एक बार फिर हमारी पसंद की शुद्धता की पुष्टि की।

५ । सिंक्रनाइज़ेशन ऑपरेशन की एक सूची बनाएँ । सिंक्रनाइज़ेशन कर्नेल के बाद दोनों फ़ाइल पेड़ हैं - स्थानीय और दूरस्थ - इसके निपटान में, आप स्वयं सिंक्रनाइज़ेशन प्रक्रिया के साथ आगे बढ़ सकते हैं। इसके लिए, एक विशेष पेड़ तुलना एल्गोरिथ्म का उपयोग किया जाता है, जो दो उल्लिखित पेड़ों के अलावा, तीसरा - अंतिम सिंक्रनाइज़ एक। एल्गोरिथ्म के परिणामस्वरूप, परिचालन की एक सूची प्राप्त की जाती है जिसे पेड़ों को सामान्य दृश्य में लाने के लिए स्थानीय और दूरस्थ फ़ाइलों और निर्देशिकाओं पर प्रदर्शन किया जाना चाहिए।

६ । सिंक्रनाइज़ेशन ऑपरेशन की एक कतार प्रसंस्करण । स्थानीय और दूरस्थ पेड़ों के संचालन की सूची बनाना स्वतंत्र रूप से होता है। परिणामस्वरूप, परस्पर विरोधी कार्रवाई दिखाई दे सकती है। उदाहरण के लिए, क्लाउड में एक फ़ाइल को हटाना जो संशोधित किया गया है और अभी तक स्थानीय रूप से सिंक्रनाइज़ नहीं किया गया है, या किसी फ़ाइल को स्थानीय और क्लाउड में बदल रहा है। संशोधन / विलोपन संघर्ष हमेशा संशोधन के पक्ष में कर्नेल द्वारा हल किया जाता है, और डबल संशोधन संघर्ष फ़ाइल संस्करणों में से एक का नाम बदलकर हल किया जाता है। इस प्रकार, हम डेटा की सुरक्षा की गारंटी दे सकते हैं और अवसर दे सकते हैं, सिंक्रनाइज़ेशन पूरा होने के बाद, उपयोगकर्ता को यह तय करने के लिए कि प्रत्येक विशेष मामले में उसके लिए कौन सा परिवर्तन अधिक उपयुक्त है।

सिंक्रोनाइज़ेशन ऑपरेशनों को सख्त आदेश का पालन करना चाहिए; आप किसी फ़ाइल को तब तक हस्तांतरित नहीं कर सकते जब तक उसकी मूल निर्देशिका नहीं बनाई जाती। इसके अलावा, एक निर्देशिका को हटाया नहीं जा सकता, जबकि इसके अंदर अभी भी फाइलें हैं जिन्हें एक नए स्थान पर स्थानांतरित करने की आवश्यकता है। ट्री तुलना एल्गोरिथ्म पहले से ही वांछित क्रम में संचालन बनाता है, लेकिन यदि त्रुटियां होती हैं, तो इसका उल्लंघन हो सकता है। इस स्थिति को रोकने के लिए, प्रत्येक ऑपरेशन पर निर्भरता की एक सूची होती है - संचालन का एक सेट जिसे निष्पादित होने से पहले पूरा किया जाना चाहिए, और संचालन का एक सेट जो तब तक शुरू नहीं होना चाहिए जब तक यह पूरा न हो जाए।

निर्भरता के अलावा, संचालन का क्रम इसकी प्राथमिकता से प्रभावित होता है। उदाहरण के लिए, फ़ाइल स्थानांतरण संचालन फ़ाइल के आकार के आधार पर किया जाता है - छोटे से बड़े तक।

इन सभी कार्यों को एक साथ किया जाता है, समानांतर प्रक्रियाओं के सिंक्रनाइज़ेशन की गुणवत्ता और Yandex.Disk तुल्यकालन कर्नेल के भीतर संसाधनों के आवंटन पर अतिरिक्त आवश्यकताओं को लागू करता है। यदि आपके पास अभी तक Ya.Disk नहीं है, तो आप इसे यहां प्राप्त कर सकते हैं , और इसे यहां लिनक्स के लिए इंस्टॉल कर सकते हैं: repo.yandex.ru/yandex-disk ।