Mail.Ru मेल (भले ही आप चीनी हैं)

हम अपना आनंद साझा करना चाहते हैं: हमने अपना मेल UTF-8 में सफलतापूर्वक स्थानांतरित कर दिया है। अब आप आसानी से अरबों, चीनी, जापानी, यूनानियों, जार्जियन के साथ पत्र-व्यवहार कर सकते हैं, हिब्रू और यिदिश में पत्र लिख सकते हैं, फोनियन लिपि के अपने ज्ञान को दिखा सकते हैं या नोट्स के साथ संदेश को एन्क्रिप्ट कर सकते हैं। और एक ही समय में, सुनिश्चित करें कि पता वही प्राप्त करेगा जो उन्होंने उसे भेजा था, और वर्गों या "बदमाश" नहीं।

कई बड़े बदलावों की तरह, संक्रमण प्रक्रिया को गंभीर तैयारी की आवश्यकता थी और इसमें एक बड़ा "अंडरवाटर" हिस्सा था - डेवलपर्स को सौ मिलियन से अधिक मेलबॉक्सों में 6 पेटाबाइट्स पत्रों के प्रसंस्करण के कार्य के साथ सामना किया गया था। पहला प्रयोग 2010 के पतन में शुरू हुआ, और 2011 के वसंत में सभी बक्से सफलतापूर्वक नई प्रणाली में स्थानांतरित कर दिए गए। उसी समय, "मेल" प्रोजेक्ट का डोमेन प्रतीकात्मक रूप से बदल गया: मुख्य डोमेन win.mail.ru और ऐतिहासिक koi.mail.ru और mac.mail.ru के बजाय, जिसने उपयुक्त एन्कोडिंग में साइट जारी की, e.mail.ru का उपयोग अब किया जाता है, सब कुछ जारी करते हुए। UTF-8 में पृष्ठ। सभी मेल UTF-8 में संग्रहीत, संसाधित और प्रदर्शित भी होते हैं। इसका मतलब है कि अक्षरों में आप किसी भी जीवित और मृत भाषाओं, गणितीय और संगीत प्रतीकों का उपयोग कर सकते हैं, दोनों सादे-पाठ के रूप में, और स्वरूपण के साथ।

आपको यह याद दिलाने के लिए कि हाल ही में अंतर्राष्ट्रीय संचार के साथ चीजें कैसी थीं, हमने एनकोडिंग के इतिहास में एक छोटा भ्रमण तैयार किया।

शुरुआत में एक आंकड़ा था

हैरानी की बात है, संदेश एन्कोडिंग की समस्या, जो अस्सी के दशक में पहले नेटवर्क उपयोगकर्ताओं को पीड़ा देती थी, और नब्बे के दशक में कंप्यूटर के आगमन से बहुत पहले, नवसेंट रनेट का संकट पैदा हो गया था। सूचना युग के सबसे पहले कीटाणुओं में से एक टेलीग्राफ था, और अब यह याद रखने के लिए कुछ प्रयास करना पड़ता है कि टेलीफोन से पहले भी जो संचार विधि उत्पन्न हुई थी वह मूल रूप से डिजिटल थी।

शुद्ध मोर्स बाइनरी कोड के अलावा, मानक बनने वाला पहला कोड बोडो कोड था। इस 5-बिट सिंक्रोनस कोड ने टेलीग्राफ को लगभग 190 वर्ण प्रति मिनट (और बाद में 760 तक) या 16 बिट प्रति सेकंड प्रसारित करने की अनुमति दी। वैसे, जिन लोगों ने पहला मोडेम खरीदा था, वे याद करते हैं कि गति को बाउड्स में सूचीबद्ध किया गया था - एमिल बोडो, कोड के आविष्कारक और उच्च गति वाले टेलीग्राफ तंत्र के नाम पर माप की इकाइयां।

गति की इकाई के नाम के अलावा, बोडो कोड, या इसके आधार पर बनाया गया ITA2 मानक, इस तथ्य के लिए उल्लेखनीय है कि यह पहले सिरिलिक एन्कोडिंग का स्रोत बन गया - MTK-2 टेलीग्राफ कोड। रूसी अक्षरों को स्थानांतरित करने के लिए, एक तीसरा रजिस्टर कोड में जोड़ा गया था (आरएएस (एलएटी और डिजिटल सिग्नेचर डिजिट के अलावा) और ट्रिक्स तुरंत शुरू हुई, जिससे हमारे 31-अक्षर (उस समय) 5-बिट मानक के प्रोकैरियन बॉक्स में वर्णमाला की आवश्यकता होती है, क्योंकि प्रत्येक रजिस्टर के छह पद हैं। सेवा प्रतीकों के साथ व्यस्त थे। उदाहरण के लिए, लैटिन अक्षरों में एसएमएस के शौकीनों के लिए नंबर 4 के साथ पत्र को बदलने की तकनीक, व्यापक रूप से 20 वीं सदी के मध्य में ऑल-यूनियन मानक में निहित थी। एक और दिलचस्प बिंदु जो इंटरनेट युग में पहले से ही उभर आएगा, ध्वनि में विभिन्न रजिस्टरों में कोडों का पत्राचार है और पत्र क्रम में नहीं है (यानी, सिरिलिक अनुक्रम ABVGD लैटिन ABVGD के अनुरूप है, ABVGE से नहीं)।

सभी कंप्यूटर समान रूप से उपयोगी नहीं हैं

जैसे ही कंप्यूटर की उम्र शुरू हुई, चरित्र एन्कोडिंग को विकास की एक नई शाखा मिली - बाइनरी-दशमलव कोड (बीसीडी - बाइनरी-कोडेड दशमलव)। दूर 1928 में, कंपनी के डेवलपर्स ने तार्किक समापन के लिए पंच कार्डों की जानकारी दर्ज करने की तकनीक को लाया, जो 19 वीं शताब्दी की शुरुआत में दिखाई दिया था। 12 पंक्तियों और 80 स्तंभों के साथ ग्रे-बेज आयतों को शोधकर्ताओं की पूरी पुरानी पीढ़ी द्वारा याद किया जाता है। तीस साल बाद, 50 के दशक के अंत में, 6-बिट बीसीडी कोड पहली बार पेश किया गया था, और जल्द ही 8-बिट ईबीआईसीआईसी।

इस क्षण से दो दिलचस्प रुझान उत्पन्न होते हैं: विभिन्न एन्कोडिंग विधियों की विस्फोटक वृद्धि (EBCDIC के कम से कम छह संस्करण थे, एक दूसरे के साथ असंगत) और "टेलीग्राफिक" और "कंप्यूटर" एन्कोडिंग मानकों के बीच प्रतिस्पर्धा। फिर, 60 के दशक की शुरुआत में, और 1963 में बेल लेबोरेटरीज में अधिक सटीक रूप से, बोडो कोड को बदलने के लिए एक नया 7-बिट एएससीआईआई एन्कोडिंग विकसित किया गया था। इस घटना के महत्व को शायद ही कभी कम करके आंका जा सकता है - अमेरिका (और अन्य अंग्रेजी बोलने वाले देशों) के लिए यह एक बार और सभी के लिए डेटा ट्रांसमिशन के मानकीकरण की समस्या को हल कर दिया (उस समय टेलेटाइप द्वारा)।

हालाँकि, खुद के लिए एन्कोडिंग समस्या को हल करते हुए, राज्यों ने, जानबूझकर या नहीं, इसे अन्य सभी देशों के लिए बनाया जो अंग्रेजी नहीं बोलते हैं, और विशेष रूप से उन लोगों के लिए जो लैटिन पत्र नहीं लिखते हैं। अंग्रेजी से केवल डायक्रिटिक्स (अक्षरों पर अतिरिक्त स्ट्रोक) में भिन्न होने वाली भाषाओं के लिए, बीएस प्रतीक के रूप में एक खामियों को खोला गया था - चरण पर वापस लौटें। इसने एक वर्ण को दूसरे के ऊपर से छापने की अनुमति दी और वर्ण "a BS" के अनुक्रम से प्राप्त किया। "राष्ट्रीय" प्रतीकों के लिए, "खुले स्थान" आरक्षित थे - जितने दस टुकड़े।

मौलिक "संचार" एन्कोडिंग, जिसने "बिट्स पर बचत" का नेतृत्व किया (यह माना जाता है कि पूरी तरह से 8-बिट एन्कोडिंग के विचार पर चर्चा की गई थी, लेकिन अत्यधिक डेटा स्ट्रीम उत्पन्न करने, ट्रांसमिशन को अधिक महंगा बनाने के रूप में खारिज कर दिया गया था) अतिरिक्त वर्ण स्थान रखने वालों के लिए एक मोक्ष बन गया। । वास्तव में, टेलेटिप्स ने एक ही स्थिति में आठ बिट्स को छिद्रित करने की अनुमति दी, और इसी आठवें बिट का उपयोग समानता के लिए किया गया था। यह वह था जो राष्ट्रीय पात्रों के भंडारण के लिए राष्ट्रीय एन्कोडिंग के विकास में शामिल था, और वैश्विक संस्करण में एएससीआईआई 8-बिट एन्कोडिंग बन गया। और यह इस आठवें बिट पर था कि सख्त मानकीकरण समाप्त हो गया, जिसने एएससीआईआई को इतना सुविधाजनक बना दिया।

बबैल बबेल

व्यक्तिगत कंप्यूटरों के प्रसार के साथ, स्थानीय ऑपरेटिंग सिस्टम और फिर वैश्विक नेटवर्क, यह स्पष्ट हो गया कि एन्कोडिंग में एक लैटिन नहीं कर सकता है और विभिन्न निर्माताओं ने कई राष्ट्रीय एन्कोडिंग बनाने शुरू कर दिए हैं। व्यवहार में, बहुत पहले नहीं, इसका मतलब यह था कि जब आपको एक पत्र प्राप्त हुआ या एक असफल वेब पेज खोला गया, तो आपने पाठ के बजाय "पटाखे" देखने का जोखिम उठाया अगर आपके ब्राउज़र ने वांछित एन्कोडिंग का समर्थन नहीं किया। और, जैसा कि अक्सर होता है, प्रत्येक प्रमुख निर्माता ने प्रतियोगियों की अनदेखी करते हुए, बिल्कुल अपने विकल्प का प्रचार किया।

इसके अलावा, प्रत्येक एन्कोडिंग का अपना अनूठा लाभ था। उदाहरण के लिए, सर्वर सिस्टम और, महत्वपूर्ण रूप से, ई-मेल के साथ काम करने के लिए पहला कार्यक्रम, कोइ -8 एन्कोडिंग सबसे आम था। इसमें कुछ बहुत ही सफल संरचनात्मक गुण थे, जैसा कि अक्सर UNIX से जुड़ी चीजों के साथ होता है। विशेष रूप से, रूसी अक्षरों के अनुक्रम को टेलीग्राफ मानक MTK-2 से लिया गया था, जहां ध्वनि पत्राचार को संरक्षित किया गया था, और वर्णमाला के क्रम में नहीं। इस प्रकार, आठवें बिट के नुकसान के साथ, नाममात्र पठनीयता को बनाए रखते हुए, सिरिलिक पाठ लिप्यंतरण में बदल गया, अर्थात, "नमस्ते दुनिया!" उच्च बिट के बिना यह "pRIWET, MIR!" जैसा दिखेगा। और रजिस्टर के व्युत्क्रम पर विशेष ध्यान दें, यह यादृच्छिक नहीं है, लेकिन विशेष रूप से उपयोग किया जाता है ताकि थोड़ा सा नुकसान तुरंत ध्यान देने योग्य हो। KOI-8 के मुख्य प्रतियोगी, Win1251 एन्कोडिंग में दर्ज प्रसिद्ध वाक्यांश पर एक ही ऑपरेशन एक अपठनीय "ओफ़्बर, lhp!" देगा।

और जब से हम टेलीग्राफ की विरासत के बारे में बात कर रहे हैं, हम यह उल्लेख नहीं कर सकते हैं कि शायद सबसे महत्वपूर्ण विशेषता जो ई-मेल को वर्चुअल टेलीग्राफ तंत्र बनाती है, वह 7-बिट फॉर्म में सभी डेटा का प्रसारण है। हां, ईमेल को एक या दूसरे तरीके से प्रसारित करने और किसी भी डेटा को प्रसारित करने के लिए सभी मानक - पाठ लैटिन अक्षरों, छवियों, वीडियो में नहीं लिखे गए - शुद्ध ASCII पाठ के रूप में। सबसे प्रसिद्ध परिवहन कोडिंग विधियां उद्धृत-प्रिंट करने योग्य और Base64 हैं। पहले संस्करण में, लैटिन एएससीआईआई पात्रों को पुन: प्रसारित नहीं किया गया है, जो लैटिन वर्णों की एक शर्त के साथ संदेश को सशर्त रूप से पठनीय बनाता है। हालांकि, बेस 64 डेटा ट्रांसफर के लिए अधिक उपयुक्त है, जिसका उपयोग आज परिवहन कोडिंग की मुख्य विधि के रूप में किया जाता है।

आकाश में कितने तारे और दुनिया की सभी भाषाओं में पत्र

लेकिन राष्ट्रीय वर्णमाला के सवाल पर वापस। 90 के दशक की शुरुआत में, ग्लोबलाइज़ेशन प्रक्रियाएँ संस्थाओं के निर्माण की प्रवृत्ति पर हावी रहीं और Apple, IBM और Microsoft सहित कई बहुराष्ट्रीय निगमों ने मिलकर एक सार्वभौमिक एन्कोडिंग का निर्माण किया। संगठन को "यूनिकोड कंसोर्टियम" कहा जाता था और इसके काम का परिणाम यूनिकोड था - एक एकल प्रणाली के भीतर लगभग सभी विश्व भाषाओं (गणित की भाषा सहित - सूत्रों, संचालन, आदि के लिए प्रतीक - और संगीत संकेतन) से पात्रों का प्रतिनिधित्व करने का एक तरीका।

टेलीग्राफ और पहली ट्रांसलेटेड केबल्स के बाद से संचार चैनलों की क्षमता में काफी वृद्धि हुई है, इसलिए बिट्स पर बचत नहीं करना पहले से ही संभव था, और एन्कोडिंग की सार्वभौमिकता और व्यापकता प्राथमिकता बन गई। यही है, न केवल सभी मौजूदा राष्ट्रीय भाषाओं और प्रतीकों (चित्रलिपि सहित) को शामिल करना आवश्यक था, बल्कि भविष्य के लिए एक रिज़र्व भी प्रदान करना था। इसलिए, यूनिकोड के पहले संस्करण में एक निश्चित आकार के पात्रों का उपयोग किया गया था - 16 बिट्स।

इस रूप में, मानक ने 65,536 वर्णों तक एन्कोडिंग की अनुमति दी, यह सबसे अधिक बार उपयोग किए जाने वाले वर्णों को शामिल करने के लिए पर्याप्त से अधिक था, और सबसे दुर्लभ लोगों के लिए "कस्टम वर्ण क्षेत्र" प्रदान किया गया था। और पहले से ही पहले चरण में सभी सबसे प्रसिद्ध एन्कोडिंग को मानक में शामिल किया गया था ताकि इसे रूपांतरण के साधन के रूप में इस्तेमाल किया जा सके। अक्टूबर 1991 में जारी, यूनिकोड संस्करण 1.0.0 में समरूप लैटिन वर्णों और उनके संशोधनों के अलावा, सिरिलिक, अरबी और ग्रीक लिपियाँ, हिब्रू, चीनी और जापानी वर्ण, कॉप्टिक और तिब्बती लेखन हैं। इसके बाद, चरित्र सेट में वृद्धि हुई, हालांकि कभी-कभी भाषाएं हटा दी गईं, हालांकि, केवल तब एक नई जगह पर लौटने के लिए (जैसे तिब्बती लेखन और कोरियाई वर्ण)।

हालाँकि, डेवलपर्स ने बहुत जल्दी और अधिक गंभीर विस्तार की संभावना को "बिछाने" का फैसला किया और साथ ही प्रतीक के निश्चित आकार को छोड़ दिया। परिणामस्वरूप, चर-लंबाई वाले वर्ण और कोड मानों का प्रतिनिधित्व करने के विभिन्न तरीकों का उपयोग किया जाने लगा। 2001 में, संस्करण 3.1 के साथ, मानक वास्तव में 16-बिट सीमा को पार कर गया और 94,205 कोड गिनना शुरू किया। इस संस्करण में, यूरोपीय और बीजान्टिन संगीत रिकॉर्ड करने के लिए संकेत जोड़े गए थे, साथ ही साथ 40 हजार से अधिक एकीकृत चीन-जापानी-कोरियाई वर्ण भी थे। 2006 से आप वैदिक संस्कृत में 2009 से, cuneiform वेब पेज प्रकाशित कर सकते हैं, और 2010 से आप चित्रों के रूप में रसायन विज्ञान के प्रतीकों को सम्मिलित किए बिना कुंडली टाइप कर सकते हैं। नतीजतन, वर्तमान में मानक 93 "भाषाएं" हैं और 109,449 कोड का उपयोग करता है।

वर्तमान में, यूनिकोड मानक में प्रस्तुति के कई रूप हैं, जो संरचना और दायरे दोनों में भिन्न हैं, हालांकि बाद के अंतर को धीरे-धीरे समाप्त कर दिया जाता है। वैश्विक नेटवर्क में और डेटा स्थानांतरण के लिए प्रतिनिधित्व का सबसे लोकप्रिय रूप UTF-8 एन्कोडिंग बन गया है। यह एक चर लंबे चरित्र के साथ एन्कोडिंग है - सिद्धांत में, एक से छह बाइट्स तक, व्यवहार में - चार तक। पहले 128 पदों को एक बाइट में एन्कोड किया गया है और पिछड़े संगतता को बनाए रखने के लिए ASCII वर्णों का मिलान किया गया है - यहां तक ​​कि मानक समर्थन के बिना कार्यक्रम लैटिन वर्णमाला और अरबी अंकों को सही ढंग से प्रदर्शित करेंगे। दो बाइट्स का उपयोग अगले 1920 वर्णों को एनकोड करने के लिए किया जाता है, और इस क्षेत्र में लैटिन भाषा में विकृति विज्ञान, ग्रीक, सिरिलिक, हिब्रू अरबी और सिरियाक लिपियों और कुछ अन्य हैं। लगभग सभी शेष लिपियों, साथ ही गणितीय प्रतीकों को तीन बाइट्स में एन्कोड किया गया है, नोटों, विलुप्त भाषाओं और दुर्लभ चीनी अक्षरों के लिए चार-बाइट रिकॉर्ड को छोड़कर।

विश्व वर्चस्व के लिए कांटों के माध्यम से

15 साल से अधिक समय तक, नेटवर्क वर्चस्व के लिए सीधी सड़क में प्रवेश करने के लिए यूनिकोड के रूप में इस तरह के एक सार्वभौमिक मानक को भी ले लिया। अब तक, सभी साइटें यूनिकोड का समर्थन नहीं करती हैं - Google के अनुसार, केवल 2010 में वैश्विक नेटवर्क में यूनिकोड के पृष्ठों की हिस्सेदारी 50% तक पहुंच गई। हालांकि, बड़े प्रदाता, जिनकी सेवाओं का उपयोग विभिन्न देशों के बड़ी संख्या में उपयोगकर्ताओं द्वारा किया जाता है, ने मानक की सुविधा को मान्यता दी। उसी तकनीक को अब Mail.Ru Mail में लागू किया जाता है।

एक आफ्टरवर्ड के बजाय

एन्कोडिंग के विकास का इतिहास स्पष्ट रूप से दर्शाता है कि आभासी अंतरिक्ष आश्चर्यजनक रूप से वास्तविक दुनिया की सीमाओं और बाधाओं को विरासत में ले सकता है। और यूनिकोड की शुरूआत और सफलता यह है कि इन बाधाओं को सफलतापूर्वक कैसे पार किया जा सकता है। इसी समय, नई तकनीक का विकास और कंपनियों द्वारा सफल अनुप्रयोग जिनकी गतिविधियां सूचना दुनिया के भविष्य को निर्धारित करती हैं वे इतनी बारीकी से जुड़ी हुई हैं कि यह निर्धारित करना मुश्किल है कि कारण कहां है और प्रभाव कहां है। लेकिन यह देखना आसान है कि धीरे-धीरे अधिक से अधिक सुविधाओं का उपयोग कैसे किया जाता है जो विकास के स्तर पर मानक में निर्धारित किए गए थे। यह हमें यह आशा करने की अनुमति देता है कि सूचना की दुनिया में, जिन परियोजनाओं का उद्देश्य भविष्य में शुरू से ही है, उन्हें सबसे बड़ी सफलता मिलेगी, बजाय इसके कि क्षणिक लाभ या स्थानीय समस्याओं का सबसे सरल समाधान निकाला जा सके।

निष्ठा से,
सर्गेई मार्टीनोव
Mail.Ru मेल के प्रमुख