कैसे लैटिन 1 ट्रांसकोड करने के लिए सिरिलिक

हर बार जब वे मुझसे एक ही सवाल पूछते हैं, तो वे एक ही बात पूछते हैं: "कैसे एक डेटाबेस से क्रैकोज़ी को ट्रांसकोड किया जाए जो लैटिन 1 को एन्कोडेड स्ट्रिंग्स को सामान्य सिरिलिक (विंडोज़ -1251) या यूटीएफ -8 में संग्रहीत करता है।"

नीचे मैं इस सवाल का पूरी तरह से जवाब देने की कोशिश करूंगा, और PHP कोड का एक टुकड़ा भी दूंगा जो विशिष्ट रूप से समस्या को हल करता है।

सबसे पहले, मैं किसी को भी विंडोज़ -1251 एन्कोडिंग में काम करना जारी रखने की सलाह नहीं देता। यह एकल-बाइट एन्कोडिंग अब आधुनिक समय की आवश्यकताओं को पूरा नहीं करती है। सभी प्रोजेक्ट्स को तुरंत utf-8 में ट्रांसफर करें। जितनी जल्दी यह किया जाता है, उतनी ही तेज़ी से कराकोज़ी के साथ आपकी समस्याएं गायब हो जाएंगी।

अब लैटिन 1 के बारे में। इस एन्कोडिंग को (विंडोज़ -1252 के रूप में भी जाना जाता है) पहले MySQL में वर्जन 4 तक सार्वभौमिक रूप से इस्तेमाल किया गया था। अरबी अक्षरों के स्थान पर सिरिलिक अक्षरों की प्रतीकात्मक तालिका इसमें है। लेकिन चूंकि यह एकल-बाइट भी है, इसलिए जब इस तालिका के एन्कोडिंग में डेटा पढ़ते हैं और उन्हें विंडोज़ -1251 के रूप में प्रदर्शित करते हैं, तो कोई समस्या नहीं होती है, क्योंकि कोड समान हैं (0xA0-0xFF)। लेकिन यह सब तब तक ही काम करेगा जब तक आप MySQL 5+ इंस्टॉल नहीं करते, जो कि utf-8 में डिफ़ॉल्ट रूप से काम करता है।

MySQL 5+ आपको ऐसे डेटा को पारित करके क्या करता है? ग्राहक पक्ष में स्थानांतरित करने से पहले, वह ईमानदारी से utf-8 में सभी डेटा ट्रांसकोड करता है, अरबी अक्षरों (और लैटिन 1 में आपका सिरिलिक वर्णमाला वास्तव में अरबी वर्ण है) को utf-8 कोड की श्रेणी में रखता है जहां उन्हें होना चाहिए। परिणामस्वरूप, भले ही आप आइकॉन फ़ंक्शन ('utf-8', 'windows-1251', $ str) का उपयोग करके सिरिलिक में परिणामी utf-8 स्ट्रिंग को ट्रांसकोड करने का प्रयास करते हैं, फिर भी आप सफल नहीं हुए। iconv एक त्रुटि लौटाएगा या एक रिक्त स्ट्रिंग लौटाएगा।

पहली चीज जो एक प्रोग्रामर करता है, वह है phpMyAdmin में latin1 तालिका के एन्कोडिंग को विंडोज़ -1251 में बदलने की कोशिश करना। लेकिन MySQL ऐसा नहीं कर सकता है (जिसके बारे में वह लिखता है), क्योंकि एन्कोडिंग विंडो -1251 में इसके अनुरूप अरबी अक्षर नहीं हैं। दूसरी बात जो दिमाग में आती है वह है इस तालिका को utf-8 में बदलना। और यह पता चला है। केवल अब ग्रंथों को अभी भी krakozyabrami द्वारा प्रदर्शित किया जाता है।

कैसे हो सकता है? इस समस्या को कैसे हल करें?

यहां समाधान काफी सरल है, लेकिन खुद को इसमें आने के लिए, आपको स्पष्ट रूप से समझने की आवश्यकता है कि एन्कोडिंग क्या हैं और वे कैसे काम करते हैं। समझने से मेरे हाथ से बने चार्ट में मदद मिलेगी।



और यहाँ एल्गोरिथ्म है जिसका उपयोग मैं एन्कोडिंग को क्रम में रखने के लिए करता हूं।

1. मैं सभी डेटाबेस तालिकाओं को utf-8 एन्कोडिंग में अनुवाद करता हूं। एक ही समय में, माना जाता है कि सिरिलिक वर्णों को एन्कोडिंग लैटिन 1 में संग्रहीत किया जाता है, और इसलिए वास्तव में अरबी का अनुवाद utf-8 में किया जाता है और अरबी वर्णों के लिए utf-8 कोड की सीमा में अपने सही स्थानों पर कब्जा कर लेता है।
2. मैं PHP में एक सूक्ष्म उपयोगिता लिख ​​रहा हूं जो प्रत्येक वर्ण स्ट्रिंग के साथ निम्नलिखित करता है:
   
   • a) विंडो-1252 एन्कोडिंग में स्ट्रिंग का अनुवाद करता है। कोई समस्या नहीं होनी चाहिए। इस प्रकार, अरबी अक्षर कोड A0-FF की सीमा पर कब्जा कर लेते हैं।
   • बी) प्राप्त एकल-बाइट स्ट्रिंग को utf-8 में अनुवाद करता है, लेकिन विंडोज़ -1252 के रूप में नहीं, बल्कि विंडोज़ -1251 के रूप में, अर्थात्। श्रेणी A0-FF से सिरिलिक के रूप में वर्ण दे रहा है। नतीजतन, वर्णों की सीमा में utf-8 में आते हैं जो सिरिलिक वर्णों के लिए अभिप्रेत है।
   
   
3. यही है, अब हमारी लाइन आधिकारिक तौर पर utf-8 में एक सिरिलिक लाइन है। इसे डेटाबेस में उसी सेल में वापस लिखा जा सकता है, या तुरंत आउटपुट स्ट्रीम पर वापस आ सकता है। हालाँकि, मैं अभी भी एक बार पूरा डेटाबेस रूपांतरण करने की सलाह देता हूं, और एक बुरे सपने के रूप में लैटिन 1 के बारे में भूल जाता हूं।

नीचे PHP में एक नमूना कोड है, जो उपयोगकर्ताओं के नामों को सामान्य सिरिलिक एन्कोडिंग में अनुवाद करता है।

$q = 'select id, fio from `users`';
$res = mysql_query($q);
while (($row = mysql_fetch_assoc($res)) !== false) {
// fio utf-8/latin1 windows-1252
$s = iconv('utf-8', 'windows-1252', $row['fio']);
// utf-8, windows-1251
$s = iconv('windows-1251', 'utf-8', $s);
//
$q = 'update `users` set fio = "'.addslashes($s).'" where id = '.$row['id'];
mysql_query($q);
}