काफी बार, विभिन्न सम्मेलनों में बोलते हुए, हमने Google और फेसबुक जैसी बड़ी आईटी कंपनियों द्वारा निर्धारित परंपरा के अनुसार, बिल्ली के बच्चे को एक खुले लाइसेंस के तहत जारी करने की इच्छा साझा की।

इस घटना को इस डर के कारण कई बार स्थगित किया गया था कि हमारे पास ओपनसोर्स समुदाय के साथ बातचीत करने के लिए पर्याप्त समय और ऊर्जा नहीं होगी, लेकिन अंत में क़ीमती दिन आ गया, और KPHP और परियोजना के अंदर उपयोग किए जाने वाले कुछ अन्य उपकरण सार्वजनिक रूप से उपलब्ध कराए गए।

इस संबंध में, कट के तहत आपको VKontakte की आंतरिक संरचना और उन उपकरणों के बारे में अधिक विस्तृत कहानी मिलेगी जो अब खुले स्रोत समुदाय के लिए उपलब्ध हैं।

स्रोत कोड जीएनयू लाइसेंस (जीपीएल और एलजीपीएल) के तहत रखे गए थे। ये लाइसेंस हमारे लिए वैचारिक रूप से करीब हैं, इन पुस्तकालयों को बनाते समय हम अक्सर विशेष रूप से जीएनयू द्वारा लाइसेंस प्राप्त उपकरणों का उपयोग करते थे।

KPHP

VKontakte के लिए स्रोत कोड को PHP के लिए KittenPHP या KPHP जैसी भाषा में संक्षिप्त रूप में विकसित किया जा रहा है। इस कोड को C ++ में उसी नाम के विशेष अनुवादक द्वारा अनुवादित किया गया है। उसके बाद, उत्पन्न सी ++ कोड स्वचालित रूप से जीसीसी के साथ संकलित किया जाता है, जिसके परिणामस्वरूप एक बाइनरी तैयार है। यह बाइनरी एक वेब सर्वर है जो http अनुरोधों को स्वीकार करता है और पेज बनाता है।
विकास प्रक्रिया को गति देने के लिए, KPHP विभिन्न प्रोजेक्ट फ़ाइलों को अलग-अलग संकलित करता है, और फिर लिंक करता है। बाद के संकलनों में, केवल संशोधित फ़ाइलों को संसाधित किया जाता है, या, बड़ी फ़ाइलों के मामले में, केवल उनके हिस्से।

KPHP विकास की सुविधा और गति से समझौता किए बिना, काम की एक उच्च गति प्रदान करने के लिए डिज़ाइन की गई एक न्यूनतम भाषा है। इस संबंध में, केपीएचपी PHP की सभी विशेषताओं का समर्थन नहीं करता है, विशेष रूप से, इसमें ओओपी नहीं है, मानक पुस्तकालय की कुछ वस्तुओं के अपवाद के साथ। इसके अलावा, eval और संबंधित चीजें, जैसे कि 'ई' संशोधक के साथ नियमित अभिव्यक्ति, समर्थित नहीं हैं (इसके बजाय, preg_replace_callback फ़ंक्शन का सुझाव दिया गया है)। इसके अलावा, पहले, अंत, अगले, मौजूदा, वर्तमान, रीसेट, कुंजी के सरणियों के विशिष्ट तत्वों के साथ काम करने के लिए कार्य; उन्हें बदलने के लिए, getValueByPos और getKeyByPos फ़ंक्शन कार्यान्वित किए जाते हैं।
बड़ी मात्रा में कार्यक्षमता के लिए समर्थन की अस्वीकृति ने KPHP को वेब विकास के अन्य उपकरणों की तुलना में अविश्वसनीय रूप से तेजी से बनने की अनुमति दी।
एक उदाहरण के रूप में, हमने इसकी तुलना फेसबुक द्वारा विकसित हिपहॉप वीएम से की और निम्नलिखित परिणाम प्राप्त किए:

परीक्षण	KPHP	HHVM	पीएचपी
सरल	0.000	0.007	0.137
simplecall	0.000	0.004	0.174
simpleucall	0.007	0.008	0.178
simpleudcall	0.007	0.009	0.181
मेंडल	0.010	0.066	0392
mandel2	0.011	0.074	0.355
एकरमैन (7)	0.001	0.011	0.189
ऐरी (50,000)	0.003	0.008	0.024
आर्य 2 (50,000)	0.003	0.010	0.022
आर्य 3 (2000)	0.011	0.077	0.191
तंतु (30)	0.003	0.019	0481
हैश 1 (50,000)	0.018	0.034	0.044
हैश 2 (500)	0.011	0.021	0.039
हीप्सोर्ट (20,000)	0.012	0.040	0.101
मैट्रिक्स (20)	0.007	0.021	0.121
नेस्टलूप (12)	0.000	0.012	0.235
छलनी (30)	0.013	0.016	0.114
स्ट्रैट (200000)	0.002	0.005	0.014
परिणाम	0.119	0.442	2.992

परीक्षण कोड यहां उपलब्ध है:
gist.github.com/anonymous/9391146#file-bench-php

विकास के दृष्टिकोण से, KPHP PHP के साथ पर्याप्त रूप से संगत है, ताकि नियमित PHP का उपयोग लिखित कोड का त्वरित परीक्षण करने के लिए किया जा सके, और अंतिम परीक्षण से पहले कोड को संकलित करके परियोजना से बाहर कर दिया जाए। KPHP में कार्यान्वित कार्यों का समर्थन करने के लिए, लेकिन नियमित PHP में उपलब्ध नहीं है, एक विशेष पुस्तकालय github.com/vk-com/kphp-kdb/tree/master/vkext जोड़ा गया जो PHP की क्षमताओं का विस्तार करता है।

इसके अलावा, KittenPHP एक अच्छा स्थिर PHP कोड विश्लेषक है जो संभावित त्रुटियों को इंगित करता है। उदाहरण के लिए, एक साल पहले VKontakte को स्थानांतरित करने की प्रक्रिया में, 20 से अधिक गंभीर कीड़े पाए गए थे।

एक खुले लाइसेंस के तहत कंपाइलर के साथ, डेवलपर्स ने इंजन का एक सेट तैयार किया, जो KPHP को पूरी तरह से पूरक करता है, लेकिन इसे अलग से इस्तेमाल किया जा सकता है। पहली बार, हमने इन पुस्तकालयों को हाईलोड 2010 में ओपनसोर्स समुदाय के लिए घोषित किया था, इसलिए हम लंबे समय तक प्रतीक्षा अवधि के लिए क्षमा चाहते हैं।

PMemcached ("लगातार याद किया")

विश्वसनीय कुंजी-मूल्य भंडारण जो आपको समय सीमा के बिना डेटा संग्रहीत करने की अनुमति देता है। MC प्रोटोकॉल के अनुसार, इंजन मेमकेच के साथ समान रूप से काम करता है, सिवाय इसके कि एक रिबूट के बाद सभी डेटा रहता है।
अपने बुनियादी कार्यों के अलावा, जब आप कॉन्फ़िगरेशन में संगत विकल्प को सक्षम करते हैं, तो pmemcached आपको तुरंत रिकॉर्ड के समूह प्राप्त करने की अनुमति देता है, जिनके प्रमुख उपसर्ग अनुरोध में निर्दिष्ट एक से मेल खाते हैं।

सूचियाँ

यह इंजन आपको विभिन्न डेटा सूचियों को संग्रहीत और पुनर्प्राप्त करने की अनुमति देता है।
इंजन की एक प्रति सूची का एक सेट स्टोर कर सकती है। प्रत्येक सूची में एक पहचानकर्ता (इंट) होना चाहिए जिसके द्वारा इस सूची के साथ काम किया जा सके।
प्रत्येक सूची में असीमित संख्या में आइटम हो सकते हैं। प्रत्येक तत्व में एक पहचानकर्ता (int), एक मान (int), एक ध्वज (int) भी होना चाहिए और पाठ के मनमाने 256 वर्णों को संग्रहीत कर सकता है।
सूचियों को प्राप्त करने के अलावा, झंडों को छानकर और मूल्यों द्वारा छाँटकर उप-सूचियाँ प्राप्त करना संभव है।

प्रलेखन: github.com/vk-com/kphp-kdb/blob/master/docs/en/KittenDB_Lists.wiki

सूचियाँ एक्स

सूचियों के इंजन का संशोधन, जो कीज़ के उपयोग और अभिलेखों की पहचान करने की अनुमति देता है, जिसमें एक नंबर (int) नहीं होता है, लेकिन इंजन कॉन्फ़िगरेशन में पूर्वनिर्धारित संख्याओं (int) की संख्या। उदाहरण के लिए, यह आपको सूचियां बनाने की अनुमति देता है, जिनमें से कुंजी उपयोगकर्ता आईडी और इसकी दीवार पर रिकॉर्डिंग आईडी से बनती है।

प्रलेखन: github.com/vk-com/kphp-kdb/blob/master/docs/en/KittenDB_Lists-X.wiki

खोजें

साइट पर डेटा खोजने के लिए डिज़ाइन किया गया। किसी भी पाठ्य सूचना को एक विशिष्ट पहचानकर्ता के साथ इंजन में अनुक्रमित किया जा सकता है, और बाद में पाठ में शब्दों द्वारा पाया जा सकता है। अनुक्रमण के दौरान निर्दिष्ट पहचानकर्ता खोज परिणामों में वापस आ जाएंगे।
खोज मानदंड, और विभिन्न छँटाई के लिए विशेष मापदंडों द्वारा खोज के लिए मनमाना मापदंडों का समर्थन करती है। इंजन जटिल समूहों और चौराहों के लिए भी अनुमति देता है।

प्रलेखन: github.com/vk-com/kphp-kdb/blob/master/docs/en/KittenDB_Search.wiki

भंडारण

इंजन को उपयोगकर्ता डेटा - फ़ोटो, वीडियो, ऑडियो, दस्तावेज़ों को संग्रहीत करने के लिए डिज़ाइन किया गया है। एक ही फाइल में विभिन्न कंटेंट को स्टोर करके और इसे मेमोरी ऑफसेट में इंडेक्स करके, स्टोरेज एक फाइल सिस्टम में अलग-अलग फाइलों को स्टोर करने के क्लासिक दृष्टिकोण का उपयोग करने से बेहतर है।

प्रलेखन: github.com/vk-com/kphp-kdb/blob/master/docs/en/KittenDB_Storage.wiki

ग्रंथों

ग्रंथों का इंजन आपको विभिन्न पाठ डेटा सरणियों को संग्रहीत करने की अनुमति देता है। प्रारंभ में, इसे वीके की व्यक्तिगत संदेश प्रणाली के लिए विकसित किया गया था, लेकिन बाद में दीवारों के लिए और टिप्पणियों के लिए पुन: उपयोग किया गया।
ग्रंथों को संग्रहीत करने के अलावा, इंजन ग्रंथों और पाठ खोज के साथ सूचियों के विभिन्न समूहों का समर्थन करता है। उसके लिए धन्यवाद, उपयोगकर्ता के व्यक्तिगत पत्राचार में एक त्वरित खोज उपलब्ध है, चाहे वह कितना भी बड़ा हो।
साथ ही, एक HTTP सर्वर इस इंजन में बनाया गया है, जो क्लाइंट की तरफ से अपडेट प्राप्त करने के लिए एक लंबे पोल को लागू करता है। हालांकि, बाद में इस उद्देश्य के लिए एक अलग कतार इंजन बनाया गया था, जिसे नीचे वर्णित किया गया है।

प्रलेखन: github.com/vk-com/kphp-kdb/blob/master/docs/en/KittenDB_Texts.wiki

संकेत

संकेत दो महत्वपूर्ण कार्य हल करते हैं:
1) साइट पर त्वरित खोजों के लिए उपयोग किए जाने वाले शब्द उपसर्गों द्वारा उपयोगकर्ता वस्तुओं की खोज करने के लिए डिज़ाइन किया गया।
2) आपको वस्तुओं की रेटिंग उत्पन्न करने की अनुमति देता है, जिसके साथ आप वस्तुओं की सूचियों को उपयोगकर्ता के साथ उनकी रुचि के आधार पर क्रमबद्ध कर सकते हैं। उदाहरण के लिए, VKontakte मित्र सूची इस तरह से काम करती है।

प्रलेखन: github.com/vk-com/kphp-kdb/blob/master/docs/en/KittenDB_Hints.wiki

कतार

कतार आपको वास्तविक समय में क्लाइंट और सर्वर पक्षों के बीच संचार को व्यवस्थित करने की अनुमति देती है। क्लाइंट इसे सौंपे गए क्यू सर्वर से जोड़ता है और इससे अपडेट प्राप्त करता है, और सर्वर किसी भी समय क्लाइंट को संबंधित घटना भेज सकता है। चैनलों के उपयोग के कारण, जो ग्राहक क्यू से कनेक्ट करते समय सदस्यता ले सकते हैं, इंजन का उपयोग डेटा को एक से कई में स्थानांतरित करने के लिए किया जा सकता है, उदाहरण के लिए, जब उपयोगकर्ता के पास समाचार पृष्ठ खुला होता है, तो वह अपने सभी दोस्तों, समूहों और सदस्यता की घटनाओं के लिए कतार की सदस्यता लेता है। जब इस सूची में से कोई एक रिकॉर्ड प्रकाशित करता है, तो वह इसे संबंधित कतार सदस्यता के लिए भी लिखता है, और प्रत्येक सब्सक्राइबर उपयोगकर्ता को क्लाइंट के बारे में जानकारी प्राप्त होती है, जिसके बाद उत्तरार्द्ध प्राप्त डेटा प्रदर्शित कर सकता है।

प्रलेखन: github.com/vk-com/kphp-kdb/blob/master/docs/en/KittenDB_Queue.wiki

उपरोक्त के अलावा, आप रिपॉजिटरी में कई अन्य को पा सकते हैं, इतना सार्वभौमिक नहीं, लेकिन कोई कम दिलचस्प उपकरण नहीं है, जिसके लिए प्रलेखन आपको यहां मिलेगा।

निष्कर्ष

इन विकासों को प्रकाशित करके, हम खुले स्रोत वाले समुदाय को ऋण लौटा रहे हैं, जिस पर हमारा बहुत कुछ बकाया है।

हमें उम्मीद है कि अब वे MySQL, Memcache, nginx और PHP के रूप में विकसित की जा रही परियोजनाओं को समय में VKontakte बनाने में मदद करेंगे।

आप इंजन और KPHP के स्रोत कोड को github पर रिपॉजिटरी में देख सकते हैं: github.com/vk-com/kphp-kdb
विस्तृत दस्तावेज यहां स्थित है: github.com/vk-com/kphp-kdb/tree/master/docs/ru

KPHP और इंजन जारी करते हैं