🤽🏿 ‼️ 👩‍✈️ CQL3 में कैसेंड्रा 2.0 में स्कीमा सिमुलेशन उदाहरण ⏮️ 🗡️ 🎟️

पिछले लेख में, मैंने स्पष्ट रूप से वर्णन किया कि कैसे कैसंड्रा डेटा संग्रहीत करता है। मैं दृढ़ता से कम से कम आपकी आंखों के चलने की सलाह देता हूं। इस लेख में, हम अगले लेख में उपयोग करने के लिए एक साधारण डीबी बनाएंगे, जो पूरी तरह से डेटा चयन / पुनर्प्राप्ति के लिए समर्पित होगा।

कार्य

मान लें कि हमारे पास एक विज्ञापन नेटवर्क है जो विज्ञापनों को फैलाता है। लोग बैनर पर क्लिक करते हैं, विज्ञापन ग्राहक भुगतान करता है, हम (नेटवर्क), पुनर्विक्रेता (वितरक), और विज्ञापन होस्टिंग कंपनियों को इस पर आय होती है। विज्ञापन स्लॉट पुनर्विक्रेताओं 20% के लिए काम करते हैं। यह प्रतिशत विभिन्न कारकों के कारण बढ़ता है, सबसे महत्वपूर्ण बात यह है कि यह स्थिर नहीं है और एक नया प्रतिशत लागू किया जा सकता है, उदाहरण के लिए, एक महीने पहले क्लिक करने के लिए।

आपको जरूरत है: जल्दी से प्रत्येक पुनर्विक्रेता की आय को किसी भी अवधि के लिए गिनने में सक्षम हों, वास्तविक समय में क्लिकों की समय-सारणी रखें।

त्याग

यह आलेख विज्ञापन नेटवर्क कार्यों के लिए केवल सही मार्गदर्शक नहीं है।
प्रत्येक मामले को अपने विशिष्ट अनुकरण की आवश्यकता होती है। चांदी की गोली मौजूद नहीं है।

शैक्षिक कार्यक्रम

कैसंड्रा (इसके बाद C * ) एक वितरित NoSQL डेटाबेस है।
cqlsh - C * CQL के लिए कमांड लाइन।
CQL एक SQL जैसी क्वेरी भाषा है। सी असेंद्रा क्यू uery एल पीड़ा के लिए संक्षिप्तिकरण।
Keyspace रिलेशनल DBMS में डेटाबेस का एक एनालॉग है।
बुनियादी भंडारण इकाई एक स्ट्रिंग है । एक पंक्ति गतिशील रूप से 2 बिलियन कॉलम तक विस्तारित हो सकती है। यह महत्वपूर्ण है।
प्राथमिक कुंजी - एक स्ट्रिंग के लिए एक विशिष्ट पहचानकर्ता। प्रत्येक लाइन पर होना चाहिए। यह वह है जिसका उपयोग नोड के लिए खोज करने के लिए किया जाता है जिसमें स्ट्रिंग संग्रहीत होती है, साथ ही साथ स्ट्रिंग के अंदर भी खोज करने के लिए।
वितरण कुंजी मास्टर कुंजी का पहला भाग है।
क्लस्टर कुंजी मास्टर कुंजी का दूसरा भाग है।
नोड (नोड) - कैसेंड्रा की जावा प्रक्रिया। सभी नोड्स बराबर हैं। कोई गुरु-दास पर निर्भरता नहीं।
क्लस्टर - एक पूरे के रूप में एक दूसरे के साथ काम करने वाले कई नोड्स।
रिकॉर्डिंग के दौरान, रिकॉर्ड किए गए सेल के वर्तमान मूल्य को पढ़ने का कोई तरीका नहीं है (यह लगभग सच है)।

मान लेते हैं कि हमारे पास 6 नोड हैं ।

cqlsh

cqlsh चलाएं।

 Connected to Test Cluster at localhost:9160. [cqlsh 4.1.0 | Cassandra 2.0.2 | CQL spec 3.1.1 | Thrift protocol 19.38.0] cqlsh>

एक कीस्पेस बनाएँ

एक कुंजीस्पेस (डेटाबेस) बनाएँ।

 CREATE KEYSPACE ad_network WITH replication = { 'class': 'SimpleStrategy', 'replication_factor': '3' }; USE ad_network;

replication_factor नोड्स की संख्या है जो स्ट्रिंग को स्टोर करेगा।

एक मॉडल बनाएं

पुनर्विक्रेता तालिका

एक पुनर्विक्रेता तालिका बनाएं और इसे डेटा से भरें। तालिका में हम पुनर्विक्रेता की ब्याज दर में परिवर्तन के इतिहास को संग्रहीत करेंगे।

 CREATE TABLE reseller ( id text, effective_since text, -- day in the format of 'YYYY-MM-DD' reward_percent float, -- value from 0.0 to 1.0 PRIMARY KEY (id, effective_since) --   (id)    (effective_since) ) WITH CLUSTERING ORDER BY (effective_since DESC); --    LIMIT 1  INSERT INTO reseller (id, effective_since, reward_percent) VALUES ('supaboobs', '2011-02-13', 0.2); INSERT INTO reseller (id, effective_since, reward_percent) VALUES ('supaboobs', '2012-01-22', 0.25); INSERT INTO reseller (id, effective_since, reward_percent) VALUES ('supaboobs', '2013-11-30', 0.3);

ऐसा लगता है कि हमने तीन लाइनें बनाई हैं। लेकिन पिछले लेख को पढ़ने वालों को पता है कि हमने 'supaboobs' वितरण कुंजी और तीन क्लस्टर कुंजियों के साथ एक पंक्ति बनाई: '2011-02-13' , '2012-01-22' और '2013-11-30' । यह रेखा और उसके बाद के सभी, हमारे छह नोड्स में से तीन पर संग्रहीत किए जाएंगे।

आइए देखते हैं सामग्री:

 cqlsh:ad_network> SELECT * FROM reseller WHERE id='supaboobs'; id | effective_since | reward_percent -----------+-----------------+---------------- supaboobs | 2013-11-30 | 0.3 supaboobs | 2012-01-22 | 0.25 supaboobs | 2011-02-13 | 0.2

भविष्य में, जब हमें वर्तमान ब्याज दर की आवश्यकता होगी, तो हम निम्नलिखित कार्य करेंगे:

 cqlsh:ad_network> SELECT * FROM reseller WHERE id = 'supaboobs' LIMIT 1; id | effective_since | reward_percent -----------+-----------------+---------------- supaboobs | 2013-11-30 | 0.3

Ad_click टेबल

इसमें हम अपने बैनरों पर क्लिक स्टोर करेंगे।
कॉलम: पुनर्विक्रेता आईडी, दिन (खोज को गति देने के लिए), दिनांक + क्लिक समय, बैनर आईडी, क्लिक की कुल लागत।

 CREATE TABLE ad_click ( reseller_id text, day text, -- day in the format of 'YYYY-MM-DD' time timestamp, ad_id text, amount float, PRIMARY KEY ((reseller_id, day), time, ad_id) --   (reseller_id, day)    (time, ad_id) ) WITH CLUSTERING ORDER BY (time DESC); --

कुछ डेटा जोड़ें।

 INSERT INTO ad_click (reseller_id, day, time, ad_id, amount) VALUES ('supaboobs', '2013-11-28', '2013-11-28 02:16:52', '890_567_234', 0.005); INSERT INTO ad_click (reseller_id, day, time, ad_id, amount) VALUES ('supaboobs', '2013-11-28', '2013-11-28 07:17:35', '890_567_234', 0.005); INSERT INTO ad_click (reseller_id, day, time, ad_id, amount) VALUES ('supaboobs', '2013-11-29', '2013-11-29 17:18:51', '890_567_211', 0.0075); INSERT INTO ad_click (reseller_id, day, time, ad_id, amount) VALUES ('supaboobs', '2013-11-29', '2013-11-29 22:20:37', '890_567_211', 0.0075); INSERT INTO ad_click (reseller_id, day, time, ad_id, amount) VALUES ('supaboobs', '2013-11-30', '2013-11-30 11:21:56', '890_567_234', 0.005); INSERT INTO ad_click (reseller_id, day, time, ad_id, amount) VALUES ('supaboobs', '2013-12-01', '2013-12-01 12:21:59', '890_567_010', 0.01);

आइए उन पर नजर डालते हैं।

 cqlsh:ad_network> SELECT * FROM ad_click; reseller_id | day | time | ad_id | amount -------------+------------+---------------------+-------------+-------- supaboobs | 2013-12-01 | 2013-12-01 12:21:59 | 890_567_010 | 0.01 supaboobs | 2013-11-30 | 2013-11-30 11:21:56 | 890_567_234 | 0.005 supaboobs | 2013-11-28 | 2013-11-28 07:17:35 | 890_567_234 | 0.005 supaboobs | 2013-11-28 | 2013-11-28 02:16:52 | 890_567_234 | 0.005 supaboobs | 2013-11-29 | 2013-11-29 22:20:37 | 890_567_211 | 0.0075 supaboobs | 2013-11-29 | 2013-11-29 17:18:51 | 890_567_211 | 0.0075

चूंकि हमारे पास एक समग्र वितरण कुंजी (reseller_id, day) , 4 लाइनें वास्तव में यहां बनाई गई थीं (यदि यह समझना मुश्किल है कि क्यों, तो पिछले लेख को पढ़ें और सब कुछ जगह में गिर जाएगा)। यह पता चला है कि प्रत्येक पुनर्विक्रेता के लिए हम हर दिन एक नई रेखा बनाएंगे और इसे डेटा से भर देंगे। क्लस्टर कुंजी भी समग्र है - time, ad_id ।

राशि_by_day तालिका

चूंकि ब्याज दर दिन में एक बार से अधिक बार नहीं बदल सकती है, आप इस पर कुछ मिलीसेकंड और प्रोसेसर समय जीत सकते हैं। आइए एक और तालिका बनाएं जो समान धन संचय करेगी, लेकिन इसे क्लिक में तोड़े बिना:

 CREATE TABLE amount_by_day ( reseller_id text, day text, -- day in the format of 'YYYY-MM-DD' amount double, PRIMARY KEY (reseller_id, day) --   (reseller_id)    (day) ) WITH CLUSTERING ORDER BY (day DESC); --

इसे दिन में एक बार भरना होगा। हमारे सिस्टम में एक अलग कोड ad_click से डेटा एकत्र करेगा, सारांशित करेगा और amount_by_day को amount_by_day ।

काउंट टेबल पर क्लिक करें

स्वाभाविक रूप से, यह जानना हमारे लिए महत्वपूर्ण है कि हमने किस बैनर पर कितनी बार क्लिक किया। लेकिन चूंकि सभी छह नोड्स में SELECT COUNT(0) FROM ad_click WHERE ad_id='...' चल रहा है, इसलिए यह बहुत महंगा होगा (और CQL में कोई COUNT ऑपरेशन नहीं है), तो C * में काउंटर पर ऐसा कुछ है - रों।

काउंटर स्तंभ का प्रकार है, अर्थात यह वाक्यात्मक रूप से timestamp , text , double , आदि की तरह ही उपयोग किया जाता है, लेकिन सीमाएं हैं। यदि तालिका में कम से कम एक काउंटर है, तो अन्य सभी कॉलम भी टाइप काउंटर (निश्चित रूप से प्राथमिक कुंजी को छोड़कर) के होने चाहिए। चलो तालिका बनाएँ:

 CREATE TABLE clicks_per_ad ( ad_id text, clicks counter, PRIMARY KEY (ad_id)); --   (ad_id),

और इसलिए तालिका में आप clicks कॉलम के मूल्य को बदल सकते हैं।

 cqlsh:ad_network> SELECT * FROM clicks_per_ad; (0 rows) cqlsh:ad_network> UPDATE clicks_per_ad SET clicks = clicks + 1 WHERE ad_id = '890_567_234'; cqlsh:ad_network> SELECT * FROM clicks_per_ad; ad_id | clicks -------------+-------- 890_567_234 | 1 (1 rows) cqlsh:ad_network> UPDATE clicks_per_ad SET clicks = clicks + 1 WHERE ad_id = '890_567_234'; cqlsh:ad_network> SELECT * FROM clicks_per_ad; ad_id | clicks -------------+-------- 890_567_234 | 2 (1 rows) cqlsh:ad_network> UPDATE clicks_per_ad SET clicks = 0 WHERE ad_id = '890_567_234'; cqlsh:ad_network> SELECT * FROM clicks_per_ad; ad_id | clicks -------------+-------- 890_567_234 | 0 (1 rows)

इस प्रकार, किसी भी चीज पर विचार किया जा सकता है यदि यह signed int । यानी असाधारण पूर्णांकों पर विचार किया जा सकता है, लेकिन रेंज में -2 ^ 63 - + 2 ^ 63।

यह उल्लेखनीय है कि पहले तालिका में कोई पंक्तियाँ नहीं थीं, लेकिन UPDATE आदेश के बाद एक अचानक प्रकट हुई। यह CQL की एक विशेषता है। INSERT और UPDATE अनिवार्य रूप से एक ही कमांड हैं। मैं एक आरक्षण करूंगा कि C * में डेटा को अपडेट करने / डालने का अवसर नहीं है यदि वे पहले से मौजूद हैं (या 'अभी तक नहीं')। इसे "हल्के लेनदेन" कहा जाता है, जो एक नियमित डेटा लिखने के ऑपरेशन के सापेक्ष धीरे-धीरे काम करता है।

बेशक, क्लिक की संख्या किसी भी मानदंड (कुंजी) द्वारा एकत्र की जा सकती है। उदाहरण के लिए:

 CREATE TABLE clicks_per_reseller_per_day ( reseller_id text, day text, -- day in the format of 'YYYY-MM-DD' clicks counter, PRIMARY KEY ((reseller_id, day))); --   (reseller_id, day),    CREATE TABLE clicks_per_reseller ( reseller_id text, clicks counter, PRIMARY KEY (reseller_id)); --   (reseller_id),

टेक्स्ट आईडी के बारे में थोड़ा सा

RDBMS में, हम तार int के एक अद्वितीय पहचानकर्ता को निर्दिष्ट करने के लिए उपयोग किए जाते हैं। क्यों नहीं पहचानने वालों को शाब्दिक बना दिया जाए, जिसका अर्थ कुछ सार्थक होगा? हां, क्योंकि तब उत्पादकता को नुकसान होगा। निजी तौर पर, इसने मुझे बहुत उदास कर दिया। हमें इस तथ्य के लिए उपयोग किया जाता है कि हमारे चालक लाइसेंस की आईडी संख्या है, बीमा पॉलिसी की आईडी संख्या है। लेकिन आपको अक्सर पत्र मिश्रण करना पड़ता है, उदाहरण के लिए, पासपोर्ट आईडी - दो अक्षर और 6 अंक, घर के नंबर अक्सर अक्षरों या हाइन्स के साथ, आदि।

C * में, शुष्क संख्याओं को कुंजियों के रूप में उपयोग करने के लिए प्रथागत नहीं है, क्योंकि वे RDBMS के विपरीत त्वरण नहीं करते हैं। और C * में कोई ऑटो इन्क्रीमेंट नहीं है (लेकिन अगर आपके पास अचानक यूनिक आईडी की जरूरत है तो टाइमयुड है )। असामान्य text स्तंभ प्रकार reseller_id रूप में text लग सकता है। सी * में, एक विभाजन कुंजी को हैश की तुलना करके देखा जाता है। यानी स्ट्रिंग्स की प्रत्यक्ष तुलना नहीं होती है, जिसका अर्थ है कि प्रदर्शन में शिथिलता नहीं है।

डेटा रिकॉर्डिंग

एक क्लिक को रिकॉर्ड करने के लिए हमें 4 UPDATE ऑपरेशन करने होंगे। मैं पागल नहीं हूं। C * पर लिखना बहुत जल्दी एक ऑपरेशन है, प्रदर्शन को नुकसान नहीं होगा। 6 नोड्स पर लिखने की गति MongoDB की तुलना में लगभग 100 गुना तेज या HBase की तुलना में 2-5 गुना तेज होगी , RDBMS का उल्लेख करने के लिए नहीं। C * के हाल के संस्करण स्वतंत्र रूप से डिस्क स्थान ( संघनन , संपीड़न ) को अनुकूलित कर सकते हैं, इसलिए हार्ड डिस्क स्थान के साथ सब कुछ ठीक हो जाएगा।

यह सुनिश्चित करने के लिए कि सभी INSERT ने काम किया है, BATCHs जैसी कोई चीज है। दुर्भाग्य से, वे समान वितरण कुंजी (एक ही पंक्ति के भीतर) में काम करते हैं।

 BEGIN BATCH -- INSERT, UPDATE, DELETE ... APPLY BATCH;

RDBMS में लेनदेन के लिए बैच कोई विकल्प नहीं है। उनकी मदद से, सी * सभी कमांड को एक पैकेज में स्थानांतरित करता है, और कई कमांड में नहीं, इस प्रकार नेटवर्क को अनुकूलित करता है। बैच दो प्रकार के होते हैं।

असम्बद्ध - BEGIN UNLOGGED BATCH - नियमित बैच। लेकिन अगर समन्वयक नोड (जो कि इसके लिए आए CQL कमांड के लिए जिम्मेदार है और अन्य नोड्स के साथ संचार के लिए) बैच के बीच में मर जाता है, तो डेटा संगति बर्बाद हो सकती है।
परमाणु (परमाणु) - BEGIN BATCH - इस मामले में, C * यह सुनिश्चित करेगा कि या तो सभी डेटा लिखे गए हैं या कुछ भी नहीं है। लेकिन यह ऑपरेशन लगभग 30% धीमा है।

डेटा पढ़ना

निम्नलिखित लेख इस विषय के लिए समर्पित है। SELECT ... FROM ... WHERE RDBMS की तुलना में ऑपरेशन की कई सीमाएं हैं, इसलिए इस पर विशेष ध्यान दिया जाना चाहिए।

निष्कर्ष

इस पोस्ट का उद्देश्य यह दिखाना था कि कैसेसंद्रा में एक डेटाबेस मॉडलिंग के लिए दृष्टिकोण RDBMS से अलग है। दृष्टिकोण मौलिक रूप से भिन्न है, जैसा कि आप देख सकते हैं। और सीक्यूएल और एसक्यूएल के बीच समानता से भ्रमित न हों, वास्तव में, केवल सिंटैक्स से मेल खाता है। केवल कुछ चालें और विशिष्ट विशेषताएं यहां दिखाई गई थीं, लेकिन कई हैं, कई और हैं।

चक्र का पिछला लेख ।
श्रृंखला में अगला लेख ।

CQL3 में कैसेंड्रा 2.0 में स्कीमा सिमुलेशन उदाहरण