👨🏼‍⚕️ ⏭️ 🏁 ट्विटर जिपकिन 😀 👗 👦🏿

जिपकिन एक वितरित अनुरेखण प्रणाली है जो हमें ट्विटर पर सभी असमान सेवाओं के रनटाइम डेटा को इकट्ठा करने में मदद करती है। यह कलेक्टर और क्वेरी सेवाओं के माध्यम से डेटा के संग्रह और पुनर्प्राप्ति का प्रबंधन करता है। हमने Google डापर के मॉडल पर जिपकिन को डिज़ाइन किया। @ZipkinProject को @ZipkinProject और बने रहें।

और यह वितरित ट्रेस क्यों?

ट्रेस एकत्र करने से डेवलपर्स को वितरित प्रणाली में विशिष्ट प्रश्नों को निष्पादित करने के बारे में गहन ज्ञान प्राप्त करने में मदद मिलती है। मान लें कि हमारे पास उपयोगकर्ता अनुरोधों के साथ समस्याएं हैं, उदाहरण के लिए, एक टाइमआउट पार हो गया है। हम उन अनुरोधों के निशान देख सकते हैं जो गिर गए हैं और उन्हें वेब इंटरफ़ेस में दिखाया गया है। हम प्रतिक्रिया समय में अप्रत्याशित वृद्धि के लिए सेवा को दोषी पा सकते हैं। यदि सेवा को विस्तार से एनोटेट किया गया है, तो हम यह भी पता लगा पाएंगे कि सेवा के किस स्थान पर समस्या हुई।

आर्किटेक्चर

ये घटक पूर्ण ट्रेस सिस्टम बनाते हैं।

उपकरण पुस्तकालय

प्रत्येक नोड पर ट्रेस जानकारी एकत्रित की जाती है जो टूल लाइब्रेरी का उपयोग करती है जो उन्हें जिपकिन के साथ नोड पर निर्देशित करती है। जब कोई होस्ट किसी अन्य सेवा के लिए अनुरोध करता है, तो यह अनुरोध के साथ कुछ ट्रेस पहचानकर्ताओं को पास करता है, इसलिए आप इस डेटा को बाद में लिंक कर सकते हैं।

फिनेक्ल

Finagle JVM के लिए एक अतुल्यकालिक नेटवर्क स्टैक है जिसे आप जावा, स्काला या JVM का उपयोग करने वाली किसी अन्य भाषा में अतुल्यकालिक क्लाइंट और दूरस्थ प्रक्रिया कॉल (RPC) सर्वर बनाने के लिए उपयोग कर सकते हैं।

Finagle ट्विटर के अंदर सक्रिय रूप से उपयोग किया जाता है, यही कारण है कि यह ट्रेस समर्थन के लिए एक स्पष्ट प्रारंभिक बिंदु बन गया है। अब तक हमारे पास एक क्लाइंट / सर्वर है जो थ्रिफ्ट और एचटीटीपी का समर्थन करता है, साथ ही एक क्लाइंट जो केवल मेमाचे और रेडिस का समर्थन करता है।

Scala में अपने Finagle सर्वर को सेट करने के लिए, बस इन चरणों का पालन करें। ट्रेस जोड़ना केवल Finagle-zipkin निर्भरता और ServerBuilder में tracer को ServerBuilder ।

 ServerBuilder() .codec(ThriftServerFramedCodec()) .bindTo(serverAddr) .name("servicename") .tracer(ZipkinTracer.mk()) .build(new SomeService.FinagledService(queryService, new TBinaryProtocol.Factory()))

क्लाइंट के लिए ट्रेसिंग सेटअप समान है। ऊपर दिखाए गए अनुसार जिपक ट्रेसर को सेट करने के बाद, आपके अनुरोधों का एक छोटा सा चयन स्वचालित रूप से रूट किया जाएगा। हम अनुरोध शुरू होने पर रिकॉर्ड करेंगे, जब यह समाप्त हो गया, साथ ही अनुरोध में शामिल सेवाएं और होस्ट भी।

यदि आप अतिरिक्त जानकारी रिकॉर्ड करना चाहते हैं, तो आप कोड में एक कस्टम नोट जोड़ सकते हैं।

 Trace.record("starting that extremely expensive computation");

ऊपर दिए गए उदाहरण में, एक लाइन नोट उस समय के बिंदु से जुड़ा होगा जब इसे निष्पादित किया गया था। आप मुख्य मूल्य द्वारा एक नोट भी जोड़ सकते हैं। यह इस तरह दिखता है:

 Trace.recordBinary("http.response.code", "500");

रूबी थ्रिफ्ट

यह वह रत्न है जिसका उपयोग हम अनुरोधों का पता लगाने के लिए करते हैं। ट्रैसर को एम्बेड करने और ट्रेस अनुरोध पहचानकर्ताओं को उत्पन्न करने के लिए, आप इस रत्न का उपयोग रैकहैंडलर में कर सकते हैं। जिपकिन-वेब उदाहरण देखें जहां हम ट्रैकर्स को ट्रैक करते हैं।

रूबी कोड से कॉल को ट्रैक करने के लिए, हम रूबी थ्रिफ्ट ट्विटर क्लाइंट पर भरोसा करते हैं। क्लाइंट का उपयोग कैसे करें, इसका एक उदाहरण नीचे देखें।

 client = ThriftClient.new(SomeService::Client, "127.0.0.1:1234") client_id = FinagleThrift::ClientId.new(:name => "service_example.sample_environment") FinagleThrift.enable_tracing!(client, client_id), "service_name")

विलापी

डेटाबेस के साथ बातचीत करने के लिए क्वेरुलस एक स्काला लाइब्रेरी है। एसक्यूएल के अनुरोध और निष्पादन के समय पर नज़र रखना शामिल है।

Cassie

Cassie कैसांद्रा के लिए एक Finagle आधारित क्लाइंट लाइब्रेरी है। Cassie में ट्रेसर का कॉन्फ़िगरेशन लगभग Finagle की तरह ही है, लेकिन Cassie KeyspaceBuilder के मामले में उपयोग किया जाता है।

 cluster.keyspace(keyspace).tracer(ZipkinTracer.mk());

ट्रांसपोर्ट

जिपकिन और हडोप को विभिन्न सेवाओं से सभी निशान स्थानांतरित करने के लिए हम Scribe का उपयोग करते हैं। Scribe को फेसबुक पर विकसित किया गया था, और इसमें एक डीमन शामिल है जिसे आपके सिस्टम पर हर सर्वर पर चलाया जा सकता है। यह संदेश लॉग को स्कैन करता है और उन्हें श्रेणी के आधार पर, सही सेवा रिसीवर को भेजता है।

जिपक कलेक्टर डिमॉन

जैसे ही ट्रेस डेटा कलेक्टर डेमॉन में आता है, हम इसकी शुद्धता की जांच करते हैं, खोज के लिए सूचकांक को सहेजते हैं और उसका निर्माण करते हैं।

कोष

हम डेटा स्टोर करने के लिए कैसेंड्रा का उपयोग करते हैं। यह ट्विटर पर स्केलेबल, लचीला और भारी रूप से उपयोग किया जाता है। हमने इस घटक को मॉड्यूलर बनाने की कोशिश की, इसलिए इसे किसी और चीज़ से बदलना मुश्किल नहीं होना चाहिए।

डेमन से निवेदन

डेटा रिकॉर्ड और अनुक्रमित होने के बाद, हमें इसे पुनः प्राप्त करने के लिए एक सुविधाजनक तरीका चाहिए। क्वेरी डेमॉन यहां काम आता है, जिससे उपयोगकर्ताओं को सरल थ्रिफ्ट एपीआई का उपयोग करके निशान को खोजने और पुनर्प्राप्त करने की सुविधा मिलती है। थ्रिफ्ट फ़ाइल का एक उदाहरण देखें।

उपयोगकर्ता इंटरफ़ेस

हमारे अधिकांश उपयोगकर्ता हमारे यूआई के माध्यम से डेटा तक पहुंचते हैं। यह एक रेल एप्लिकेशन है जो ट्रेस डेटा की कल्पना करने के लिए डी 3 का उपयोग करता है। कृपया ध्यान दें कि उपयोगकर्ता इंटरफ़ेस में एक अंतर्निहित प्राधिकरण फ़ंक्शन नहीं है।

मॉड्यूल

स्थापना

जल्दी से गति प्राप्त करने के लिए, उबंटू क्विकस्टार्ट और मैक क्विकस्टार्ट ट्यूटोरियल देखें । वे आपको सिंगल कंप्यूटर पर जिपकिन चलाने में मदद करेंगे ताकि आप इसके साथ प्रयोग कर सकें।

अनुकूलन के बारे में थोड़ा सा।

कैसेंड्रा

जिपकिन का उपयोग अक्सर कैसेंड्रा के साथ संयोजन में किया जाता है। Redis के लिए एक प्लगइन भी है और हम अन्य डेटाबेस के लिए समर्थन देखना चाहेंगे।

क्लस्टर शुरू करने के निर्देशों के लिए कैसंड्रा वेबसाइट पर जाएं।
जिपकिन-अनुकूलित सर्किट का उपयोग करें। आप इसे निम्न $ cassandra-cli -host localhost -port 9160 -f zipkin-cassandra/src/schema/cassandra-schema.txtबना सकते हैं: $ cassandra-cli -host localhost -port 9160 -f zipkin-cassandra/src/schema/cassandra-schema.txt$ cassandra-cli -host localhost -port 9160 -f zipkin-cassandra/src/schema/cassandra-schema.txt

चिड़ियाघर संचालक

समन्वय के लिए जिपक ज़ूकीपर का उपयोग कर सकते हैं। यह वह जगह है जहाँ हम संदर्भ मानों को संग्रहीत करते हैं और सर्वरों को स्वयं पंजीकृत करते हैं।
स्थापना निर्देशों के लिए चिड़ियाघर कीपर वेबसाइट पर जाएँ।

मुंशी

Scribe एक लॉगिंग फ्रेमवर्क है जिसका उपयोग हम ट्रेस डेटा के परिवहन के रूप में ट्विटर पर करते हैं। जिपकिन ट्रेस डेटा पास करने के कई अन्य तरीके हैं; विशेष रूप से, यदि आप केवल जिपकिन को आज़माना चाहते हैं, तो आप इस कदम को पूरी तरह से छोड़ सकते हैं और सीधे जिपकट्रैसर को सीधे कलेक्टर के पास भेज सकते हैं।

जिपकिन के साथ स्वे का उपयोग करने के लिए, आपको एक नेटवर्क संलग्न भंडारण बनाने की आवश्यकता है, जो कलेक्टर डेमॉन में निर्दिष्ट है। जिपकिन में भंडारण की स्थापना कुछ इस तरह दिख सकती है:

 <store> category=zipkin type=network remote_host=123.123.123.123 remote_port=9410 use_conn_pool=yes default_max_msg_before_reconnect=50000 allowable_delta_before_reconnect=12500 must_succeed=no </store>

यदि आप अपने कलेक्टर के आईपी पते को हार्डकोड नहीं करना चाहते हैं, तो कई विकल्प हैं। कलेक्टरों के लिए एक आंतरिक DNS रिकॉर्ड का उपयोग करना है, इसलिए आपके पास एक जगह होगी जहां आपको कलेक्टरों को जोड़ते या हटाते समय पते बदलने होंगे। इसके अलावा, आप Scribe के एक संशोधित संस्करण का उपयोग कर सकते हैं, जो ZooKeeper के माध्यम से कलेक्टरों के पते उठाता है। जब कलेक्टर शुरू होता है, तो वह खुद को चिड़ियाघरकीपर के साथ पंजीकृत करता है, और जब वह काम पूरा करता है, तो यह स्वचालित रूप से हटा दिया जाता है। जब कलेक्टरों के साथ परिवर्तन होता है, तो संशोधित SUB सूचनाएं प्राप्त करता है। इस मोड को सक्रिय करने के लिए, zk://zookeeper-hostname:2181/scribe/zipkin या इसी तरह से करें।

जिपक सर्वर

हमने स्केला 2.9.1, एसबीटी 0.11.2 और JDK7 के साथ जिपकिन को विकसित किया।
उबंटू क्विकस्टार्ट और मैक क्विकस्टार्ट मैनुअल बताते हैं कि कलेक्टर और क्वेरी सेवाओं को कैसे स्थापित करें और चलाएं।

जिपकिन उई

यूआई एक नियमित रेल 3 एप्लीकेशन है।

अपने ZooKeeper सर्वर कॉन्फ़िगरेशन को अपडेट करें। इसका उपयोग क्वेरी डेमोंस की खोज के लिए किया जाता है।
रेल के अंतर्गत उपयुक्त एप्लिकेशन सर्वर तैनात करें। बिल्ट-इन परीक्षण के लिए भी उपयुक्त है: $ bundle install && bundle exec rails server

जेम जिपकिन-ट्रेसर रैक हैंडलर के माध्यम से एक रेल अनुप्रयोग के लिए अनुरेखण जोड़ता है। Config.ru में जोड़ें:

  use ZipkinTracer::RackHandler run <YOUR_APPLICATION>

यदि रेल एप्लिकेशन स्वयं स्थिर संपत्ति परोसता है, तो इन अनुरोधों का पता लगाया जाएगा।

Hadoop में एक कार्य चल रहा है

Hadoop में डेटा स्टोर करने के लिए Scribe को कॉन्फ़िगर करना संभव है। यदि आप ऐसा करते हैं, तो आप डेटा से विभिन्न रिपोर्ट बना सकते हैं जो कि जिप्किन में ही फ्लाई पर प्रोसेस करना आसान नहीं है।

हम स्काला से Hadoop के लिए कार्यों का निर्माण करने के लिए स्केलिंग नामक एक पुस्तकालय का उपयोग करते हैं।

हाडोप में एक कार्य शुरू करने के लिए, आपको पहले एक जार बनाने की आवश्यकता है। $ sbt 'project zipkin-hadoop' compile assembly
Scald.rb में, उस नोड का नाम बदलें जिसमें आप जार को कॉपी करना चाहते हैं और कार्य को चलाना चाहते हैं।
यदि आवश्यक हो तो scard.rb में जार संस्करण को अपडेट करें।
अब आप हमारी scald.rb स्क्रिप्ट का उपयोग करके कार्य चला सकते हैं। $ ./scald.rb --hdfs com.twitter.zipkin.hadoop.[classname] --date yyyy-mm-ddThh:mm yyyy-mm-ddThh:mm --output [dir]

पुस्तकालयों को कैसे तैयार किया जाए

हमने स्वयं कई पुस्तकालयों और प्रोटोकॉलों का निर्देश दिया है, लेकिन फिर भी उनकी संख्या बढ़ाने में कुछ मदद मिलने की उम्मीद है। आरंभ करने से पहले, हमें कुछ चीजों को जानने की जरूरत है कि डेटा कैसे ट्रेस किया जाता है।

एनोटेशन - इसमें कुछ मूल्य, समय टिकट और नोड पता शामिल हैं;
स्पैन - एनोटेशन का एक सेट जो एक विशिष्ट आरपीसी से मेल खाता है;
ट्रेस स्पैन का एक सेट है जो एकल रूट स्पैन साझा करता है।

जिपकिन को ट्रेस डेटा भेजते समय उपरोक्त का उपयोग किया जाता है। कुछ विवरण यहाँ वर्णित हैं ।
ट्रेस का एक और महत्वपूर्ण हिस्सा हल्का हेडर है, जिसका उपयोग हम सेवाओं के बीच जानकारी स्थानांतरित करने के लिए करते हैं। शीर्ष लेख में निम्न शामिल हैं:

ट्रेस आईडी - ट्रेस की पहचान करता है;
स्पैन आईडी - व्यक्तिगत अनुरोधों के पहचानकर्ता;
वैकल्पिक अभिभावक स्पैन आईडी - अगर यह अनुरोध दूसरे के हिस्से के रूप में किया गया था;
नमूना (बूलियन फ़ील्ड) - हमें बताता है कि ट्रेस डेटा रखना है या नहीं।

अब जब हम डेटा प्रकारों के बारे में थोड़ा जानते हैं, तो चलिए एक चरण-दर-चरण देखें कि इंस्ट्रूमेंटेशन कैसे काम करता है। नीचे दिए गए उदाहरण में मैं वर्णन करूंगा कि Finagle में HTTP ट्रेसिंग कैसे काम करता है। अन्य पुस्तकालयों और प्रोटोकॉल के लिए, क्रियाएँ, बेशक, भिन्न हो सकती हैं, लेकिन सामान्य सिद्धांत बना हुआ है।

सर्वर साइड

आने वाले अनुरोध में ट्रेस हेडर के लिए जाँच करें। यदि हां, तो हम इस अनुरोध से जुड़े पहचानकर्ताओं को स्वीकार करते हैं। यदि नहीं, तो हम एक ट्रेस आईडी, स्पैन आईडी बनाते हैं और यह तय करते हैं कि डेटा को सेव करना है या नहीं। एक उदाहरण के लिए HttpServerTracingFilter देखें।
यदि चयन में वर्तमान अनुरोध शामिल है, तो हम सेवा का नाम, होस्ट का नाम, नाम स्पैन (उदाहरण के लिए पुट मिल / डाल) और सीधे हमारे नोट जैसी जानकारी एकत्र करते हैं। जब हम अनुरोध प्राप्त करते हैं तो हम “सर्वर प्राप्त” नोट्स बनाते हैं और जब हम प्रसंस्करण समाप्त कर लेते हैं और परिणाम भेजते हैं। दोबारा, आप HttpServerTracingFilter में एक उदाहरण देख सकते हैं।
उत्पन्न ट्रेस डेटा सर्वर ऑब्जेक्ट में निर्दिष्ट ट्रैसर ऑब्जेक्ट को पास किया जाता है। यह हो सकता है, उदाहरण के लिए, ConsoleTracer, लेकिन हमारे मामले में ZipkinTracer का उपयोग किया जाता है। जब ZipkinTracer ट्रेस डेटा प्राप्त करता है, तो यह उन्हें स्पैन आईडी द्वारा समूहित करता है।
जैसे ही ज़िपकिनट्रैसर को "स्पैन ऑफ एंड" ईवेंट मिलता है, जैसे कि "सर्वर प्राप्त" नोट या एक टाइमआउट, यह एक थ्रॉफ्ट स्ट्रक्चर के रूप में एक Scribe को एकत्रित डेटा भेजता है। यदि ऐसी घटना नहीं होती है, तो डेटा अभी भी प्रेषित किया जाएगा। हम डेटा डिलीवरी के अन्य तरीकों को जोड़ने के लिए खुले हैं, थ्रिफ्ट और Scribe हमारे लिए समझ में आता है, लेकिन शायद JSON और Http कुछ मामलों के लिए बेहतर काम करेंगे।

ग्राहक पक्ष

अनुरोध निष्पादित करने से पहले, पता करें कि क्या हम पहले से ही ट्रेस का हिस्सा हैं। हो सकता है कि इस क्लाइंट का उपयोग सर्वर के भीतर हो और ट्रेस आईडी पहले से ही असाइन की गई हो। हम इस ट्रेस आईडी का पुनः उपयोग करते हैं, लेकिन एक नए अनुरोध के लिए एक नया स्पैन आईडी बनाते हैं। हम पिछले स्पैन के पेरेंट स्पैन आईडी भी स्थापित करते हैं, यदि कोई हो। यहाँ और यहाँ कुछ उदाहरण।
सर्वर-साइड विकल्प के समान, हमारे पास एक HttpClientTracingFilter है जो आउटगोइंग Http अनुरोध में ट्रेस हेडर जोड़ता है।
हमें सर्वर से प्रतिक्रिया प्राप्त करने के बाद अनुरोध से पहले "ग्राहक भेजना" और "ग्राहक प्राप्त करना" जैसे उचित नोट्स भी बनाने होंगे।
सर्वर संस्करण के समान, डेटा को ज़िपकिनट्रैसर द्वारा प्रेषित किया जाता है, जो उन्हें जिपकिन को भेजता है।

ट्विटर जिपकिन