$ 172 222 प्रति सेकंड पर 45 मिनट कैसे खोना है

यह शायद सबसे दर्दनाक बग रिपोर्ट है जिसे मैंने कभी पढ़ा है। उन्होंने उन कदमों का रंग-ढंग से वर्णन किया है, जो पिछले साल हुए एक सॉफ्टवेयर बग के कारण नाइट कैपिटल द्वारा $ 465 मिलियन का नुकसान हुआ और कंपनी को दिवालिया कर दिया।

इस रिपोर्ट में एक विशाल, समर्थन से वंचित और एक चल रहे कोड बेस (लगभग 9 वर्षों से उपयोग नहीं किए गए कोड के निष्पादन के कारण एक त्रुटि हुई) और सॉफ्टवेयर डेवलपर्स और आईटी पेशेवरों के बीच बातचीत का एक भयानक और दुखद इतिहास में सभी तकनीकी ऋण विशेषताएँ शामिल हैं।

मुख्य विशेषताएं:

न्यूयॉर्क स्टॉक एक्सचेंज पर चलनिधि कार्यक्रम (पीएल) में अपने ग्राहकों की भागीदारी सुनिश्चित करने के लिए, जिसे 1 अगस्त, 2012 को लॉन्च किया जाना था, नाइट ने अपने सिस्टम में बदलाव और ऑर्डर प्रोसेसिंग प्रक्रिया से संबंधित प्रोग्राम कोड में कई बदलाव किए। इन परिवर्तनों में एसएमएआरएस में नए कोड का विकास और तैनाती शामिल थी। SMARS एक स्वचालित, उच्च गति, एल्गोरिथम राउटर है जो बाजार को आदेश भेजता है। SMARS के मुख्य कार्यों में से एक नाइट ट्रेडिंग प्लेटफॉर्म ("पैरेंट" ऑर्डर) के अन्य घटकों से ऑर्डर प्राप्त करना है, और, आवश्यक, उपलब्ध तरलता के आधार पर, निष्पादन के लिए बाहरी सेवाओं को एक या अधिक प्रतिनिधि (या "सहायक") ऑर्डर भेजें।

13. तैनाती करते समय, SMARS में नया PL कोड राउटर के संबंधित हिस्से में अप्रयुक्त कोड को बदलने वाला था। इस अप्रयुक्त कोड को पहले Power Peg फ़ंक्शन के लिए आवश्यक था, जिसे कंपनी ने कई वर्षों से उपयोग नहीं किया है। इसके बावजूद, यह चालू रहा और पनडुब्बी की तैनाती के दौरान बुलाया गया। नए पीएल कोड ने एक ध्वज का उपयोग किया था जो पहले पावर खूंटी से बंधा था। नाइट पावर पेग कोड को हटाना चाहता था ताकि जब यह ध्वज सक्रिय हो जाए, तो पनडुब्बी की नई कार्यक्षमता का उपयोग किया जाए, न कि पावर पीजी का।

14. इससे पहले, पॉवर पेग का उपयोग करते समय, सारांश फ़ंक्शन ने निष्पादित बाल आदेशों में शेयरों की संख्या की गणना की और माता-पिता के आदेश के पूरा होने के बाद बाल आदेशों को रोकने की आवश्यकता का संकेत दिया। 2003 में, नाइट ने पावर पेग का उपयोग करना बंद कर दिया। 2005 में, नाइट ने एसएमएआरएस कोड अनुक्रम के पहले चरण में पैतृक क्रम ट्रैकिंग फ़ंक्शन को स्थानांतरित करके पावर पेग कोड को बदल दिया। नाइट बदलाव के बाद पावर पेग कोड का बार-बार परीक्षण नहीं किया गया था, और हमें यकीन नहीं था कि प्रक्रिया अभी भी सही तरीके से काम करती है।

15. 27 जुलाई, 2012 से, नाइट ने एसएमएआरएस में एक नया उप कोड तैनात किया, इसे सीमित संख्या में सर्वर पर रखा। नए कोड की तैनाती के दौरान, एक तकनीशियन ने नए कोड को आठ एसएमएआरएस सर्वरों में से एक में कॉपी नहीं किया था। नाइट में तैनाती का परीक्षण करने के लिए दूसरा तकनीशियन नहीं था, और कोई भी यह नहीं समझता था कि पावर पेग कोड को आठवें सर्वर से नहीं हटाया गया था और कोई नया पीएल कोड नहीं जोड़ा गया था। नाइट में कोई लिखित प्रक्रिया नहीं थी जिसके लिए इस तरह के सत्यापन की आवश्यकता होगी।

16. 1 अगस्त को, नाइट को ब्रोकर-डीलरों के आदेश मिले जिनके ग्राहक उप में भाग ले सकते थे। सात सर्वर ने आदेशों को सही ढंग से संसाधित किया। लेकिन लॉन्च फ्लैग सेट के साथ सर्वर 8 को भेजे गए आदेशों ने दोषपूर्ण पावर पेग कोड लॉन्च किया, जो अभी भी इस सर्वर पर मौजूद था। नतीजतन, सर्वर ने माता-पिता के रूप में आदेश ले लिया और व्यापारिक केंद्रों को बाल आदेश भेजना शुरू कर दिया। इस तथ्य के कारण कि माता-पिता के आदेश के निष्पादन की जांच करने का कार्य प्रक्रिया के एक अन्य चरण में स्थानांतरित किया गया था, सर्वर ने बाल आदेशों को गैर-रोकना जारी रखा - इस तथ्य पर ध्यान नहीं देना कि मूल आदेश पहले ही पूरा हो चुका है। हालांकि ऑर्डर प्रोसेसिंग सिस्टम का कुछ हिस्सा यह निर्धारित करता है कि मूल आदेश पूरा हो गया था, यह जानकारी SMARS में नहीं मिली।

19. 1 अगस्त को, नाइट को भी पनडुब्बियों से संबंधित आदेश मिले, लेकिन बाजार खुलने तक व्यापार करने का इरादा था। छह एसएमएआरएस सर्वर ने इन आदेशों को संसाधित किया और सुबह 8:01 बजे के आसपास शुरू हुआ, आंतरिक सिस्टम ने स्वचालित संदेश ("बीनेट विफलता" कहा जाता है) उत्पन्न किया जो एसएमएआरएस को संदर्भित करता है और त्रुटि को "पावर पेग डिसेबल" के रूप में वर्णित करता है। नाइट सिस्टम ने सुबह 9:30 बजे तक 97 ऐसे संदेश भेजे, जब बाजार खुला। इस प्रकार के संदेशों को सिस्टम द्वारा खतरनाक नहीं माना जाता था, और कर्मचारी उन्हें बिल्कुल नहीं पढ़ते थे।

फिर और भी मजेदार:

27. 1 अगस्त को नाइट के पास कोई घटना प्रतिक्रिया प्रक्रिया नहीं थी। दूसरे शब्दों में, गंभीर समस्या होने पर कंपनी के पास कार्मिक प्रबंधन के लिए नियंत्रण प्रक्रिया नहीं थी। 1 अगस्त को, नाइट ट्रेडिंग वातावरण में एसएमएआरएस में समस्याओं की पहचान करने और उन्हें ठीक करने के लिए नाइट ने तकनीशियनों की अपनी टीम की सेवाओं का उपयोग किया। नाइट सिस्टम ने लाखों "बच्चे" आदेश भेजना जारी रखा, जबकि कर्मचारियों ने समस्या के स्रोत की पहचान करने की कोशिश की। कंपनी ने सात सर्वरों से नया पीएल कोड भी हटा दिया, जिस पर इसे सही ढंग से स्थापित किया गया था। इसने स्थिति को बढ़ा दिया, क्योंकि नए "माता-पिता" के आदेशों ने इन सर्वरों पर मौजूद पावर पेग कोड को सक्रिय कर दिया था, जो पहले से ही आठवें सर्वर पर हुआ था।

बेशक, यह पूरे दस्तावेज को पढ़ने के लायक है, यह इस तरह की त्रासदी से बचने के लिए लोगों द्वारा निष्पादित नई सत्यापन प्रक्रियाओं पर बहुत ध्यान देता है। डेवलपर्स की गलतियाँ, निश्चित रूप से मानवीय कारक से जुड़ी थीं, लेकिन इस तरह के परिणाम एक खराब तैनाती परिदृश्य और घृणित निगरानी का परिणाम थे। यह किस तरह का कार्यालय है, जिसमें वे क्लस्टर के सॉफ्टवेयर संस्करण की जांच भी नहीं करते हैं। परिनियोजन परिदृश्य का उल्लेख नहीं करने के लिए जिसमें रिटर्न कोड की जाँच की जाती है।

हम केवल उम्मीद कर सकते हैं कि अप्रयुक्त कोड की "लिखित सत्यापन प्रक्रियाएं" व्यवस्थित परीक्षणों से जुड़ी हों, हालाँकि विकिपीडिया कहता है कि ऐसा नहीं है।

और मिठाई के लिए: जुर्माना एक और 12 मिलियन डॉलर था, एक ऑडिट ने दिखाया कि सिस्टम लगातार सट्टा कम बिक्री करने की कोशिश कर रहा था।