हम अन्य लोगों के ब्रेक के आसपास जाते हैं

मैंने Skype से स्व-लिखित उपयोगिता के साथ संदेश इतिहास का समर्थन किया, एक साल पहले यह ठीक काम करता था, और अब यह धीरे-धीरे धीमा हो गया है। यह अस्वीकार्य है, हो सकता है। निर्यात की गति के लिए, यह लिखा गया था, इसलिए मैं प्रोफाइलर में चढ़ गया। नतीजतन, उन्होंने सब कुछ सीखा और कई ज्ञान प्राप्त किए। यह पता चला है कि आपको एक उप-लिफाफे के साथ लोड किए गए सिस्टम DLL में एक फ़ंक्शन पर एक ब्रेकपॉइंट सेट करना होगा, और न केवल नाम से, लेकिन यह आसान हो सकता है। यह पता चला है कि Skype API को क्रूरतापूर्वक स्थानों पर लिखा गया है, यही कारण है कि ब्रेक। यह पता चला है कि विदेशी बायनेरिज़ को कभी-कभी प्रोक और ऑप्टिमाइज़ करना आसान हो सकता है (एमएस रिसर्च की महिमा!)। यह पता चला है कि प्रोफाइलर बहुत झूठ बोल सकता है, और न केवल इसे हल्के से काट सकता है। अधीर के लिए खोजशब्द: C ++, VS, CodeAnalyst, Skype COM API, MS Research, Detours, SQLite; और बाकी सभी के लिए, विवरण कटौती के अधीन हैं।

संक्षेप में, पृष्ठभूमि। लगभग डेढ़ साल पहले, मैं स्काइप लॉग को एक पाठ प्रारूप में निर्यात करना चाहता था जो व्यक्तिगत रूप से मेरे लिए सुविधाजनक था (लगभग छोटे बदलाव के साथ, चैट से कट / पेस्ट)। निर्यात के लिए सभी उपयोगिताओं को कुछ भी पसंद नहीं आया। या उन्होंने बेरहमी से ब्रेक लगाया (क्योंकि वहाँ 300 से कम संपर्क और लॉग में 360,000 से अधिक संदेश हैं); असहज प्रारूप में या तो लिखित लॉग; या तो इन सभी परेशानियों को एक बार में; या तो मूर्खता से काम नहीं किया, आदि। मैंने अपना लिखने का फैसला किया, यह निकला। सबसे पहले मैंने पायथन के लिए Skype API बाइंडिंग की कोशिश की, यह धीमा हो गया। फिर मैंने Skype4COM और C ++ की कोशिश की, यह बहुत तेजी से निकला। परिणाम लॉग निर्यात करने के लिए एक बहुत जल्दी उपयोगिता है। कट्टर, सांत्वना और सी ++ में, बिल्कुल।

एक बार फिर मुझे कुछ हफ़्ते पहले बैकअप के बारे में याद आया, एक सिद्ध उपयोगिता लॉन्च की और ... मुझे एहसास हुआ कि मैं अंत तक इंतजार नहीं कर सकता। निर्यात, जिसमें कई मिनट लगते थे, लगभग आधे घंटे में लगभग 10% उन्नत हुआ, ईटीए लगभग 5 घंटे। अस्वीकार्य रूप से लंबा है। क्या हो रहा है!

हम उपयोगिता को थोड़ा ठीक करते हैं, निर्यात की गई चैट की संख्या को सीमित करते हैं (जैसा कि मैं इसे समझता हूं, किसी कारण से Skype अलग-अलग तथाकथित चैट, IChat में समान संपर्कों के साथ व्यक्तिगत संचार सत्रों को तोड़ता है), हम आधार समय को नोट करते हैं। फिर हम प्रोफाइलर को लॉन्च करते हैं, सौभाग्य से, कोडअनलिस्ट अब विजुअल स्टूडियो में एकीकृत हो गया है और सिर्फ 2-3 क्लिक में लॉन्च किया गया है। और ध्यान से परिणाम देखें।

exporting chat 100/7014...
exported 3925 events in 18.1 sec



प्रोफ़ाइल घुंघराले दिखती है, प्रक्रिया समय का 81% कर्नेलबेसडल द्वारा खाया जाता है, एक और 12% skype4com.dll, आप स्वयं भी कार्यक्रम नहीं देख सकते हैं। राजद्रोह! यह मेरा कोड नहीं है जो धीमा हो जाता है (जो संपादित करना आसान है), लेकिन किसी तरह का तीसरा पक्ष। लेकिन कौन सा?

आंतरिक रूप से कार्य को जीतें InternalLcidToName, LCMapStringEx, NlsValidateLocale। ये सभी लोग कौन हैं? मैं अपने कोड से ऐसा कुछ नहीं कहता। इसलिए मैं फोन नहीं कर रहा हूं इसलिए, आपको यह पता लगाने की आवश्यकता है कि उन्हें कहां से बुलाया जाता है, और फिर यह संभवतः स्पष्ट हो जाएगा कि क्यों, और इसके बारे में क्या किया जा सकता है। हमें टॉप फंक्शन इंटरनलसिडॉटनेम पर ब्रेकपॉइंट लगाने की जरूरत है, स्टैक देखें। उफ़, एक समस्या। ब्रेकर के कार्य के नाम से मूर्खतापूर्ण नहीं डाला जाता है। कैसे हो?

मुझे दो विकल्प पता हैं, लेकिन शायद और भी हैं। सबसे पहले, चूंकि प्रोफ़ाइल में संपूर्ण फ़ंक्शन शीर्ष-अंत है, फिर हम गलती से निष्पादन को कई बार बाधित करते हैं, हम निश्चित रूप से इसमें प्रवेश करेंगे। दूसरे, थोड़ा गुगली करके, मैं मैजिक लाइन {,, KernelBase.dll} @ InternalLcidToName @ 8 पा सकता हूं - यह पता चलता है कि वांछित चरित्र को उस तरह से कहा जाता है, जैसे कुत्तों और एक नंबर के साथ। थोड़ा आगे चलने पर, संख्याएँ हमेशा 4 से अधिक होती हैं, और आम तौर पर ढेर के आकार की तरह दिखती हैं, और प्रमुख कुत्ते के बजाय, "सार्वजनिक" वर्णों के लिए अंडरस्कोर विशिष्ट होते हैं। इस पर ध्यान देने के बाद, मेन्यूइंग के सटीक नियम खोज, अध्ययन और लागू करने के लिए विकल्पों की एक जोड़ी (कुत्ते / अंडरस्कोर, 4/8/12/16 ...) की तुलना में अधिक लंबे होते हैं, या यहां तक ​​कि कुछ _GetStringTypeW '16 s में मिलते हैं। पहला शॉट। खैर, बहुत दूर के भविष्य के लिए जरूरी आंतरिक लाईसेंसडॉटनेम नहीं लौटाए, बार-बार एफ 5 को पोक करने और आंकड़े इकट्ठा करने से दो दिलचस्प चीजें दिखाई देती हैं। पहली बात यह है कि अधिकांश कॉल का स्टैक इस तरह दिखता है।

KernelBase.dll!@InternalLcidToName@8()
KernelBase.dll!_LCMapStringW@24() + 0x46 bytes
Skype4COM.dll!280c69f2()
// Skype4COM.dll
// ,

दूसरा, वह बार-बार निष्पादित कोड इस तरह दिखता है। इसी समय, यह हमेशा एक ही कोडपथ पर चलता है।

@InternalLcidToName@8:
752F6F33 mov edi,edi
752F6F35 push ebp
752F6F36 mov ebp,esp
752F6F38 push ecx
752F6F39 push edx
752F6F3A lea eax,[ebp-4]
752F6F3D push eax
752F6F3E mov dword ptr [ebp-4],ecx
752F6F41 call _NlsValidateLocale@8 (752F6E04h)
752F6F46 test eax,eax
752F6F48 je @InternalLcidToName@8+17h (7531BAB0h)
752F6F4E push eax
752F6F4F call _LocaleNameFromHash@4 (752F6F13h)
752F6F54 leave
752F6F55 ret

उन। हमारी तीन शीर्ष प्रोफ़ाइल सुविधाएँ एक, _LCMapStringW के नीचे आती हैं। अन्य दो, आंतरिक के विपरीत, यह फ़ंक्शन सार्वजनिक इंटरफ़ेस का काफी हिस्सा है और MSDN में वर्णित है, Google तुरंत लिंक msdn.microsoft.com/en-us/library/dd318700%28v=vs.85%29.aspx पाता है - यह पता चला है किसी कारण से यह एक स्थान से दूसरे खाने के लिए लाइनों का रूपांतरण, यदि स्वयं में नहीं है।

ठीक है, हम अगला ब्रेक (प्रतीक _LCMapStringW @ 24 स्टैक पर, सुविधाजनक रूप से तुरंत दिखाई देते हैं) और कार्यक्रम में कुछ और, और दो चीजों को देखते हैं। जो, वास्तव में, एक एपीआई कॉल इस सबसे महंगी LCMapString के लिए एक कॉल की ओर जाता है (इसके लिए, प्रोग्राम में ब्रेक)। और कौन से पैरामीटर अंततः स्थानांतरित किए जाते हैं (फ़ंक्शन के लिए इस टूटने के लिए)। कई बार फ़ंक्शन के माध्यम से आगे बढ़ने पर, यह देखा जा सकता है कि कोड हमेशा इस पथ का अनुसरण करता है:

752F8188 push 0
752F818A push 0
752F818C push 0
752F818E push dword ptr [ebp+1Ch]
752F8191 push dword ptr [ebp+18h]
752F8194 push dword ptr [ebp+14h]
752F8197 push dword ptr [ebp+10h]
752F819A push dword ptr [ebp+0Ch]
752F819D push eax
752F819E call _LCMapStringEx@36 (752F81ACh)

तदनुसार, सभी मापदंडों को बहुत स्पष्ट रूप से देखा जा सकता है; यहाँ वे सभी स्टैक पर (रिवर्स ऑर्डर में) धकेल दिए जाते हैं। उनकी सावधानीपूर्वक परीक्षा के परिणाम, हालांकि, पहली बार में झटका लगा, और फिर जबड़े की अनैच्छिक गिरावट और मुंह से फोम के अनियंत्रित रिसाव का कारण बनता है।

यह पता चला है कि प्रत्येक के लिए (प्रत्येक) IChatMessage :: GetBody विधि के लिए, निम्न होता है।

सबसे पहले, LCPLAP_LOWERCASE ध्वज ("लोकेल पर आधारित लोअरकेस बनाएं") के साथ, # APPLICATIONCALLCHATMESSAGECHATMEMBERCHATGROUPSMSUSERVOICEMAIL डेटा (लोकेल पर आधारित लोअरकेस बनाएं), जबकि लोकेल एन-यूएस है। यह हो सकता है कि अन्य मशीन में एक अलग (मेरे पास विंडोज़ की इंटरफ़ेस भाषा है विशेष रूप से एन-यूएस), लेकिन साधारण लैटिन अक्षरों को निचले मामले में परिवर्तित करने के लिए यह महत्वपूर्ण नहीं है। बस यह डेटा एक लंबी लाइन में नहीं आता है, और कुछ छोटी लाइनों में भी नहीं, लेकिन ... एक समय में एक चरित्र ।

तब, जाहिर है, इस उन्माद को लिखने वाले हिंदू को कुछ संदेह होने लगता है, क्या होगा अगर आपको निचले मामले में एक और प्रोटोकॉल कमांड लाना है, और हमारे पास ब्रेक और सिस्कोल्स का एक गुच्छा है? इसलिए, एक शानदार निवारक अनुकूलन। और पूरी तालिका 0 से 255 तक समावेशी LCMapStringEx फ़ंक्शन में आती है, फिर से, प्रति कॉल एक बाइट। और सिर्फ मामले में, यह लगातार 2 बार किया जाता है।

फिर शानदार अनुकूलन जारी है। (या हो सकता है कि यह कोड में किसी अन्य स्थान पर किसी अन्य भारतीय द्वारा किया गया हो।) और फिर, 0 से 255 तक की पूरी तालिका फ़ंक्शन में उड़ जाती है! लेकिन प्रत्येक बाइट को अब 3 बार पंक्ति में दोहराया जाता है। मुझे व्यक्तिगत रूप से लगता है कि यह दृष्टिकोण पिछले एक की तुलना में अधिक सही है, ज़ाहिर है। दो क्रोनोमीटर समुद्र में नहीं ले जाया जा सकता है, एक या तीन को लिया जाना चाहिए।

कुल मिलाकर, 1000 से अधिक LCMapStringEx प्रत्येक [सेंसर्ड] संदेश के लिए 1 (एक) संदेश लेने का प्रयास करते हैं, प्रत्येक कॉल आकार में बिल्कुल 1 बाइट लाइन पर किया जाता है। इसके माध्यम से, संदेश पाठ के 5000 लेता है सीपीयू के 5-10 सेकंड। यह दो साल पहले स्काइप COM एपीआई के संस्करण पर निर्भर नहीं करता है, कि वर्तमान एक समान रूप से धीमा हो जाता है।

भाड़ में जाओ, Skype एपीआई के अंदर बकवास। ऐसा लगता है कि मजबूत पेशेवर लिखना।

समस्या स्पष्ट है, क्या करना है? आदर्श रूप से, इन कॉलों को पूरी तरह से समाप्त कर दिया जाना चाहिए, लेकिन किसी अज्ञात स्थान पर skype4com.dll को पैच करना आलसी है (जो जानता है कि यह LCMapString कितने अलग-अलग बिंदुओं से खींचा गया है), और दूसरा यह कि यह भयावह है (जो जानता है कि कीड़े अचानक क्या करेंगे)। यह फ़ंक्शन को स्वयं को बदलने और 1 बाइट के साथ कॉल के बहुत मामले के लिए इससे त्वरित निकास करने के लिए भीख माँगता है। एक सरल तकनीक लंबे समय से ज्ञात है: स्मृति में एक फ़ंक्शन का पता लें, अपने फ़ंक्शन से जेएमपी डालें, यदि आवश्यक हो, तो उन निर्देशों को निष्पादित करें जो शुरुआत में जाम हो गए थे और मूल एक पर वापस आ गए थे। हालांकि, तकनीक थकाऊ है और इसे कोडांतरक कलम के साथ काटने के लिए थोड़ा आलसी है।

यह पता चला है कि यह अब आवश्यक नहीं है! एमएस रिसर्च ने पहले से ही हमारे लिए सब कुछ सोचा और किया। प्रकृति में, डेट्रॉज़ नामक एक पुस्तकालय है, जो बस और सब कुछ कर सकता है। उदाहरण के लिए, आप किसी फ़ंक्शन को किसी तृतीय-पक्ष .exe में प्रतिस्थापित कर सकते हैं, इसे बिल्कुल संशोधित किए बिना, अपने कार्यान्वयन को अपने DLL से फ़्लाई पर पुश करें। खैर, मेरी उपयोगिता के लिए, डीटॉर्स आवश्यक प्रतिस्थापन के लिए एक सरल और सहज ज्ञान युक्त C / C ++ इंटरफ़ेस प्रदान करता है, simple.cpp नाम के साथ एक उदाहरण पर्याप्त से अधिक है। हम एक जीवित मजदूरी (detours.h, syelog.lib, detoured.lib, detours.lib) पर हुक करते हैं, कोड की 20 लाइनें जोड़ते हैं, और ...

#define PROTO (LCID Locale, DWORD dwMapFlags, LPCWSTR lpSrcStr, int cchSrc, LPWSTR lpDestStr, int cchDest)
static int (WINAPI * TrueMap) PROTO = LCMapStringW;
int WINAPI MyMap PROTO
{
if (Locale==1033 && dwMapFlags==256 && cchSrc==1)
{
*lpDestStr++ = *lpSrcStr++;
*lpDestStr++ = 0;
return 1;
}
return TrueMap(Locale, dwMapFlags, lpSrcStr, cchSrc, lpDestStr, cchDest);
}

// ...
DetourRestoreAfterWith();
DetourTransactionBegin();
DetourUpdateThread(GetCurrentThread());
DetourAttach(&(PVOID&)TrueMap, MyMap);
LONG error = DetourTransactionCommit();
if (error != NO_ERROR)
printf ( "error detouring LCMapStringW(); export might be slower (code=%d)\n", error );

// ...

exporting chat 100/7014...
exported 3925 events in 5.8 sec

कुल मिलाकर, मुहावरों को छोटा करना और आम तौर पर अनावश्यक (!) सिस्टम कॉल का उपयोग करके निचले मामले में सभी का बाइट-बाय-लाइन अनुवाद, उन्होंने पूरे कार्यक्रम को 3.1 गुना तेज कर दिया। बुरा नहीं, बुरा नहीं। हम प्रोफ़ाइल में आगे देखते हैं!



तस्वीर नाटकीय रूप से बदल गई है। अब कर्नेलबेसेडल केवल 20% खाता है, बाकी को स्काइप 4 कॉमोडल के अज्ञात विल्ड में किया जाता है, जिसे आप इतनी आसानी से नहीं ले सकते। हालाँकि, यह GetDriveType कॉल के साथ स्थिति की जांच करने के लिए स्पष्ट रूप से भीख माँगता है। यह फ़ंक्शन डिस्क के प्रकार (रिमूवेबल, नॉन-रिमूवेबल, सीडी-रोम, रैम या नेटवर्क) को निर्धारित करता है, यदि इसे हजारों बार भी कहा जाता है, तो यह परिणाम को कैश करने के लिए शुरू होता है। यहां हम एक और छोटी खोज की प्रतीक्षा कर रहे हैं।

यह पता चला है कि प्रोफाइलर झूठ बोल रहा है और काफी ध्यान देने योग्य है। फ़ंक्शन _GetDriveTypeW को प्रोग्राम की संपूर्ण अवधि के लिए 1 (एक) समय कहा जाता है। प्रोफाइल में, यह काफी ध्यान से परिलक्षित होता है, भले ही आप 1000 चैट का निर्यात करते हैं, और 100 नहीं, लेकिन यह वास्तव में समय नहीं खाता है।

हालाँकि, प्रोफाइलर _GetStringTypeW के बारे में झूठ नहीं बोलता है। _LCMapStringW कॉल विश्लेषण के समान कुछ सरल जोड़तोड़ करने के बाद, हमें पता चलता है कि निर्यात के दौरान, इसका मूल कार्य GetStringTypeEx भी 0 से 255 तक हर बाइट के लिए लगातार खींचा जाता है (जो इस पर संदेह करेगा)। GetStringTypeEx को इंटरसेप्ट करके और अन्य 20 लाइनों के कैश से सिंगल-बाइट केस के लिए परिणाम लौटाते हुए, हमें एक और 15% त्वरण मिलता है, लेकिन केवल 3.6 गुना।

exporting chat 100/7014...
exported 3925 events in 5.0 sec

दिलचस्प बात यह है कि इस अनुकूलन के बाद, कर्नेलबेस डी पूरी तरह से प्रोफ़ाइल से गायब हो जाता है। शेष समय का 62% skype4com.dll द्वारा खपत किया जाता है, एक अन्य 12% ntdll.dll (आवंटन और महत्वपूर्ण अनुभागों के लिए) का उपयोग करता है, कार्यक्रम खुद 8% और फिर किसी भी प्रणालीगत सामान को खाता है। यह महसूस किया जाता है कि अनुकूलन की क्षमता 3-5 गुना काफी है, हालांकि, एमएसडीएन में उनके लिए फ़ंक्शन और प्रलेखन के नामों के साथ क्या हो रहा है, इससे निपटना त्वरित है, और ऑफशियस स्काइपप्रोकोमॉडल को अलग करने के लिए कोई हॉटस्पॉट नहीं है। और क़ीमती 360 हज़ार संदेशों का निर्यात पहले से ही 10 मिनट से कम समय लेता है, जो स्वीकार्य है।

एक छोटा तकनीकी सारांश लगता है कि पहले से ही लेख की शुरुआत में संक्षेप में प्रस्तुत किया गया है। आसपास रहने वाले लोग हैं, जिनमें स्काइप जैसी प्रतिष्ठित कंपनियां शामिल हैं, और कुछ स्थानों पर वे कोड लिखते हैं ... जैसे जीवित लोग। कभी-कभी स्थिति को न्यूनतम प्रयास के साथ ठीक किया जा सकता है, भले ही यह तीसरे पक्ष के पुस्तकालय में धीमा हो, जिसके लिए कोई स्रोत नहीं हैं। ब्रेक की जांच करने और अनुकूलन करने में मुझे बस कुछ ही घंटे लगे, डेट्रॉइट्स को माहिर करने (पहली बार मैंने इसे देखा और कोशिश की) सहित। मुझे डर है कि नोट तैयार करने में अधिक समय लगा। एक शक्तिशाली उपकरण, जब सही तरीके से उपयोग किया जाता है, तो यह स्पष्ट रूप से छोटे चमत्कार कर सकता है।

... और Skype, संदेश लॉग को नियमित SQLite डेटाबेस में संग्रहीत करता है, जिसे SQLite ब्राउज़र द्वारा सामान्य SQL सिंटैक्स का उपयोग करके सफलतापूर्वक खोला और प्रबंधित किया जाता है। स्पष्ट रूप से एक संपर्क के लिए इतिहास साफ़ करें? कृपया। सभी के लिए, सही गहराई तक (सेटिंग्स बदलते समय Skype खुद को क्या नहीं करता है)? आसानी से। छीन लिया आधार का अनुकूलन? फिर से एक क्लिक लेकिन यह एक और है, सी + + - नैया कहानी नहीं है;)

आप के लिए सफल अनुकूलन।