आर के साथ कंप्यूटर उपयोग के आंकड़ों का दृश्य

मुझे लगता है कि बहुत से लोग रुचि रखते हैं (कम से कम जिज्ञासा से बाहर) वे अपने कंप्यूटर का उपयोग कैसे करते हैं: सबसे अधिक दबाए गए बटन, माउस द्वारा तय की गई दूरी, काम का औसत समय और अन्य जानकारी। इस लेख में मैं आपको एक विकल्प बताऊंगा कि इस तरह की जानकारी कैसे एकत्र करें और फिर इसे इंटरेक्टिव ग्राफ़ के रूप में प्रस्तुत करें। सभी वर्णित क्रियाएं Debian Wheezy , Python 2.7.3 , R 2.15 पर चलने वाले लैपटॉप पर की गईं।

डेटा संग्रह

यह सब इस तथ्य से शुरू हुआ कि यह गिरावट मैं अपने कंप्यूटर के उपयोग के बारे में सबसे पूर्ण आंकड़े रखना चाहता था। जल्दी से नहीं कहा: सबसे सरल keylogger ने लिखा, सभी कीस्ट्रोक्स और कीबोर्ड पर कुंजियों की रिहाई, माउस पर बटन, साथ ही सभी माउस आंदोलनों। इसके अलावा, यह विचार मुझे एक निश्चित अवधि के बाद वेबकैम के साथ एक फोटो लेने के लिए आया था, जिसे लागू भी किया गया था।
प्रारंभ में, सभी डेटा को केवल एक पाठ फ़ाइल में लिखा गया था, लेकिन फिर मैंने इसे "अच्छे के लिए" करने का निर्णय लिया और आखिरकार सभी घटनाओं का रिकॉर्ड SQLite डेटाबेस में स्थानांतरित कर दिया। इस तथ्य के बावजूद कि gzip संपीड़ित पाठ फ़ाइलों की तुलना में इसका आकार कई गुना बड़ा है (अब डेटाबेस 0.5 जीबी से थोड़ा अधिक लेता है), यह अभी भी अपेक्षाकृत छोटा है, और डेटाबेस से चयन करना अधिक सुविधाजनक है। कैमरे से तस्वीरें अभी भी अलग-अलग संग्रहीत की जाती हैं और उनका कुल आकार अब 2.2 जीबी (लगभग 30,000 फाइलें) है।

जानकारी की प्रस्तुति

इसलिए, डेटा रिकॉर्डिंग के साथ सब कुछ तय हो गया लगता है, यह सुविधाजनक ग्राफ़ और तालिकाओं के रूप में यह सब पेश करने के लिए बना हुआ है। चूंकि मैं काफी समय से R भाषा सीखने की योजना बना रहा था, लेकिन किसी तरह शुरू करने का कोई कारण नहीं था, मैंने इसका उपयोग करने का फैसला किया। सामान्य तौर पर, अन्य भाषाओं के बाद R का उपयोग करना शुरू करना काफी आसान था, हालांकि अभी भी कुछ असामान्य चीजें हैं: उदाहरण के लिए, अधिकांश मानक ऑपरेटरों और कार्यों को वेक्टर किया जाता है, डॉट द्वारा शब्द जुदाई के साथ एक नामकरण शैली को अपनाया जाता है (अन्य भाषाओं में _ या ऊंट मामले के बजाय)। सबसे पहले, मैंने केवल भाषा को ही ggplot2 और डेटा को संसाधित करने और प्रदर्शित करने के लिए मानक पैकेज में शामिल उपकरण (पर्याप्त रूप से समृद्ध, मुझे कहना होगा), फिर मैंने लचीले ggplot2 लिए ggplot2 पुस्तकालयों और डेटा सरणियों पर विभाजन-लागू-गठबंधन संचालन के लिए ggplot2 पाया। knitr मार्कअप और इसमें गणना किए गए आर (गणना का उपयोग knitr ) के साथ फाइलें बनाना भी संभव है, जो काफी सुविधाजनक है। हालाँकि, ये सभी स्टैटिक ग्राफ़ और टेबल हैं, और उनकी उपस्थिति में किसी भी बदलाव के लिए, डेटा के एक निश्चित सबसेट का चयन, हर बार कोड को फिर से लिखना आवश्यक है, लेकिन मैं कुछ और अधिक गतिशील चाहूंगा, जिसमें स्लाइडर्स, बटन और अन्य जैसे नियंत्रण रखने की क्षमता होगी।
जैसा कि यह निकला, R में इसे प्राप्त करने का एक सुविधाजनक तरीका हाल ही में दिखाई दिया, बहुत कम अतिरिक्त कोड के साथ। मैं इस उपकरण के पार आया था, संयोग से कहा जा सकता है, और इसका अफसोस नहीं है। खुद के लिए देखें: Shiny - "आर में आसान वेब अनुप्रयोग"। सबसे सरल उदाहरण उस पृष्ठ पर सही है, और इसे लिखना वास्तव में आसान है। मुझे कहना होगा कि Shiny काफी नया उत्पाद है, विकास (रिपॉजिटरी को देखते हुए) पिछले जून (2012) में शुरू हुआ और सक्रिय रूप से आगे बढ़ रहा है। मैंने इसमें कोई बग नहीं पाया, इसलिए मुझे लगता है कि इस परियोजना को स्थिर माना जा सकता है। वैसे, उसी साइट पर आप RStudio पा सकते हैं - R पर विकास के लिए एक सुविधाजनक IDE।
इस प्रकार, मैंने Shiny का उपयोग करके सांख्यिकी प्रदर्शन को लागू करना शुरू किया। फिलहाल क्या हुआ, इसके कुछ स्क्रीनशॉट:



आप इन पृष्ठों को (हालांकि स्थिर रूप में, अर्थात् नियंत्रण काम नहीं करते हैं) चमकदार- shample.aplavn.ru पर देख सकते हैं ।

यह देखा जा सकता है कि संभावनाएं वास्तव में समृद्ध हैं, और पृष्ठ की उपस्थिति को HTML , CSS और JavaScript कोड द्वारा पूरी तरह से बदला जा सकता है (मैं हर जगह मानक संस्करण का उपयोग करता हूं)। आसानी से, Shiny को किसी भी सर्वर को स्थापित करने की आवश्यकता नहीं होती है, आपको जो कुछ भी चाहिए वह आर-पैकेज में ही निहित है।

संक्षेप में कार्यान्वयन पर

सभी कोड (दोनों keylogger और विज़ुअलाइज़ेशन) BitBucket पर उपलब्ध है। अब मेरे पास मुकुट द्वारा हर मिनट पर एक capture फ़ाइल है, जो 50% संभावना के साथ एक शॉट लेता है और इसे बचाता है (इस तथ्य के कारण कि कैमरा तुरंत प्रारंभ नहीं करता है, 20 शॉट लिए जाते हैं और उनमें से अंतिम बच जाता है)। keylogger.py का प्रतिनिधित्व inittab a ( respawn विकल्प का उपयोग करके) के द्वारा लॉन्च की गई keylogger.py निष्पादन योग्य फ़ाइल द्वारा किया जाता है। statistics फ़ोल्डर में फाइलें keylogger.stats.R और keylogger.stats.Rmd , जिनमें से पहला चित्र के रूप में रेखांकन बनाता है, दूसरा - HTML पेज के रूप में knitr (दोनों, बेशक, स्थिर) का उपयोग करते हुए। अंत में, shiny_page फ़ोल्डर में पृष्ठ की फ़ाइलें ( ui.R , server.R ) और compute.data.R फ़ाइल होती हैं, जो सभी आवश्यक डेटा की गणना करती है (अब इसमें 30 सेकंड से 1 मिनट तक का समय लगता है, इसे अलग-अलग स्थान पर ले जाया जाता है, ताकि प्रत्येक की गणना न हो जब आप पृष्ठ खोलते हैं)। सुविधा के लिए, उसी फ़ोल्डर में एक Makefile है जो आपको make run कमांड के साथ एप्लिकेशन शुरू करने की अनुमति देता है।

सांख्यिकी गणना

प्रारंभ में, सभी गणना लगभग पूरी तरह से SQLite डेटाबेस के प्रश्नों द्वारा की गई थीं, लेकिन फिर, plyr पैकेज के कार्यों के साथ GROUP BY के प्रदर्शन की तुलना करते हुए, मैंने देखा कि SQLite इंडेक्स के साथ भी समान क्रियाओं को बहुत धीरे-धीरे करता है। एकमात्र (लेकिन महत्वपूर्ण) समस्या यह है कि इन कार्यों का उपयोग करने के लिए, आपको पूरे डेटा को मेमोरी में सेट करना होगा। अब जब compute.data.R , तो लगभग 1 जीबी मेमोरी का उपयोग किया जाता है, और थोड़ी देर बाद मेरे लैपटॉप पर 4 जीबी छूट जाएगा। इस मामले में, मुझे लगता है कि डेटाबेस टूल्स का उपयोग करके गणनाओं पर फिर से लौटना आवश्यक होगा, हालांकि यह बहुत धीमा होगा, लेकिन कम से कम यह काम करेगा (हालांकि, निश्चित रूप से, इस विषय पर सुझावों का स्वागत है)। तुलना के लिए, plyr का उपयोग करते हुए समान एसक्यूएल और आर कोड:

 SELECT field, COUNT(*) FROM Table GROUP BY field 

 ddply(dataset, ~field, nrow) 

आप अधिक जटिल, बहु-स्तरीय समूह भी कर सकते हैं। मेरे compute.data.R (SQL में एनालॉग के बिना, लेकिन मुझे लगता है कि पिछले उदाहरण के बाद यह दो-स्तर स्पष्ट होना चाहिए) से एक उदाहरण है:

 mouse.coords.by.win <- ddply( coords, ~window, function(df) { res <- ddply( df, .(x=as.integer(x/binsize), y=as.integer(y/binsize)), .fun=nrow, .drop=F) res$V1 <- res$V1 / max(res$V1) res$cnt <- nrow(df) res }) 

यह कोड प्रत्येक विंडो ( window कॉलम) के लिए विचार करता है, माउस का वितरण स्क्रीन पर वर्गों में binsize पक्ष के साथ समन्वय करता है।

पायथन कीलॉगर

एक्स सर्वर की घटनाओं को रोकने के लिए, xlib लिए Python xlib ; इन घटनाओं को SQLite डेटाबेस में दर्ज किया जाता है। यह ध्यान देने योग्य है कि कब से xlib से स्क्रिप्ट को root रूप में चलाया जाता root , xlib कॉल करने से पहले आपको पर्यावरण चर सेट करने की आवश्यकता होती है: os.environ['XAUTHORITY'] = '/home/USER/.Xauthority' । फिर हम प्रदर्शन से कनेक्ट करते हैं और हमें जिन घटनाओं की आवश्यकता होती है उन्हें प्राप्त करने के लिए रिकॉर्डिंग संदर्भ बनाते हैं (कीस्ट्रोक, बटन और माउस मूवमेंट):

 dpy = display.Display(':0') ctx = dpy.record_create_context( 0, [record.AllClients], [{ 'core_requests': (0, 0), 'core_replies': (0, 0), 'ext_requests': (0, 0, 0, 0), 'ext_replies': (0, 0, 0, 0), 'delivered_events': (0, 0), 'device_events': (2, 6), #    ,    :    ,    2  6 'errors': (0, 0), 'client_started': False, 'client_died': False, }]) dpy.record_enable_context(ctx, record_callback) #        record_disable_context  callback 

बाकी सभी कोड कॉलबैक फ़ंक्शन से ईवेंट प्राप्त कर रहे हैं, प्रसंस्करण कर रहे हैं और रिकॉर्डिंग कर रहे हैं। एक्स सर्वर से प्राप्त डेटा की जटिल संरचना के कारण, प्रसंस्करण के दौरान निम्नलिखित चक्र का उपयोग किया जाता है:

 def record_callback(reply): data = reply.data while len(data): event, data = rq.EventField(None).parse_binary_value(data, record_dpy.display, None, None) #   event 

अपने आप को संभालने वाली घटना में कुछ भी जटिल नहीं है: हम इसके प्रकार, अतिरिक्त डेटा (क्षेत्र विवरण) प्राप्त करते हैं और उन्हें लिखते हैं। हालांकि, चूंकि हम खिड़की (या इसके वर्ग) को रिकॉर्ड करना चाहते हैं, जहां घटना हुई, हमें इसे प्राप्त करने की आवश्यकता है। यह भी xlib से कार्यों का उपयोग करके किया जाता है:

 windowvar = dpy.get_input_focus().focus wmclass = windowvar.get_wm_class() 

बाकी कोड को कोड से कुंजी का सामान्य नाम मिल रहा है, घटना को डेटाबेस में संबंधित तालिका में लिख रहा है, और त्रुटि से निपटने। डेटाबेस में लेखन के साथ एक और छोटी विशेषता जुड़ी हुई है: यदि आप प्रत्येक फ्लश इवेंट में फ़ाइल में परिणाम को फ्लश करते हैं, तो जब उनमें से बड़ी संख्या में आते हैं, तो रिकॉर्ड के माध्यम से जाने का समय नहीं होगा। इसलिए, मैं लगभग हर 100 घटनाओं को रिकॉर्ड करता हूं:

 if randint(0, 100) <= 0: dbconn.commit() 

बेशक, इस मामले में, प्रक्रिया की असामान्य समाप्ति के दौरान, हाल की घटनाओं की एक छोटी संख्या को बचाया नहीं जाएगा, लेकिन इस मामले में यह महत्वपूर्ण नहीं है।

डेटाबेस स्कीमा:

 CREATE TABLE KeyEvents(TimeStamp REAL, KeyName TEXT, EventType INTEGER, WindowClass TEXT); CREATE TABLE MouseBtnEvents(TimeStamp REAL, KeyName TEXT, EventType INTEGER, WindowClass TEXT); CREATE TABLE MouseMoves(TimeStamp REAL, MoveX INTEGER, MoveY INTEGER, WindowClass TEXT); 

निष्कर्ष

नतीजतन, हम कह सकते हैं कि मुझे पता चला कि R - इस तरह की गणनाओं के लिए एक बहुत ही सुविधाजनक भाषा है, एक्स सर्वर घटनाओं के पारदर्शी कब्जा के साथ, और निश्चित रूप से मुझे मेरे कंप्यूटर उपयोग के सुंदर आंकड़े मिले। मेरे पास इस बारे में कुछ और विचार हैं कि चार्ट और टेबल अभी भी इस तरह की "रिपोर्ट" को जोड़ने के लायक हैं, लेकिन आपके विकल्पों को भी सुनना दिलचस्प होगा (यदि कोई पहले यहां पढ़ा था) ।


पुनश्च: कृपया आंकड़ों पर एक अच्छी किताब या ऑनलाइन कोर्स और / या प्राप्त आंकड़ों के चित्रमय दृश्य की सलाह दें।

UPD1: सिस्टम के मुख्य भागों के कार्यान्वयन के बारे में काफी अद्यतन जानकारी।