vk.com - ऑडियो, दस्तावेज़, दीवार सामग्री सहेजें

मैंने लंबे समय से देखा है कि सामाजिक नेटवर्क पर डेटा खराब तरीके से संग्रहीत किया जाता है। उदाहरण के लिए, आपके द्वारा किया गया रिपॉस्ट खाली होगा यदि मूल पोस्ट का लेखक इसे हटा देता है। वीके में ऑडियो रिकॉर्डिंग के साथ हाल की समस्याएं अंतिम भूसे थीं, और मैंने स्थानीय रूप से सभी डेटा को बचाने का फैसला किया जो परमाणु युद्ध की स्थिति में रुचि का हो सकता है। तैयार किए गए समाधानों की तलाश के बाद, मुझे ऐसा कुछ भी नहीं मिला जो मुझे सूट करे, इसलिए कुछ दिनों में पायथन में एक पटकथा लिखी गई।

लक्ष्यों

सब कुछ आप कर सकते हैं सहेजें: ऑडियो, दस्तावेज़, दीवार। पोस्ट के सभी अटैचमेंट्स को दीवार से खींच लिया जाना चाहिए, और सभी अटैचमेंट्स के साथ टिप्पणी करना भी बेहतर नहीं होगा। यह कम से कम आवश्यक है ताकि संगीत और टिप्पणियों के साथ सभी पोस्ट संरक्षित रहें, जहां दोस्त अच्छे ट्रैक या सील भेजते हैं। मुझे तुरंत कहना होगा कि मेरे उद्देश्यों के लिए अतिरिक्त जानकारी (पसंद, रिकॉर्ड निर्माण समय, आदि) का कोई पठनीय बैकअप नहीं था।

कारण के लिए!

इस तरह के एक एप्लिकेशन को बनाने की प्रक्रिया पहले से ही हब पर एक से अधिक बार वर्णित की गई है , इसलिए मैं सभी विवरणों को नहीं दोहराऊंगा, मैं संक्षेप में चरणों का वर्णन करूंगा, और मैं समस्याओं के बारे में कुछ शब्द भी कहूंगा। स्रोत कोड के साथ लेख को अतिभारित होने से रोकने के लिए, अंत में गिटब का लिंक होगा।

विकास संबंधी बातें

• सबसे पहले, आपको अपने आप को एक आवेदन आईडी प्राप्त करने की आवश्यकता है। यह महत्वपूर्ण है कि प्रकार स्टैंडअलोन है , अन्यथा कुछ vk api विधियां उपलब्ध नहीं होंगी।
• अभी भी उस यूजर की आईडी की जरूरत है जिसका डेटा हम सेव करेंगे। आप सेटिंग पृष्ठ पर अपना पा सकते हैं
• काम करने के लिए आवेदन के लिए, आपको उपयोगकर्ता की अनुमति चाहिए, या इसके बजाय, टोकन तक पहुंचें। टोकन प्राप्त करने के लिए कोई प्रत्यक्ष गैर-संवादात्मक तरीका नहीं है, आप प्राधिकरण पृष्ठ को पार्स कर सकते हैं, लेकिन उपयोगकर्ता को ब्राउज़र में बटन पर क्लिक करने और यूआरएल को कॉपी करने के लिए कहना आसान है। इसके लिए जिम्मेदार () फ़ंक्शन जिम्मेदार है:
  

  url = "https://oauth.vk.com/oauth/authorize?" + \ "redirect_uri=https://oauth.vk.com/blank.html&response_type=token&" + \ "client_id=%s&scope=%s&display=wap" % (args.app_id, ",".join(args.access_rights)) print("Please open this url:\n\n\t{}\n".format(url)) raw_url = raw_input("Grant access to your acc and copy resulting URL here: ") res = re.search('access_token=([0-9A-Fa-f]+)', raw_url, re.I) 

  
  
• Vk एपीआई अनुरोधों की सीमा प्रति सेकंड से अधिक नहीं है। यदि आप अक्सर सर्वर तक पहुंचते हैं, तो यह एक त्रुटि के साथ जवाब देगा। यह काफी सुविधाजनक है: त्रुटि कोड से आप समझ सकते हैं कि स्क्रिप्ट बहुत तेजी से काम कर रही है, थोड़ी देर प्रतीक्षा करें और अनुरोध दोहराएं।
  

    if result[u'error'][u'error_code'] == 6: # too many requests logging.debug("Too many requests per second, sleeping..") sleep(1) continue 

  
  
• समय-समय पर, वीके सर्वर को कैप्चा को हल करने की आवश्यकता होती है, यह संदेह करते हुए कि ग्राहक एक बॉट है। सामान्य तौर पर, वह सही ढंग से संदेह करता है। ताकि बचत प्रक्रिया बाधित न हो, आपको उपयोगकर्ता से तस्वीर के लिंक का पालन करने के लिए पूछना होगा, जवाब में कैप्चा को हटाना और ड्राइव करना होगा। यह सीधा नाम कैप्चा () के साथ एक फ़ंक्शन में प्रस्तुत किया गया है:
  

    print("They want you to solve CAPTCHA. Please open this URL, and type here a captcha solution:") print("\n\t{}\n".format(data[u'error'][u'captcha_img'])) solution = raw_input("Solution = ").strip() return data[u'error'][u'captcha_sid'], solution 

  
  
• लिंक, JSON में लाइक और सर्वर प्रतिक्रियाओं की संख्या जैसी अतिरिक्त जानकारी केवल मामलों में, फाइलों को लिखी जाएगी।
• कुछ ऑडियो रिकॉर्डिंग गीत के साथ होती हैं, जो सहेजने के लिए भी समझ में आता है।
• फ़ाइल नाम फ़ाइल सिस्टम के लिए सही नहीं हो सकता है, इसलिए आपको कुछ पात्रों से छुटकारा पाना होगा। मुझे तैयार "सही" समाधान नहीं मिला, इसलिए मुझे एक मिनी-बाइक का आविष्कार करना पड़ा:
  

   result = unicode(re.sub('[^+=\-()$!#%&,.\w\s]', '_', name, flags=re.UNICODE).strip()) 

  
  
• फ़ाइल नामों के साथ एक और समस्या: वे मेल खा सकते हैं, उदाहरण के लिए दस्तावेजों के मामले में। ऐसा करने के लिए, फ़ाइल नाम में (n) जोड़ें, जहां n एक अद्वितीय फ़ाइल नाम देने वाला पहला नंबर है।
  

    #file might exist, so add (1) or (2) etc counter = 1 if exists(fname) and isfile(fname): name, ext = splitext(fname) fname = name + " ({})".format(counter) + ext while exists(fname) and isfile(fname): counter += 1 name, ext = splitext(fname) fname = name[:-4] + " ({})".format(counter) + ext 

  
  

जारी रहेगा

एपीआई कॉल कोड को हब्रायुज़र जियोव के लेख से लिया गया है, और ऊपर वर्णित स्थितियों की हैंडलिंग को जोड़ा गया है। बचाने के लिए कुछ करने के लिए (दीवार को संसाधित करने के मामले में), आपको सबसे पहले पदों की संख्या का पता लगाना चाहिए:

  #determine posts count (response, json_stuff) = call_api("wall.get", [("owner_id", args.id), ("count", 1), ("offset", 0)], args) count = response[0] 

अगला, हम प्रत्येक पोस्ट को व्यक्तिगत रूप से अनुरोध करते हैं और इसे पार्स करते हैं

  for x in xrange(args.wall_start, args.wall_end): (post, json_stuff) = call_api("wall.get", [("owner_id", args.id), ("count", 1), ("offset", x)], args) process_post(("wall post", x), post, post_parser, json_stuff) 

अनुरोध का परिणाम JSON में डेटा का एक सेट है जो मानक लाइब्रेरी से json.loads () का उपयोग करके अजगर के लिए मानक संरचनाओं में पार्स किया गया है। नतीजतन, हमारे पास एक हैश सरणी है जिसमें कुछ फ़ील्ड (कुंजी-मूल्य) एक पेलोड ले जाते हैं, जबकि बाकी हमें ब्याज नहीं देते हैं। अपने स्वयं के हाथों से नहीं लिखने के लिए कि किस विधि का उपयोग करने के लिए किस क्षेत्र को संसाधित करना है, हम प्रतिबिंब की शक्ति का उपयोग करेंगे: हम एक ऐसी विधि की तलाश करेंगे जिसका नाम ब्याज की कुंजी से मेल खाता है।

  for k in raw_data.keys(): try: f = getattr(self, k) keys.append(k) funcs.append(f) except AttributeError: logging.warning("Not implemented: {}".format(k)) logging.info("Saving: {} for {}".format(', '.join(keys), raw_data['id'])) for (f, k) in zip(funcs, keys): f(k, raw_data) 

पारसी

अब आपको प्रतिक्रिया क्षेत्रों से निपटने की आवश्यकता है। दिलचस्प संलग्नक, पाठ, टिप्पणियां हैं। संलग्नक पोस्ट (ऑडियो, चित्र, दस्तावेज, नोट्स) के लिए आवेदनों की एक सूची है, आपको प्रत्येक प्रकार डाउनलोड करने में सक्षम होना चाहिए। हम प्रत्येक अनुलग्नक को समान तरीके से संसाधित करने के लिए कौन सी विधि निर्धारित करते हैं: अनुलग्नक के प्रकार से, हम एक उपयुक्त नाम के साथ एक विधि की तलाश करते हैं। यहां ऑडियो के लिए "रॉकिंग चेयर" का एक उदाहरण दिया गया है:

  def dl_audio(self, data): aid = data["aid"] owner = data["owner_id"] request = "{}_{}".format(owner, aid) (audio_data, json_stuff) = call_api("audio.getById", [("audios", request), ], self.args) try: data = audio_data[0] name = u"{artist} - {title}.mp3".format(**data) self.save_url(data["url"], name) except IndexError: # deleted :( logging.warning("Deleted track: {}".format(str(data))) return # store lyrics if any try: lid = data["lyrics_id"] except KeyError: return (lyrics_data, json_stuff) = call_api("audio.getLyrics", [("lyrics_id", lid), ], self.args) text = lyrics_data["text"].encode('utf-8') ... 

दुर्भाग्य से, कॉपीराइट धारकों के अनुरोध पर जब्त की गई ऑडियो रिकॉर्डिंग अब उपलब्ध नहीं हैं, उनके लिए एक खाली उत्तर दिया जाता है।

बाकी के बारे में क्या?

चित्र, पाठ, नोट्स, दस्तावेज़ों को अपलोड करने के लिए तरीके और बाकी - जीथब में । मैं केवल यह कह सकता हूं कि सब कुछ दिए गए उदाहरणों के समान है। स्क्रिप्ट में कमांड लाइन तर्क भी हैं, इससे उन्हें लेख में वर्णन करने का कोई मतलब नहीं है। उदाहरण और अन्य विवरण readme में हैं ।

यह करें

मैंने फोटो एल्बम को नहीं सहेजा, क्योंकि वहां कुछ भी महत्वपूर्ण संग्रहीत नहीं है, और उनके लेख का किलनेट कोड अच्छी तरह से काम करता है। वीडियो और नोट्स अभी भी सहेजे नहीं गए हैं, यह मुझे बहुत जरूरी नहीं लग रहा था।

अन्त में

कोड आदर्श से बहुत दूर है और बैसाखी के अभाव में भिन्न नहीं है, लेकिन यह कार्य करता है। मुझे आशा है कि कोई व्यक्ति अपने नोट्स / दस्तावेज / संगीत को सहेजने के लिए, या प्रशिक्षण के लिए मेरा काम उपयोगी समझेगा।

UPD 12/18/2016

उपयोगकर्ता ने कहा कि 16 दिसंबर, 2016 से vk ने ऑडियो रिकॉर्डिंग के साथ काम करने के लिए एपीआई का उपयोग करने की क्षमता को बंद कर दिया है। इस संबंध में, ऑडियो रिकॉर्डिंग को सहेजने के लिए प्रदान की गई स्क्रिप्ट की कार्यक्षमता काम नहीं करती है। इस संबंध में, आप मूल vk एप्लिकेशन के साथ "दिखावा" करने की कोशिश कर सकते हैं, उदाहरण के लिए, एंड्रॉइड वर्जन, या केट मोबाइल। उनके लिए, ऑडियो रिकॉर्डिंग के साथ काम करने की क्षमता गायब नहीं होगी, हालांकि तरीके अलग हो सकते हैं।