संगीत संग्रह vk.com डाउनलोड करें

हाय, हब्बर!

मैंने किसी तरह vkontakte से अपना संगीत संग्रह डाउनलोड करने का फैसला किया (और यह लगभग 1000 गाने हैं)। मैं vk.api से संपर्क नहीं करना चाहता था, इसलिए मैंने अजगर + अनुरोध पुस्तकालय का उपयोग करने का निर्णय लिया। इसका क्या हुआ - कट के नीचे!

सबसे पहले, देखते हैं कि जब हम अपने VKontakte ऑडियो रिकॉर्डिंग पृष्ठ तक पहुंचते हैं तो हमारा ब्राउज़र क्या करता है। डेवलपर टूल खोलें (मैंने Chrome, F12 का उपयोग किया है) और vk.com/audio पर जाएं । ब्राउज़र द्वारा किए गए सभी अनुरोध हम देख सकते हैं:



ब्राउज़र क्रियाओं का अर्थ इस प्रकार है:

पहली पंक्ति GET अनुरोध है जिसे हम सर्वर पर भेजते हैं जब हम पहली बार पृष्ठ पर जाते हैं। जवाब में, सर्वर हमें html पेज कोड देता है।
फिर ब्राउज़र सभी आवश्यक संसाधनों को लोड करना शुरू कर देता है: सीएसएस, जेएस और छवियां।
सूची के अंत में, हम एक गैर-मानक रेखा देखते हैं: यह एक POST अनुरोध है जिसे ऑडियो कहा जाता है। सबसे अधिक संभावना है, यह अनुरोध ऑडियो रिकॉर्डिंग की एक सूची प्राप्त करने के लिए जावास्क्रिप्ट भेजता है।
प्रतिक्रिया में, सर्वर एक पंक्ति देता है:

11055<!>audio.css,audio.js<!>0<!>6362<!>0<!>{"all":[ ['17738938','173762121', 'http://cs1276.userapi.com/u1040081/audio/c0e97293c5e2.mp3','300','5:00', 'Louis Prima','Sing, Sing, Sing (With A Swing)','369754','0','0','','0','1'], ['17738938','173368012', 'http://cs4372.userapi.com/u9237008/audio/5f51ceac6ca1.mp3','326','5:26', 'Look at my horse','My horse is amazing','10324035','0','0','','0','1'], ... 

बिंगो! यह वही है जो हमें चाहिए। जवाब में, सर्वर ने हमें अपनी सभी रचनाओं की JSON सूची दी और प्रत्येक के लिए निम्नलिखित पैरामीटर दिए:

• ० - मेरी आई.डी.
• 1 - रचना आईडी
• 2 - गीत का लिंक
• 3 - बिटरेट?
• 4 - अवधि
• 5 - लेखक
• 6 - गीत का शीर्षक
• 7 - बाइट्स में आकार?
• अन्य पैरामीटर स्पष्ट नहीं हैं।

ऑडियो रिकॉर्डिंग की एक सूची प्राप्त करें

हम स्वागत सूची कैसे प्राप्त कर सकते हैं? आइए देखें कि हमारे अनुरोध में ब्राउज़र किस हेडर को भेजता है:

 Request Headers: Accept:*/* Accept-Charset:windows-1251,utf-8;q=0.7,*;q=0.3 Accept-Encoding:gzip,deflate,sdch Accept-Language:ru-RU,ru;q=0.8,en-US;q=0.6,en;q=0.4 Connection:keep-alive Content-Length:45 Content-Type:application/x-www-form-urlencoded Cookie:remixlang=0; remixseenads=2; audio_vol=100; remixdt=0;remixsid=************; remixflash=11.4.31 Host:vk.com Origin:http://vk.com Referer:http://vk.com/audio User-Agent:Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.4 (KHTML, like Gecko) Chrome/22.0.1229.94 Safari/537.4 X-Requested-With:XMLHttpRequest Form: Dataview URL encoded act:load_audios_silent al:1 gid:0 id:17738938 

आइए हमारे अनुरोध को अनुकरण करने का प्रयास करें:

 import requests as r def getAudio(): response = r.post(url = "http://vk.com/audio", data = { "act":"load_audios_silent", "al":"1", "gid":"0", "id":"17738938" } ) print response.content getAudio() 

Request.post फ़ंक्शन url के लिए POST अनुरोध बनाता है। वह कई मापदंडों को पारित कर सकती है। यहाँ मुख्य हैं:

• हेडर - हेडर का एक शब्दकोश जिसे हम सर्वर को भेजना चाहते हैं
• data - डेटा का एक शब्दकोश अनुरोध में प्रेषित किया जाएगा

फ़ंक्शन हमें प्रिंट करेगा

 <!--11055<!>audio.css,audio.js<!>0<!>6362<!>3<!>230b860567731c4875 

परिणाम अनुमानित है - आखिरकार, हमने यह संकेत नहीं दिया कि हम एक अधिकृत उपयोगकर्ता हैं। ऐसा करने के लिए, कुकीज़ को सर्वर से पास करें। चलो हमारे अनुरोध को थोड़ा ठीक करें:

 import requests as r def getAudio(): response = r.post( "http://vk.com/audio", data = { 'act':"load_audios_silent", "al":"1", "gid":"0", "id":"17738938" }, headers = { "Cookie":"remixlang=0; remixseenads=2; remixdt=0; remixsid=**************; audio_vol=96; remixflash=11.4.31" } ) print response.content[0:1000] getAudio() 

अब हमें वही मिलता है जो हमें चाहिए।

सब ठीक है। हमें जो सूची मिली है। अब आपको इसे पार्स करने और प्रत्येक गीत को व्यक्तिगत रूप से डाउनलोड करने की आवश्यकता है। मैंने परेशान नहीं करने का फैसला किया, और बस नियमित अभिव्यक्ति का इस्तेमाल किया:

 #-*-coding:cp1251-*- import requests as r import re import random as ran import os import urllib as ur #    : ALLOW_SYMBOLS = " qwertyuiopasdfghjklzxcvbnm.,-()" COOKIE = "" #   cookies,    . def getAllowName(string): """    ,      ALLOW_SYMBOLS""" s='' for x in string.lower(): if x in ALLOW_SYMBOLS: s += x return s def getRandomElement(arr, delete = False): """    arr.  delete = True,      .""" index = ran.randrange(0, len(arr), 1) value = arr[index] if delete: arr.remove(value) return value def getAudio(): """     .         """ response = r.post( "http://vk.com/audio", data = { 'act':"load_audios_silent", "al":"1", "gid":"0", "id":"17738938" }, headers = { "Cookie":COOKIE } ) i=0 pat = re.compile(r"\[.+?\]") #    [.*] return pat.findall(response.content) #    already_added = [] #   id ,   . pat = re.compile(r"\'(.+?)\'") #     '.*' def OneDownload(x): """   ,   ( ['...', '...', '...', ...])   """ global already_added try: elements = pat.findall(x) #   id, url, author, name = (elements[1], elements[2], elements[5], elements[6]) #  - id, url, author, name except: return if id not in already_added: #     already_added.append(id) #    file_path = "audio/"+getAllowName(author+" - "+name)+".mp3" # ,       with open(file_path, "w"): #      pass ur.urlretrieve(url, file_path) #   print name, "downloaded" def getFirstNSongs(first=0, last = None): """,    ,         """ if not os.path.exists(os.path.join(os.getcwd(), 'audio')): #   audio   os.mkdir('audio') songs = getAudio() #   #  ,     first  last: if last!=None: songs = songs[first:last+1] else: songs = songs[first:] for x in songs: #    OneDownload(x) #  getFirstNSongs(last = 10) 

यहाँ मुख्य कार्य OneDownload () है। वास्तव में, यह वह है जो गाने डाउनलोड करता है। यह मानक फ़ंक्शन urllib.urlretrieve (url, file_path, ...) का उपयोग करके किया जाता है। यह फ़ंक्शन उस डेटा को डाउनलोड करता है जो सर्वर url तक पहुंचते समय वापस लौटता है और file_path पर एक फ़ाइल पर लिखता है।

सब कुछ ठीक है, सब कुछ डाउनलोड हो रहा है, लेकिन धीरे-धीरे!

हम अपने एल्गोरिथ्म को समानांतर बनाने की कोशिश कर सकते हैं। ऐसे कार्य जिन्हें मैं समानांतर में करना चाहूंगा, वे वनडॉक हैं। एक समानांतर सज्जाकार बनाएँ:

 def Thread(f): def _inside(*a, **k): thr = threading.Thread(target = f, args = a, kwargs = k) thr.start() return _inside 

पायथन में एक डेकोरेटर एक फ़ंक्शन है जो एक फ़ंक्शन को तर्क के रूप में लेता है और कुछ कार्रवाई करता है।
यह डेकोरेटर बस स्वीकृत फ़ंक्शन को एक अलग थ्रेड में चलाता है।

एक वैश्विक चर जोड़ें - थ्रेड्स की संख्या। इस चर को सीधे थ्रेड्स से नहीं बदला जा सकता है, इसलिए हम फ़ंक्शन जोड़ते हैं

वेतन वृद्धि, और रसीद:

 alive_threads = 0 def inc(x): #  global alive_threads alive_threads+=x return alive_threads def get(): #  global alive_threads return alive_threads 

अब कोड में बदलाव करें। यहाँ कार्यक्रम का अंतिम संस्करण है:

 #-*-coding:cp1251-*- import requests as r import re import threading import time import random as ran import os import urllib as ur THREADS_COUNT = 10 ALLOW_SYMBOLS = " qwertyuiopasdfghjklzxcvbnm.,-()" COOKIE = "" #  cookies def getAllowName(string): s='' print string.lower() for x in string.lower(): if x in ALLOW_SYMBOLS: s += x return s def getRandomElement(arr, delete = False): index = ran.randrange(0, len(arr), 1) value = arr[index] if delete: arr.remove(value) return value alive_threads = 0 def inc(x): global alive_threads alive_threads+=x return alive_threads def get(): global alive_threads return alive_threads def Thread(f): def _inside(*a, **k): thr = threading.Thread(target = f, args = a, kwargs = k) thr.start() return _inside def getAudio(): response = r.post( "http://vk.com/audio", data = { 'act':"load_audios_silent", "al":"1", "gid":"0", "id":"17738938" }, headers = { "Cookie":COOKIE } ) i=0 pat = re.compile(r"\[.+?\]") return pat.findall(response.content) already_added = [] #   id ,   . pat = re.compile(r"\'(.+?)\'") #     '.*' count = 0 @Thread def OneDownload(x): global already_added inc(1) #    -    try: elements = pat.findall(x) id, url, author, name = (elements[1], elements[2], elements[5], elements[6]) except: return if id not in already_added: already_added.append(id) file_path = "audio/"+getAllowName(author+" - "+name)+".mp3" with open(file_path, "w"): pass ur.urlretrieve(url, file_path) inc(-1) #  -  def getFirstNSongs(a=0, N = None): if not os.path.exists(os.path.join(os.getcwd(), 'audio')): os.mkdir('audio') songs = getAudio() if N!=None: songs = songs[a:N] else: songs = songs[a:] previous = 0 #        cc=10 while (len(songs)>0 and len(songs)!=previous) or (len(songs) == previous and cc>0): #   ,          10  if previous != len(songs): previous = len(songs) #,    .   -  cc=10 #  - 10 else: cc-=1 #  ,     1.  -     10      print " ", len(songs), " ", alive_threads while alive_threads<THREADS_COUNT: #     x = getRandomElement(songs, delete = True) #  ,    try: OneDownload(x) #  except: songs.append(x) #   -  . while alive_threads>=THREADS_COUNT: time.sleep(10) #      -  10 . getFirstNSongs(N=3) #, ,  3  

अब सब कुछ काम करता है।

सूत्रों और संकलित संस्करण को यहां डाउनलोड किया जा सकता है:

VKmusic

#UPD
संकलित संस्करण में एक बग था, संगीत केवल मेरे पृष्ठ से डाउनलोड किया गया था। सही किया गया संस्करण:
VKMusic