Pythonを使用したVKの友情の分析。 継続

• 必要な深さを設定します
• ソースデータまたは特定の深さで探索する必要があるIDを送信します
• 答えを得る

• Python 3.4
• VKのストアドプロシージャ

必要な深さを設定します

deep = 2 #      

データを送信する

 var targets = Args.targets; var all_friends = {}; var req; var parametr = ""; var start = 0; //        while(start<=targets.length){ if (targets.substr(start, 1) != "," && start != targets.length){ parametr = parametr + targets.substr(start, 1); } else { //   ,    id req = API.friends.get({"user_id":parametr}); if (req) { all_friends = all_friends + [req]; } else { all_friends = all_friends + [0]; } parametr = ""; } start = start + 1; } return all_friends; 

応答を受け取る

 {1:(0, 2, 3, 4), 2: (0, 1, 3, 4), 3: (0, 1, 2)} 

 {1:(0, 2, 3, 4), 2: (0, 1, 3, 4), 3: (0, 1, 2), 0: (1, 2, 3), 4:(1, 2, ….)} 

 def deep_friends(self, deep): result = {} def fill_result(friends): for i in VkFriends.parts(friends): r = requests.get(self.request_url('execute.deepFriends', 'targets=%s' % VkFriends.make_targets(i))).json()['response'] for x, id in enumerate(i): result[id] = tuple(r[x]["items"]) if r[x] else None for i in range(deep): if result: #  ,     +   id:None fill_result(list(set([item for sublist in result.values() if sublist for item in sublist]) - set(result.keys()))) else: fill_result(requests.get(self.request_url('friends.get', 'user_id=%s' % self.my_id)).json()['response']["items"]) return result 

遅すぎる

 while True: r = requests.get(request_url('execute.getMutual','source=%s&targets=%s' % (my_id, make_targets(lst)),access_token=True)).json() if 'response' in r: r = r["response"] break else: time.sleep(delay) 

• メインサーバーは、クライアントからVKontakte IDとオペレーションコードを受け取ります。すべての一般的な友人を引き出すか、指定された深さの友人のリストを再帰的に調べます。
• さらに、どちらの場合でも、サーバーはVKontakte APIにリクエストを送信します。ユーザーのすべての友達のリストが必要です。
• ストアドプロシージャの機能を最大限に活用するためにすべてが完了しているため、ここでは、友人のリストをそれぞれ25の連絡先に分割する必要があります。 実際、75。これについては少し低い。
• メッセージブローカーを使用して多くのパーツを取得し、各パーツを特定の受信者（プロデューサー-コンシューマ）に配信します。
• 受信者は連絡先を受け入れ、すぐに要求を行い、結果をサプライヤーに返します。 はい、RPCについて正しく考えました。

 brew update brew install rabbitmq 

 pip3 install Celery 

 rabbitmqctl add_vhost vk_friends rabbitmqctl add_user user password rabbitmqctl set_permissions -p vk_friends user ".*" ".*" ".*" 

 vim /usr/local/etc/rabbitmq/rabbitmq-env.conf NODE_IP_ADDRESS=192.168.1.14 //    

 def request_url(method_name, parameters, access_token=False): """read https://vk.com/dev/api_requests""" req_url = 'https://api.vk.com/method/{method_name}?{parameters}&v={api_v}'.format( method_name=method_name, api_v=api_v, parameters=parameters) if access_token: req_url = '{}&access_token={token}'.format(req_url, token=random.choice(token)) return req_url 

 def getMutual(): all_friends = friends(my_id) c_friends = group(mutual_friends.s(i) for i in parts(list(all_friends[0].keys()), 75))().get() result = {k: v for d in c_friends for k, v in d.items()} return cleaner(result) def getDeep(): result = {} for i in range(deep): if result: #  ,     +   id:None lst = list(set([item for sublist in result.values() if sublist for item in sublist]) - set(result.keys())) d_friends = group(deep_friends.s(i) for i in parts(list(lst), 75))().get() result = {k: v for d in d_friends for k, v in d.items()} result.update(result) else: all_friends = friends(my_id) d_friends = group(deep_friends.s(i) for i in parts(list(all_friends[0].keys()), 75) )().get() result = {k: v for d in d_friends for k, v in d.items()} result.update(result) return cleaner(result) 

 @app.task def mutual_friends(lst): """ read https://vk.com/dev/friends.getMutual and read https://vk.com/dev/execute """ result = {} for i in list(parts(lst, 25)): r = requests.get(request_url('execute.getMutual', 'source=%s&targets=%s' % (my_id, make_targets(i)), access_token=True)).json()['response'] for x, vk_id in enumerate(i): result[vk_id] = tuple(i for i in r[x]) if r[x] else None return result @app.task def deep_friends(friends): result = {} for i in list(parts(friends, 25)): r = requests.get(request_url('execute.deepFriends', 'targets=%s' % make_targets(i), access_token=True)).json()["response"] for x, vk_id in enumerate(i): result[vk_id] = tuple(r[x]["items"]) if r[x] else None return result 

 rabbitmq-server 

 celery -A tasks worker --loglevel=info 

 python3 call.py 

測定結果について

結果を保存する

 def cleaner(dct): return {k:v for k, v in dct.items() if v != None} def save_or_load(myfile, sv, smth=None): if sv and smth: pickle.dump(smth, open(myfile, "wb")) else: return pickle.load(open(myfile, "rb")) 

グラフ分析

 pip3 install networkx 

 pip3 install matplotlib 

 def adder(self, node): if node not in self.graph.nodes(): self.graph.add_node(node) self.graph = nx.Graph() for k, v in self.dct.items(): self.adder(k) for i in v: self.adder(i) self.graph.add_edge(k, i) 

 def dict2nx(aDictGraph): """ Converts the given dictionary representation of a graph, aDictGraph, into a networkx DiGraph (directed graph) representation. aDictGraph is a dictionary that maps nodes to its neighbors (successors): {node:[nodes]} A DiGraph object is returned. """ g = nx.DiGraph() for node, neighbors in aDictGraph.items(): g.add_node(node) # in case there are nodes with no edges for neighbor in neighbors: g.add_edge(node, neighbor) return g 

 self.graph = nx.from_dict_of_lists(self.dct) 

• Figure API
• networkxを描く

 def draw_graph(self): plt.figure(figsize=(19,19), dpi=450,) nx.draw(self.graph, node_size=100, cmap=True) plt.savefig("%s graph.png" % datetime.now().strftime('%H:%M:%S %d-%m-%Y')) 

 deep_friends = VkGraph(d_friends_dct) print(' :', deep_friends.graph.number_of_nodes()) print(' :', deep_friends.graph.number_of_edges()) 

  : 370341  : 512949 

接続グラフ

 print(' ?', nx.is_connected(deep_friends.graph)) 

 {X:(), ...} 

直径、中心および半径

 print(' :', nx.diameter(deep_friends.graph)) 

 print(' :', nx.center(deep_friends.graph)) 

 print(' :', nx.radius(deep_friends.graph)) 

機関またはページランク

ソーシャルグラフの権限は、さまざまな方法で分析できます。 最も簡単な方法は、参加者を着信エッジの数でソートすることです。 より多くを持っている人はより権威があります。 この方法は、小さなグラフに適しています。 インターネット検索では、Googleはページの信頼性の基準の1つとしてPageRankを使用します。これは、ノードがページであるグラフをランダムにさまようことによって計算され、ノード間のエッジは、あるページが別のページにリンクしている場合です。ランダムウォーカーはグラフ上を動き回り、時々ランダムノードに移動して、再び歩き始めます。PageRankは、放浪期間全体にわたって、あるノードに滞在する割合に等しくなります。大きいほど、ノードの信頼性は高くなります。

 import operator print('Page Rank:', sorted(nx.pagerank(deep_friends.graph).items(), key=operator.itemgetter(1), reverse=True)) 

クラスタリング係数

クラスタリング係数は、特定の個人に関連付けられた2人の異なるユーザーが接続される確率の度合いです。

 print(' ', nx.average_clustering(deep_friends.graph)) 

まとめ