हम उपयोगकर्ताओं के "पेड़" प्राप्त करने के लिए ट्विटर एपीआई का उपयोग करते हैं

सुप्रभात प्रभात। इस पोस्ट में, मैं ट्विटर एपीआई के साथ थोड़ा अनुभव साझा करना चाहता हूं, और विशेष रूप से बड़ी संख्या में उपयोगकर्ताओं को पार्स करने और प्रत्येक उपयोगकर्ता (खाता निर्माण की तारीख, उपयोगकर्ता नाम, स्क्रीन_नाम, उपयोगकर्ता वेब पेज, ट्वीट्स की संख्या, मित्रों की संख्या, अनुयायियों की संख्या) के बारे में जानकारी प्राप्त करना , स्थान)। यह मेरी पहली पोस्ट है, इसलिए कृपया कड़ाई से न्याय न करें, लेकिन रचनात्मक आलोचना के खिलाफ भी मेरे पास कुछ नहीं है।

कार्य: लगभग 100 सक्रिय और उच्च सम्मानित ट्विटर उपयोगकर्ता (T0) हैं। इन उपयोगकर्ताओं के लिए, मुझे व्यक्तिगत डेटा प्राप्त करने के लिए दोस्तों (T1) की सूची और प्रत्येक उपयोगकर्ता की आवश्यकता है। उसी तरह हमें T2 (T2 - T1 के उपयोगकर्ताओं के मित्र) और T3 मिलते हैं।
नतीजतन, हमारे पास एक उपयोगकर्ता आधार T = T0 + T1 + T2 + T3 है। चूंकि ट्विटर के प्रत्येक उपयोगकर्ता के लगभग 1286 मित्र हैं (आंकड़े लगभग 80 मिलियन खातों के डेटा पर आधारित हैं), प्रत्येक समूह में उपयोगकर्ताओं की संख्या बहुत तेज़ी से बढ़ रही है:

• T0: 100 उपयोगकर्ता
• T1: ~ 42,000 अद्वितीय उपयोगकर्ता
• T2: ~ 5,200,000 अद्वितीय उपयोगकर्ता
• T3: ~ 80 मिलियन अद्वितीय उपयोगकर्ता

इतने सारे खातों को पार्स करते समय, हमारे सामने आने वाली पहली समस्या एपीआई अनुरोधों की सीमा है। यदि हम अनधिकृत हैं और हम अधिकृत हैं, तो हम 150 अनुरोध / घंटा पूरा कर सकते हैं। इसके अलावा, इन 150/350 अनुरोधों को दो 30 मिनट के अंतराल में विभाजित किया गया है। अर्थात्, हम प्रत्येक उपयोगकर्ता से 30 मिनट में 75/175 अनुरोध निष्पादित कर सकते हैं। यह स्पष्ट रूप से इतना डेटा प्राप्त करने के लिए पर्याप्त नहीं है। ऐसा करने के लिए, मैंने बोटनेट से लगभग 3000 खातों (बॉट्स) के डेटाबेस का उपयोग किया, जो मैंने उसी ग्राहक के लिए विकसित किया था (यदि यह किसी के लिए दिलचस्प है, तो मैं आपको एक अलग पोस्ट में बॉटनेट की कार्यक्षमता और कुछ "नुकसान" के बारे में बता सकता हूं)। यही है, मेरे पास 30 मिनट में लगभग 0.5 मिलियन अनुरोधों का मार्जिन था, और यहां सब कुछ एपीआई प्रतिक्रिया की प्रक्रिया और डेटाबेस में डेटा लिखने की गति पर आराम करता था।

एपीआई के साथ संवाद करने के लिए, मैंने साइकिल का आविष्कार नहीं किया और अब्राम ऑहट पुस्तकालय का उपयोग किया, जो व्यापक रूप से संकीर्ण सर्कल में जाना जाता है। मैंने केवल इसे थोड़ा संशोधित किया ताकि यह मल्टी_क्र्ल का उपयोग कर सके (हमें याद है कि हमें बहुत अनुरोध करने की आवश्यकता है)।

उपयोगकर्ता के मित्रों की सूची प्राप्त करने के लिए एपीआई दोस्तों / आईडी विधि का उपयोग किया गया था। यह विधि आपको उपयोगकर्ता के उपयोगकर्ता आईडी की एक सूची प्राप्त करने की अनुमति देती है। यदि दोस्तों की संख्या 5000 से अधिक है, तो परिणाम को पृष्ठों में विभाजित किया गया है (मुझे प्रत्येक उपयोगकर्ता के लिए अधिकतम 5000 मित्र प्राप्त हुए और 5k से अधिक होने पर अतिरिक्त अनुरोध नहीं किया गया)।

जब हमें सभी उपयोगकर्ताओं के दोस्त मिल गए, तो हमें प्रत्येक उपयोगकर्ता के बारे में डेटा प्राप्त करना होगा। ऐसा करने के लिए, हम अद्भुत उपयोगकर्ताओं / लुकअप विधि का उपयोग करते हैं। हम 100 के आधार आईडी पैक और पर्सिम डेटा से लेते हैं।

परिणामस्वरूप, हमें एक बड़ा उपयोगकर्ता डेटाबेस मिलता है। निम्नलिखित कुछ आँकड़े हैं:

• ट्वीट्स की औसत संख्या ~ 4317
• दोस्तों की औसत संख्या ~ 1286
• अनुयायियों की औसत संख्या ~ 35045