Geekly Articles each Day

ツイートのリンクをたどるボットをキャッチします

CloudAppを使用して、 Twitterで新しく公開されたリンクがすぐに18〜20のヒットを受け取ることに注目しました。 明らかに、これらはロボットであり、私はそれらを決めました カウントする。

サーバーで空のhtmlファイルを作成し、Twitterへのリンクを投稿しました。 その後、このリンクを参照して、User-Agentsの値を収集しました。 さらに、私はほぼ即座にツイートを削除しました。

ライトアップされたサービスと製品：
IPリファラー
38.113.234.181ボイジャー/ 1.0（2回）
128.242.241.133Twitterbot / 0.1
204.236.175.30JS-Kit URL Resolver、 js-kit.com （2回）
66.249.71.218Mozilla / 5.0（互換性; Googlebot / 2.1; + http：//www.google.com/bot.html）
216.24.142.45Mozilla / 5.0（Windows; U; Windows NT 5.1; en-US; rv：1.9.1.7）Gecko / 20091221 Firefox / 3.5.7 OneRiot / 1.0（http://www.oneriot.com）
74.123.148.48Mozilla / 4.0（互換性あり; MSIE 6.0; Windows NT 5.1; SV1）
65.52.17.163Mozilla / 4.0（互換性あり; MSIE 7.0; Windows NT 6.0）
204.236.206.79PostRank / 2.0（postrank.com）
204.236.202.14Mozilla / 5.0（互換性あり; kmbot-62c5 / 0.0; + http：//knowmore.com/bots）
65.52.2.3Mozilla / 4.0（互換性あり; MSIE 7.0; Windows NT 6.0）
79.99.6.106Twingly偵察
174.129.146.212PycURL / 7.18.2
72.14.212.81AppEngine-Google; （+ http：//code.google.com/appengine; appid：linksalpha）
89.151.116.54Mozilla / 5.0（互換性あり; MSIE 6.0b; Windows NT 5.0）Gecko / 2009011913 Firefox / 3.0.6 TweetmemeBot
70.37.65.108Mozilla / 4.0（互換性あり; MSIE 7.0; Windows NT 6.0）
64.13.147.188Mozilla / 5.0（互換性あり; abby / 1.0; + http：//www.ellerdale.com/crawler.html）
75.101.235.29-
74.112.128.62Mozilla / 5.0（互換性; Butterfly / 1.0; + http：//labs.topsy.com/butterfly/）Gecko / 2009032608 Firefox / 3.0.8
174.129.89.199Python-urllib / 2.5


ブロックしたい場合は、 www.botsvsbrowsers.comが便利です

PS。 サイトの「重い」リンクへのリンクを公開するときは、リツイートごとに+20ヒットすることに注意してください。

Source: https://habr.com/ru/post/J100620/

More articles:


All Articles