.RUゾーンに登録された第2レベルドメインの概要

クロールジョブ

この調査の目的は、.RUゾーン内のすべてのアクティブドメインの最新リストを取得することでした2016年1月 1日までに、 5040277登録されていました 。 彼らはクローラーで各名前を調べ、結果を分析することにしました。

サーバーの応答は次のように配布されました。

rc

応答コードを含む完全な表
rccnt
200267017553.0
IPFAIL82686934.9
タイムアウト4869247.4
3014447197.3
4041918313.4
3021761333.2
4031086242.1
503433300.8
CHARSETFAIL326060.6
500196030.4
40168470.1
30359190.1
42955010.1
50253400.1
40242320.1
029540.1
Nonhtml17960.0
42316880.0
40016540.0
40911250.0
30710140.0
5212730.0
9992030.0
4101910.0
5231500.0
5041380.0
509980.0
508930.0
204460.0
520450.0
434320.0
Clex320.0
406200.0
501140.0
47980.0
40780.0
41870.0
40570.0
45140.0
43540.0
30440.0
20130.0
30020.0
45620.0
310.0
50710.0
10110.0
12610.0
42210.0
55710.0
41210.0
41310.0
42010.0
合計5040277100.0



IPFAIL-ドメインを解決できませんでした(委任されていない、ネームサーバーがないなど)。
タイムアウト-IPは受信されましたが、何も提供せず、タイムアウトによって落ちました。
CHARSETFAIL-コンテンツのエンコードを認識できませんでした。
NONHTML -Webサーバーがスクリプトを解釈しなかったが、データベースやその他の設備への接続の詳細とともにそれらをテキストで提供したサイト。
CLEX-応答サイズが10 MBを超えるクローラー例外。

301リダイレクト (永続):

301リダイレクト
バルク -衛星ネットワーク、代替Webサイトアドレスなどの動物園
cnt
http:// www.domain21528948.4
バルク14427532.4
http://ドメイン/ページ7641717.2
https://ドメイン76171.7
https:// www.domain11210.3
合計444719100.0

302リダイレクト (一時):

302リダイレクト

バルク -すべて同じグリッド、エラー、さまざまなcmsのインストーラーなど
cnt
バルク13546476.9
http://ドメイン/ページ2265812.9
http:// www.domain106606.1
https://ドメイン71684.1
https:// www.domain1830.1
合計176133100.0

メタリフレッシュを介してリダイレクトも調べますが、今回はそこに興味深いものは見られません。 ユーザーを多数のエクスプロイトに誘導する最も一般的な方法。

200 OKを与えた2670175ドメインはすべて、 192213のIPアドレス、上位10で展開します。
ipcntexample_url
109.206.190.54180983http://ksimelin.ru
188.166.49.11040199http://samoobsluga.ru
81.177.141.1515040http://plusheviy-buket.ru
89.111.167.311887http://ipoezd.ru
94.76.205.13211774http://mediatr.ru
78.108.80.23810937http://bikesurfing.ru
78.108.86.6310883http://asp-v.ru
185.32.57.22410157http://salgroup.ru
188.120.232.1749431http://moscowspa.ru
199.59.243.1209057http://asolutbank.ru

IP 109.206.190.54の180983ドメイン( すべてのアクティブの6.77% )は、 www.homes.ruのミラーです(もちろん、ipだけでチェックしていません)。 駐車場からでも大きなマージンで行きます。 大規模に作業します。

Runetのメインページのコンテンツコンポーネントの平均値:
タイトルの平均長47
キーワードの平均長220
ページあたりの平均単語数515
平均ページ重量(オクテット単位)42320

テキスト内の262のドメインで、「 habrahabr 」という単語が見つかりました。

メインページからHabrユーザープロファイルへのリンク
ユーザーアンカーcnt
ワイルドグレイプラスワイルドグレイプラス17
ダリヤ・コルサックダリヤ・コルサック17
ptsecurityptsecurity17
デニス・イズマイロフデニス・イズマイロフ17
pkruglovpkruglov17
マイスベンドゥマイスベンドゥ17
アレックスソフトアレックスソフト17
スマートエンジンスマートエンジン17
ドメフィストドメフィスト17
デニス・ヴァシリエフデニス・ヴァシリエフ17
あなたの運命4
anatoly_rrハブラ2
@ taxi5mblog2
グリウリョフハブ2
クゾトフハブラハブル1
勇敢な勇敢な1
n教授habrahabr.ru1
エフィミッチhabrahabr.ru/users/efimich/1
ネクトデフ1
アレクサンドルハブラハブル1
ftp271
建設的なハブレについて1
ilusha_sergeevichユーティリティ(ilusha_sergeevichから)1
1
1
ペイオンラインハブラハブル1
ソフトリンクソフトリンク1
blvボリス・ウルフソン1
ilusha_sergeevichグループディスカッション、インターネットポッドキャスト1
teamindsハブラハブル1
ニクメリニコフハブレ1
jaloveast1k1
サクレ1
ブレダン1
オメギクスブログ1
xnim1
nkochnevハブラハブル1
brntsrsハブラ1
スプルーロフハブラハブル1
バタゾール1
ヒースHabrahabrに関する記事の著者1
クリプトメンHabrahabr(1つ...)1
sil19991
アドバートンハブラハブル1
mwsoft1
スーパーアリーシャハブラハブル1
イゼルドミhabrahabre1
キャディーリンク1
クスデーモンハブラハブル1
インビゾリーハブラ1
yegorf1H1
ゾリコゾリコ1
ニッカーズ1
アソマー1
d530HABR.RU1
極地極地1
Dataartハブラハブル1
シルヴァンスキーシルヴァンスキー1
ヨケロフヨケロフ1
グラチェバマリグラチェバマリ1
アンドルーコンストハブラハブル1
アルトゥーデトーハブラハブル1
イハブルハブラハブル1
ustas1
アリザールアリザール1
ウィレルフ1
rebirther231
オルドスハブラハブル1
シュクシニヴァン1
ファルーラファルーラ1
ドブリハブラハブル1
denxc1
ガーステレコム1
シュロムHabrahabrHabrahabr.ru1
パブロフMHabrに書き込みます1
アイリーアイリー1
noldo32私はHabréにいます1
valerasergeevichH1
カチカエフHabrahabrの私のアカウント1
icw82ハブラハブル1
スクーチンハブラハブル1
genixg1
サイラスサイラス1
コードファッカーハブラ1
divan0divan01
devpreview1


200 OKを付与したドメインのリストdataoperator.ru/ru_domains_200_ok.zip

Source: https://habr.com/ru/post/J274681/


All Articles