この調査の目的は、.RUゾーン内のすべてのアクティブドメインの最新リストを取得すること
でした 。
2016年1月 1日までに、
5040277名
が登録されてい
ました 。 彼らはクローラーで各名前を調べ、結果を分析することにしました。
サーバーの応答は次のように配布されました。
応答コードを含む完全な表rc | cnt | % |
200 | 2670175 | 53.0 |
IPFAIL | 826869 | 34.9 |
タイムアウト | 486924 | 7.4 |
301 | 444719 | 7.3 |
404 | 191831 | 3.4 |
302 | 176133 | 3.2 |
403 | 108624 | 2.1 |
503 | 43330 | 0.8 |
CHARSETFAIL | 32606 | 0.6 |
500 | 19603 | 0.4 |
401 | 6847 | 0.1 |
303 | 5919 | 0.1 |
429 | 5501 | 0.1 |
502 | 5340 | 0.1 |
402 | 4232 | 0.1 |
0 | 2954 | 0.1 |
Nonhtml | 1796 | 0.0 |
423 | 1688 | 0.0 |
400 | 1654 | 0.0 |
409 | 1125 | 0.0 |
307 | 1014 | 0.0 |
521 | 273 | 0.0 |
999 | 203 | 0.0 |
410 | 191 | 0.0 |
523 | 150 | 0.0 |
504 | 138 | 0.0 |
509 | 98 | 0.0 |
508 | 93 | 0.0 |
204 | 46 | 0.0 |
520 | 45 | 0.0 |
434 | 32 | 0.0 |
Clex | 32 | 0.0 |
406 | 20 | 0.0 |
501 | 14 | 0.0 |
479 | 8 | 0.0 |
407 | 8 | 0.0 |
418 | 7 | 0.0 |
405 | 7 | 0.0 |
451 | 4 | 0.0 |
435 | 4 | 0.0 |
304 | 4 | 0.0 |
201 | 3 | 0.0 |
300 | 2 | 0.0 |
456 | 2 | 0.0 |
3 | 1 | 0.0 |
507 | 1 | 0.0 |
101 | 1 | 0.0 |
126 | 1 | 0.0 |
422 | 1 | 0.0 |
557 | 1 | 0.0 |
412 | 1 | 0.0 |
413 | 1 | 0.0 |
420 | 1 | 0.0 |
合計 : | 5040277 | 100.0 |
IPFAIL-ドメインを解決できませんでした(委任されていない、ネームサーバーがないなど)。
タイムアウト-IPは受信されましたが、何も提供せず、タイムアウトによって落ちました。
CHARSETFAIL-コンテンツのエンコードを認識できませんでした。
NONHTML -Webサーバーがスクリプトを解釈しなかったが、データベースやその他の設備への接続の詳細とともにそれらをテキストで提供したサイト。
CLEX-応答サイズが
10 MBを超えるクローラー例外。
301リダイレクト (永続):
バルク -衛星ネットワーク、代替Webサイトアドレスなどの動物園
| cnt | % |
http:// www.domain | 215289 | 48.4 |
バルク | 144275 | 32.4 |
http://ドメイン/ページ | 76417 | 17.2 |
https://ドメイン | 7617 | 1.7 |
https:// www.domain | 1121 | 0.3 |
合計 : | 444719 | 100.0 |
302リダイレクト (一時):
バルク -すべて同じグリッド、エラー、さまざまなcmsのインストーラーなど
| cnt | % |
バルク | 135464 | 76.9 |
http://ドメイン/ページ | 22658 | 12.9 |
http:// www.domain | 10660 | 6.1 |
https://ドメイン | 7168 | 4.1 |
https:// www.domain | 183 | 0.1 |
合計 : | 176133 | 100.0 |
メタリフレッシュを介してリダイレクトも調べますが、今回はそこに興味深いものは見られません。 ユーザーを多数のエクスプロイトに誘導する最も一般的な方法。
200 OKを与えた
2670175ドメインはすべて、
192213のIPアドレス、上位10で展開します。
IP 109.206.190.54の
180983ドメイン(
すべてのアクティブの6.77% )は、
www.homes.ruのミラーです(もちろん、ipだけでチェックしていません)。 駐車場からでも大きなマージンで行きます。 大規模に作業します。
Runetのメインページのコンテンツコンポーネントの平均値:
タイトルの平均長 | 47 |
キーワードの平均長 | 220 |
ページあたりの平均単語数 | 515 |
平均ページ重量(オクテット単位) | 42320 |
テキスト内の262のドメインで、「
habrahabr 」という単語が見つかりました。
メインページからHabrユーザープロファイルへのリンク 200 OKを
付与したドメインのリスト
dataoperator.ru/ru_domains_200_ok.zip