GooglebotはJavaScript内のリンクも検索するようになりました。

私は何かを見逃したに違いない。 GoogleはJavaScriptコード内にリンクが表示されないと常に考えていました。 そして、彼が見たとしても、そのようなリンクはSEOの価値がありません：PRを計算するとき、それらは考慮されず、インデックス付けに使用されません、すなわち スクリプトを実行した結果としてのみページにアクセスでき、そのページへの直接リンクがない場合、そのようなページはまったくインデックスに登録されません。 それで何？ この情報は古くなっていますか？

これが私の話です。

新しいサイトが1つあります。 彼はわずか1か月で、ページはほとんどなく、リンクはほとんどありません。 したがって、Googleによるインデックスの作成方法を簡単に追跡できます。 このサイトでは、テストモードサービスを実行して、 Webページに隠れた有害なインクルージョン （不可視のスパマーリンク、iframe、スクリプト、リダイレクト） をチェックします 。 AJAXはサービスに積極的に使用されています。


最近、訪問の統計を確認すると、 隠れたスパムの種類のリクエストでGoogleから誰かが私のところに来たことがわかりました。 このクエリの結果でサイトが表示される場所を確認することにしました。 それが最初に判明した。 そしてこれは、結果の総数が1400万を超えています。 いいですが、非常に新しいサイトには少し予想外です。



結果が指す<page>によってさらに混乱しました： unmaskparasites.com/security-tools/find-hidden-links/site/?siteUrl= スクリプト内でこのURL（またはURLの一部）を使用して、レポートに表示するパーソナライズされたリンクを動的に構築します。 私のサイトのページ（および他のページも）がunmaskparasites.com/security-tools/find-hidden-links/site/?siteUrl=にリンクしていません。

実際、このサイトには、 感染したWordPressブログの検出専用の一般的なタイプの隠しリンクに関する同様のテキストを含む静的なページがあります。 このページには他のページからの直接リンクがあります。

では、GoogleがJavaScript内に隠された不完全な動的URLを好み、静的URLと直接着信リンクを含む完全なページではなく、着信リンクがないことを好んだのはなぜですか？ このページは何らかの理由でインデックスに登録されていなかったのでしょうか？ クエリサイトunmaskparasites.comにアクセスしました。 このサイトは非常に小さく、これを含むすべてのページがインデックス化されています。 さらに、このリクエストは、AJAXサービスリクエスト内でのみ使用されるため、インデックスを作成すべきではないページを明らかにしました。 （スクリーンショットのunmaskparasites.com/results/およびunmaskparasites.com/token/ 。）



なんてこった！ Googleはどのようにしてそれらについて知りましたか？！

私のサービスのソースコードとGoogleのキャッシュページに少し混乱しているので、 GoogleがJavaScriptを解析し、実行し、その中のリンクを見つけてインデックス作成に使用することを非常に確実に言うことができます。

証拠

AJAXリクエスト内のリンク。

unmaskparasites.com/resultsおよびunmaskparasites.com/tokenは、AJAX（JavaScript）リクエストでのみ使用されるサービスURLです。 これらのURLは他のどこにも使用されていません。 これが私のスクリプトでの使用方法です。
$.get('/token/', function(txt){ ...

そして
$.post("/results/", { ...

ご覧のとおり、ここでは単純な正規表現が不可欠です。 リンクは相対的であり、そのようなリンクを含む行を他の行と区別するためにコードが何をするかを理解する必要があります。

HTMLコードを含む行のリンク。

URL unmaskparasites.com/security-tools/find-hidden-links/site/?siteUrl=もスクリプト内でのみ見つかります。 今回は、HTMLコードがページの適切な場所に挿入されるように準備されている行内にあります。

...'<a href="/security-tools/find-hidden-links/site/?siteUrl=' + escape($("#id_siteUrl").val() )+ '">' ...

スパイダーがこのコードを実行すると、次の行が取得されます。

  '<a href="/security-tools/find-hidden-links/site/?siteUrl="'>' 

、フォームに入力せず、 id_siteURLフィールドの値が空になるためです。 Googleが何らかの理由でインデックスを作成したURLと同じURLを取得します。 この場合も、相対形式から絶対形式に変換されます。

Googlebotには、ブラウザと同じJavaScriptがありません。

Googlebotは、リンクを検出するために必要なスクリプトコードの部分のみを実行し、他のすべてを無視するようです。

キャッシュされたページunmaskparasites.com/resultsを分析すると、空のパラメーターを持つGET要求の後に受信されたことが明らかです。 ただし、私のコードを実行する場合は、1）。 空のパラメーターでは、検証に合格しないため、呼び出し自体に到達することはできません、2）。 POSTリクエストが実行されます。

Googlebotには本格的なJavaScriptエンジンが搭載されていないと想定できます。 彼は、コードの解析方法、リンクの検索方法、および切り捨てられた一連のコマンドの実行方法（文字列の接着など）を知っています。

jQuery

また、Googleが知っているライブラリに基づいてコードが使用されているとGoogleが判断した場合にのみ、これが可能であるという仮定もあります。 jQueryを使用して、Googleサーバーから直接ダウンロードします。
ajax.googleapis.com/ajax/libs/jquery/1.2.6/jquery.min.js

これは私のページによってロードされる唯一のサードパーティライブラリであり、Googleは$ .post（...）および$ .get（...）関数がAJAXリクエストおよび$（ ' ＃results '）を通じてページをロードすることを確認できます。 html（...）は、識別子を使用してdivにHTMLコードを埋め込みます。

Googleツールバー

JavaScriptから検索結果へのリンクを取得する別のバージョンを検討するために、ブラウザにインストールされたツールバーを使用して、Googleがそれらのリンクを見つけたとしましょう。 ただし、ツールバーがそれとは無関係であることを示すいくつかの要因があります。

1. AJAXリクエストで使用されるリンクがブラウザのアドレスバーに到達することはありません。つまり、それらのPageRankをリクエストする理由はありません。
2. ツールバーは、実生活で見つかったリンクに関する情報のみを要求します。 そのため、Googleはツールバーを使用して、 unmaskparasites.com / security- tools / find-hidden- links / siteまたはunmaskparasites.com/security-tools/find-hidden-links/site/?siteUrl=example.comのようなリンクをインデックスに登録します。 、しかし確かにunmaskparasites.com/security-tools/find-hidden-links/site/?siteUrl=
3. ブラウザにロードした他の<secret>ページは、インデックス付けされていません。
4. 1か月間のドメインで、1400万人以上の競合他社がありながら、検索結果の最初の場所に（人気のないリクエストによるものであっても）単一のインバウンドリンクのないページを見たことがありますか？

Googleからの公式情報。

Google Webmaster Centralの公式ブログで、一連の間接的な確認を見つけました。

Web 2.0のspの見方

「Ajaxサイトの主な問題は、GooglebotがHTMLリンクの構造に精通しているにも関わらず、ナビゲーションにJavaScriptを使用するサイトのインデックスを作成するのが難しい場合があることです。 JavaScriptの理解を深めるために取り組んでいますが、サイト検索エンジンを使いやすくする最善の方法は、コンテンツへのHTMLリンクを提供することです。

ご覧のとおり、彼らはJavaScriptを理解することは難しいと言いますが、 不可能とは言いません。 同時に、彼らは「JavaScriptをよりよく理解するために働いています」 。 そして今、9か月後、彼らはすでにJavaScriptで何かを理解できるようになっています。

改善されたFlashインデックス

「Googlebotは一部のJavaScriptコマンドを実行しません。」

私が話していたこと。 GooglebotはJavaScriptを実行しますが、そのサポートはかなり制限されています。

「ActionScriptについては、ActionScriptを使用してロードされるリンクを見つけることができます。」

ActionScriptでリンクを見つけることができる場合、JavaScriptで同じことができないのはなぜですか？

新しいマイルストーン？

Flash、JavaScript、次は何ですか？ すぐに検索ボットは、人間とほぼ同じWebページを<see>できるようになります。 それまでの間、ページのスクリプトを確認してください。 おそらく、あなたが見ている以上にGoogleを見せているでしょう。 robots.txtに新しいDisallowルールをいくつか追加しました。

それとも私の妄想ですか？

私のブログのJavaScriptのリンクに関する記事の元のバージョン。