Yandexはrobots.txt拡張フォーマットをサポートしました

Yandexロボットは、robots.txtの特殊文字「*」と「$」のAllowディレクティブをサポートしていました。 ヘルプには、robots.txtの解釈方法と例が記載されています（help.yandex.ru/webmaster/?id=996567）。

robots.txtファイルは、ウェブマスターがサイトのどのページとセクションをインデックスに登録できず、どのページとインデックスに登録できないかを検索エンジンに説明するために使用されます。 この標準では少数のディレクティブセットが提供されているため、大規模なサイトのインデックスルールを記述することは困難な作業です。 新しいディレクティブは、ウェブマスターのタスクを大幅に促進できます。