コンテンツプロジェクトのインデックス作成を閉じるのはなぜですか？

紳士、コンテンツプロジェクトをインデックス作成から完全に閉じる理由を説明できますか？ Drive.ruでこの例を見つけました：

ユーザーエージェント ：*
不許可：/

何らかの理由で最初にコンテンツを蓄積してから、「ロケットの離陸」を手配し、すぐにすべてをインデックスにドロップしたい場合を除きます。