| |||||||||
| |||||||||
15.05.2012 17:14
Потому что сначала запрещаем, потом разрешаем.
смотрите дальше что мы allow
Disallow index.php был сщделан:
1. В целях безопасности
3. Для более быстрой индексации товаров и контентных страниц
2. Для того, чтобы не перебрать с кол-вом ссылок, вы конечно в курсе что Яндекс выделяет на сайт определенное кол-во мегабайт и если ссылок 10000000 то паук застревает надолго.
смотрите дальше что мы allow
Disallow index.php был сщделан:
1. В целях безопасности
3. Для более быстрой индексации товаров и контентных страниц
2. Для того, чтобы не перебрать с кол-вом ссылок, вы конечно в курсе что Яндекс выделяет на сайт определенное кол-во мегабайт и если ссылок 10000000 то паук застревает надолго.