Вернуться к списку форумов Вернуться

Вопрос про robots.txt

Сообщение: #7-3-3
15.05.2012 18:40
index.php - это главная страница
index.php? - запрет индексирования всего что начинается с этого, т.е. любая страница типа
index.php?action=forum или index.php?action=basket
далее я разрешаю несмотря на запрет индексацию товаров:
index.php?catid=
index.php?unifid
index.php?item_id

и контента:
index.php?page=
а все остальное стало быть запрещено (например вход в корзину, регистрация и т.п.)
Кстати вы навели на мысль - я забыл в роботс вставить новый раздел для разрешения индексации вакансий.
Allow: /index.php?action=vacancy

а также блога, форума и доски объявлений
Allow: /index.php?action=blog
Allow: /index.php?action=forum
Allow: /index.php?action=classifieds


Итоговый роботс должен быть:

User-agent: *
Allow: /index.php?action=forum
Allow: /
Disallow: /index.php?
Allow: /index.php?catid=
Allow: /index.php?unifid=
Allow: /index.php?item_id=
Allow: /index.php?page=
Disallow: /admin/
Disallow: /index.php?zapros=
Disallow: /index.php?logout=
Disallow: /index.php?register=
Disallow: /index.php?login=
Disallow: /print.php
Disallow: /yml.php
Disallow: /mgxml.php
Disallow: /cesxml.php
Disallow: /gxml.php
Allow: /index.php?action=gal
Allow: /index.php?action=vacancy
Allow: /index.php?action=blog
Allow: /index.php?action=classifieds
Allow: /index.php?action=forum

# you may allow or disallow searrch results
Allow: /index.php?query=
# Disallow: /index.php?query=