Вопрос про robots.txt

Sudar

Это мой дом

#15.05.2012 13:25

Господин админ!
В силу того, что не разбираюсь в перипетиях крючкотворства php-шного, спрашиваю Вас.
Исследования Я-вебмастера показали, чо при обходе сайта было исключено роботом 103 страницы.
Причина исключения - запрет в robots.txt
А в частности, под запрет попали страницы подпадающие под Disallow: /index.php?
Полистав запрещенные страницы, ничего секретного не обнаружил и подумал - А надо ли запрещать именно /index.php??
Ведь если бы не это, у меня в индексе сейчас было бы 140 против 40 страниц
В чем подвох господин админ?

admin

Это мой дом

Цитировать

#15.05.2012 17:14

Потому что сначала запрещаем, потом разрешаем.
смотрите дальше что мы allow
Disallow index.php был сщделан:
1. В целях безопасности
3. Для более быстрой индексации товаров и контентных страниц
2. Для того, чтобы не перебрать с кол-вом ссылок, вы конечно в курсе что Яндекс выделяет на сайт определенное кол-во мегабайт и если ссылок 10000000 то паук застревает надолго.

Sudar

Это мой дом

Цитировать

#15.05.2012 17:33

Да то, что там дальше allow, это я понимаю.
я в крючках разных ничего не понимаю. Вот например, предполагаю, что есть разница меду
index.php и index.php? а какая - хз.
Если честно, я скажу по секрету. Только вы не обижайтесь. Но в глубине души, всех прграммистов я считаю зелеными космонавтами говорящими на птичьем языке из кракозябов. Вот.
По этому и спрашиваю на всякий случай...

admin

Это мой дом

Цитировать

#15.05.2012 18:40

index.php - это главная страница
index.php? - запрет индексирования всего что начинается с этого, т.е. любая страница типа
index.php?action=forum или index.php?action=basket
далее я разрешаю несмотря на запрет индексацию товаров:
index.php?catid=
index.php?unifid
index.php?item_id

и контента:
index.php?page=
а все остальное стало быть запрещено (например вход в корзину, регистрация и т.п.)
Кстати вы навели на мысль - я забыл в роботс вставить новый раздел для разрешения индексации вакансий.

Allow: /index.php?action=vacancy

а также блога, форума и доски объявлений

Allow: /index.php?action=blog
Allow: /index.php?action=forum
Allow: /index.php?action=classifieds

Итоговый роботс должен быть:

User-agent: *
Allow: /index.php?action=forum
Allow: /
Disallow: /index.php?
Allow: /index.php?catid=
Allow: /index.php?unifid=
Allow: /index.php?item_id=
Allow: /index.php?page=
Disallow: /admin/
Disallow: /index.php?zapros=
Disallow: /index.php?logout=
Disallow: /index.php?register=
Disallow: /index.php?login=
Disallow: /print.php
Disallow: /yml.php
Disallow: /mgxml.php
Disallow: /cesxml.php
Disallow: /gxml.php
Allow: /index.php?action=gal
Allow: /index.php?action=vacancy
Allow: /index.php?action=blog
Allow: /index.php?action=classifieds
Allow: /index.php?action=forum

# you may allow or disallow searrch results
Allow: /index.php?query=
# Disallow: /index.php?query=

admin

Это мой дом

Цитировать

#15.05.2012 18:44

кстати print.php можно и разрешить (версию для печати) если хотите побольше страниц в выдаче
т.е. роботс идеальный вот такой:

User-agent: *
Allow: /
Disallow: /index.php?
Allow: /index.php?catid=
Allow: /index.php?unifid=
Allow: /index.php?item_id=
Allow: /index.php?page=
Disallow: /admin/
Disallow: /index.php?zapros=
Disallow: /index.php?logout=
Disallow: /index.php?register=
Disallow: /index.php?login=
Disallow: /yml.php
Disallow: /mgxml.php
Disallow: /cesxml.php
Disallow: /gxml.php
Allow: /index.php?action=gal
Allow: /index.php?action=vacancy
Allow: /index.php?action=blog
Allow: /index.php?action=classifieds
Allow: /index.php?action=forum

# you may allow or disallow search results
Allow: /index.php?query=
# Disallow: /index.php?query=