Составляем правильный robots.txt

А если IDN домен, как host написать лучше?

как слово.рФ или XN--B1ARJBL.XN--P1AI

 

как XN--B1ARJBL.XN--P1AI я прописал как слово яндекс не понял что ему говорят и поставил кучу вопросов

 

Тогда наверное лучше по русски оставить.

 

не вы меня не поняли. Извиняюсь я кривой писатель. Серверы и программы установленые на них не понимают кирилицу.

 

Спасибо. Исправил

 

Дайте правильный и самый оптимальный вариант! Пожалуйста

 

Код:

User-agent: *
Disallow: /account/
Disallow: /admin.php
Disallow: /attachments/
Disallow: /style.css
Disallow: /conversations/
Disallow: /find-new/
Disallow: /forums/*/?direction
Disallow: /forums/*/?order
Disallow: /js/
Disallow: /help/
Disallow: /login/
Disallow: /login.php
Disallow: /logout/
Disallow: /lost-password/
Disallow: /members/
Disallow: /moderation-queue/
Disallow: /misc/
Disallow: /online/
Disallow: /posts/
Disallow: /recent-activity/
Disallow: /search/
Disallow: /search.php
Disallow: /threads/*/poll
Disallow: /threads/*/reply
Disallow: /watched/

 

Эти адреса стоит запрещать только в том случае если это необходимо и есть понимание для чего они. В некоторых случаях убирание этих адресов принесет больше вреда чем пользы.

 

У каждого свой самый правильный )), и все же кто нибудь из более опытных пользователей, понимающих толк в данном форуме, дайте текст Sitemap (только один) без оговорок, тот что наиболее оптимален.

 

В принципе и без robots.txt форум нормально индексируется
А для тонкой его настройки надо знать для чего он и что находится по каждому из предложенных путей, чтобы оптимизировать процесс сканирования форума поисковиками.
А если по существу я бы взял вариант предложенный KODEAK и просто убрал строчки указанные, в предыдущем моем сообщении.

 

А как будет правильно, если форум установлен в корень?
1) Disallow: /login/
2) Disallow: /forum/login/

 

Так правильно.

 

а как скрыть форму входа/регитсрации?

 

а это поможет от того что гугл на каждой странице вначале читает такое и выдает в рузультатах поиска:
"Форум такойта
мойсайт.ру
15 июня 2011 Ваше имя или e-mail: У Вас уже есть учётная запись? Забыли пароль? Нет, зарегистрироваться сейчас. Да, мой пароль: Запомнить меня."

 

Такая же проблема как у GraD.

 

Вот скриншот:

и ещё это:

 

[offtop]В Мегафоне, видимо, так и не осилили составить правильный robots.txt... Хотя в любом случае не защищенный доступ к приватным СМС - это вообще нонсенс, так что наверняка это просто отмазка на зеленость админа.[/offtop]