Составляем правильный robots.txt

Подскажите пожалуйста как закрыть от индексации страницы по типу:

домен/forums/тема/page-17?order=reply_count&direction=asc

 

каким плагином сайтмап генерите для ксенфоро?

 

Вот этим. Инструкции по работе/установке в архиве.

 

спасибо
как выяснилось
This add-on requires XenForo 1.2.0 RC2 or higher.

 

ребят, поделитесь актуальным robots.txt для xenforo

 

Многие пишут про:

Код:

Disallow: /threads/*/poll
Disallow: /threads/*/reply

Каким образом можно попасть на эти страницы? Сейчас при расширенном ответе вроде add-reply...

 

можно так сайт.ru/robots.txt

 

https://www.xf-russia.ru/robots.txt
Думаю ни кто не сомневается в компетентности команды этого форума.

 

Долго собирал и просматривал. Мой итоговый такой:

Код:

User-agent: *
Disallow: /account/
Disallow: /admin.php
Disallow: /attachments/
Disallow: /birthdays/
Disallow: /conversations/
Disallow: /f/*/?direction
Disallow: /f/*/?order
Disallow: /f/*/page-*?order
Disallow: /find-new/
Disallow: /goto/
Disallow: /help/
Disallow: /js/
Disallow: /login/
Disallow: /logout/
Disallow: /lost-password/
Disallow: /members/
Disallow: /misc/
Disallow: /moderation-queue/
Disallow: /online/
Disallow: /posts/
Disallow: /recent-activity/
Disallow: /register
Disallow: /register.html
Disallow: /search.php
Disallow: /search/
Disallow: /watched/
Disallow: /bookmarks/

Host: ... :)

 

У вас форум в корне?

И нижняя строка отсутствует

Sitemap: http://мой домен/sitemap.xml. Или это не нужно?
--- добавлено : May 3, 2014 6:09 AM ---
Вообще, было бы замечательно, если бы вы дали пояснения, что какая строка делает, например:

Disallow: /admin.php ---- запрещает роботам смотреть раздел админки. И т.д. Спасибо.

 

Форум в корне, да. Строки про sitemap нет, потому что адрес файла sitemap можно указать в Вебмастере.Яндекс и в Google.Webmaster.Tools - я считаю так правильнее.
Считаю что для владельцев движка и админов пояснения к строкам не нужны - это скорее чтобы проверить что ничего того что хочется закрыть не забыли Интересно, вот вам какая строка непонятна?

 

Вот это не понимаю, объясните пожалуйста
Disallow: /goto/

 

На мой взгляд, если дать пояснения по каждой строке, было бы понятно и, возможно, возникли бы предложения по корректировке или дополнению.

 

Это при переходе на странцу ошибки как-то поймал. Где нет прав для просмотра страницы. Что-то типа промежуточной страницы редиректа, которая определяет есть ли права для просмотра. Если нет - выдаёт ошибку, а у урле при этом какраз /goto/ - как заметил, сразу добавил в робота

 

Вот проанализировал отсутствие и наличие строк у топикастера и второй робот тхт взял на этом форуме (с изменениями как будто ХФ-раша находится в корне). Очень хотелось бы аргументов и анализа.


отсутствует у топикстера # robots.txt
есть у обоих User-agent: *
отсутствует в ХФ Disallow: /account/
отсутствует в ХФ Disallow: /admin.php
есть у обоих Disallow: /attachments/
есть у обоих Disallow: /birthdays/
отсутствует в ХФ Disallow: /conversations/
отсутствует в ХФ Disallow: /f/*/?direction
отсутствует в ХФ Disallow: /f/*/?order
отсутствует в ХФ Disallow: /f/*/page-*?order
есть у обоих Disallow: /find-new/
отсутствует в ХФ Disallow: /goto/
есть у обоих Disallow: /help/
отсутствует в ХФ Disallow: /js/
есть у обоих Disallow: /login/
отсутствует в ХФ Disallow: /logout/
есть у обоих Disallow: /lost-password/
есть у обоих Disallow: /members/
есть у обоих Disallow: /misc/
отсутствует в ХФ Disallow: /moderation-queue/
есть у обоих Disallow: /online/
есть у обоих Disallow: /posts/
есть у обоих Disallow: /recent-activity/
есть у обоих Disallow: /register
отсутствует в ХФ Disallow: /register.html
есть у обоих Disallow: /search.php
есть у обоих Disallow: /search/
отсутствует в ХФ Disallow: /watched/
отсутствует в ХФ Disallow: /bookmarks/
отсутствует у топикстера Disallow: /forums/*/?direction
отсутствует у топикстера Disallow: /forums/*/?order
отсутствует у топикстера Disallow: /forums/*/page-*?order
отсутствует у топикстера Disallow: /pages/privacy/
отсутствует у топикстера Disallow: /threads/*/poll
отсутствует у топикстера Disallow: /WhoHasVisited/
отсутствует у топикстера Host: мой.сайт
отсутствует у топикстера Sitemap: http://мой.сайт/sitemap.xml
отсутствует в ХФ Host: ...
--- добавлено : 3 май 2014 в 20:48 ---
Дополнение: возможно я где-то ошибся

 

@Sergey1 , просто есть страницы, на которые поисковики попасть физически не смогут, например, те же
/moderation-queue/ (только для модераторов) ну или /conversations/ (у гостей нет переписок).
Это всё скорее нужно для некой подстраховки что поисковики не должны просматривать эти страницы, если, например, появится ссылка где-то на личную переписку /conversations/. Раньше считалось что если стоит плагин Яндекс.Бар в браузере - то он может передавать некую инфу поисковику... Сейчас не знаю. Ну иво - лучше закрыть от греха
Плюс у всех разный набор аддонов стоит - поэтому этот список редко будет одинаков у всех. Вон у меня стоит дополнения "Закладки", - я его скрываю в "Disallow: /bookmarks/" ...

 

Подскажите новичку. Форум установлен на поддомен forum.сайт.ру Сайт.ру имеет свой робот.txt Нужен правильный robot.txt и куда его втыкнуть на форуме - файла в корне двига не нашел, его самому создавать нужно или на сегодняшний день он вобще не актуален.

 

Спрошу, наверное, здесь: можно ли закрыть каким-то образом от индексации целые разделы форума вместе с темами в них?

 

А зачем в robots.txt

Код:

Disallow: /forum/posts/

Это же получается, что робот не сможет индексировать сообщения?

 

вот и меня этот вопрос волнует!