Составляем правильный robots.txt

Вот это убрать, уже не работает:

Код:

Allow: /

А переписку, вот это:

Код:

Disallow: /conversations/

добавить не надо?

 

В смысле Allow: /. Это вроде почти в каждом роботе лежит.

В смысле что добавить, или это все сказанно от балды???
Где гении этого форума, или все стало тихо. Хотелось бы услышать от завсегдатых, норм робот или нет???

 

Если убрать Allow / , то убираем разрешение индексации главной страницы. Естественно, что это неправильно. Убирать нельзя.
Смысла убирать переписки никакого, так как для гостя они все равно не доступны. Убирать нужно из того, что доступно гостю.

 

Кстати почему то у меня его нет, кто подскажет что в первую очередь надо прописать чтоб не индексировал. Ну или выложите дефолтный какой нить, мне этого будет достаточно

 

Доброго времени суток. Я столкнулся с проблемой индексации сайта.

Состряпал robots.txt и загрузил на сайт, после проверки роботами в индексации яндекса так и осталось всего 2 страницы(главная и форум).


Я проверил на ошибки в Яндекс. Вебмастер. вот что он показал мне.


Гугл выдает такую таблицу с ошибками...

Я затрудняюсь решить данную проблему. Взгляните на мой роботс и подскажите с чем это может быть связанно? Буду очень признателен.
http://mangustoff.net/robots.txt

 

А при чём тут robots.txt ?

На скриншёте явно видны ошибки 404, дело в сайте, проверяйте ссылки, либо Вы заблокировали поискового бота, ну тут 100% дело не в роботс !

 

как это сделать?
Как задать логин и пароль в тех табличках что в адсенсе?

 

Как правильно прописывать Sitemap?
1. http://www. ***
2. http:// ***
3. www. ***

 

Тоже интересует этот вопрос.

 

Второе значение.

 

А можете пояснить, почему?

 

Это надо спросить у яндекса, у них в правилах так написано.

 

Подскажите пожалуйста, как правильно закрыть страницу "домен /index.html" (зеркало) от индекса? Что бы не было дублей двух страниц.
Прописать Disallow: /index.html ?

 

Никто не знает?
Вернее так закроет конечно, но правильно это будет или нет?

 

Люди ...

 

вот мой

User-agent: *
Disallow: /attachments/
Disallow: /find-new/
Disallow: /forums/*/?direction
Disallow: /forums/*/?order
Disallow: /forum/forums/*/page-*?order
Disallow: /help/
Disallow: /login/
Disallow: /lost-password/
Disallow: /members/
Disallow: /misc/
Disallow: /online/
Disallow: /posts/
Disallow: /recent-activity/
Disallow: /register
Disallow: /search/
Disallow: /search.php
Disallow: /threads/*/poll

Host:

Sitemap:

Только у меня стоит плагин, для Sitemap, как её правильно прописать?
И вопрос
Это можно оставить или не нужно

Код:

Disallow: /attachments/

 

здесь, что больше не общаются и не помогают?

 

Про Disallow: /attachments/ лучше оставить, чтобы боты туда не долбились...

Про Sitemap не понял вопрос, просто указываете путь к карте и всё, например у меня так:

Sitemap:http://Мой_домен/sitemap.xml

 

Подскажите пожалуйста, как быть с роботс, если на форуме установлены ресурсы?
блочить ресурсы или блочить раздел форума?
как вообще быть в данной ситуации?

 

attachments можешь закрыть, а вот раздел не надо