Комментарии: Файл robots.txt для блога

Автор: Олег

Олег — Sat, 27 Oct 2012 18:27:00 +0000

Надо ли разрешать индесацию комментариев. Если да, то как прописать правильно все, что связано с комментариями (что и как запретить, что и как разрешить?)

Автор: Олег

Олег — Sat, 27 Oct 2012 18:27:00 +0000

Автор: Irina Lion

Irina Lion — Sun, 07 Oct 2012 21:01:00 +0000

Меня интересует разница между

Disallow: /comments и

Disallow: */comments.

Зачем 2 раза в разных интерпретациях ставить? Это что: сам коммент и ответ на коммент или что?

Автор: Irina Lion

Irina Lion — Sun, 07 Oct 2012 20:59:00 +0000

Мне кажется dofolloy сайты и блоги вообще ничего не закрывают, потом, если у вас плагины стоят, закрывающие ссылки в комментариях, то видимо в robots поэтому и не закрывают. Хотя я могу ошибаться.

Автор: Иван

Иван — Sun, 07 Oct 2012 10:45:00 +0000

Закрываются от индексации ссылки оставляемые в комментариях (спасение о ручного спама). Сам текст не закрывается. Зачем данная строка еще нужна, не знаю — совет поисковых систем

Автор: Простой

Простой — Sat, 06 Oct 2012 23:40:00 +0000

Спасибо за ответ.

Ещё один вопрос:

Некоторые почему-то не закрывают Disallow: /comments то есть комментарии. Не подскажите когда имеет смысл не закрывать их?

Автор: Irina Lion

Irina Lion — Sat, 06 Oct 2012 18:55:00 +0000

Вместо годов поставьте звездочки: 20**

Автор: Простой

Простой — Mon, 17 Sep 2012 16:49:00 +0000

А как их закрыть, чтобы сразу все месяцы и года скрылись от индексации?

Автор: Иван

Иван — Sun, 16 Sep 2012 11:26:00 +0000

Данная ссылка относится к архивам. Их действительно лучше закрыть в файле Robots.txt при использовании директории disallow

Автор: Простой

Простой — Fri, 14 Sep 2012 21:46:00 +0000

Полезный совет. А нужно ли / как скрывать /скрыть такое: сайт.ру/2012/08??

А то в яндекс вебмастере показывается, что это вот про индексировалось: сайт.ру/2012/08.

То есть как я понимаю архив в индексацию влез?