Заходя практически на любой форум посвященный Seo можно найти один и тот же вопрос – Почему не индексируется сайт Яндексом и Google, почему сайт плохо индексируется и почему сайт перестал индексироваться. В связи с этим, там разворачиваются огромные дискуссии, споры и так далее, в общем доходит порою до абсурда, так как это одна из основ оптимизации и продвижения ресурса в целом. Конечно, сразу дать ответ на вопрос, почему сайт не индексируется Яндексом и Google очень сложно. Тут конечно, нужно анализировать ресурс и выявлять конкретную причину.
Основываясь на выводах сделанных на форумах, я вывел наиболее вероятные причины того, почему ваш блог или сайт не индексируется или этот процесс происходит очень медленно, включая вылет ресурса из индекса.
Внимание: После того, как вы опубликовали новый пост или добавили новую страницу, не добавляйте на нее ссылку в аддурилку поисковых систем, так как робот приходит к вам по определенному расписанию. И если вы добавите ссылку в Аддурилку, то поисковая система автоматически поставит вас в конец очереди.
2. Robots.txt. Файл robots.txt не правильно составлен, либо нужная категория закрыта от поисковых систем. О том, как правильно составить этот файл читайте в статье «Правильные robots.txt».
3. Мета-теги. Если в индекс не попадают только некоторые страницы блога, то необходимо проверить мета-теги, которые служат для управления индексацией конкретных страниц. Вот код, который встречается на блоге:
Если он будет иметь вид:
или
то вашу страницу стоит запрет индексации.
4. Flash и Java script ссылки. поисковые системы всегда очень плохо индексируют сайты созданные на Flash и Java script ссылки, которые в очень большом количестве расположены в «шапке» ресурса.
5. Вирус.Проблемы виндексации сайта поисковыми системами может служить нахождение вируса. Вирус — это очень серьезная проблема от которой необходимо избавляться в самые кратчайшие сроки. Об этом вы можете прочитать в статье «Как защитить сайт от вирусов».
6. Фильтр. Ваш ресурс находится под фильтром, то есть поисковые системы наложили на него определенные санкции.
7. Структура. Безграмотная структура ресурса, происходит нарушение правила «3-х кликов», когда до любой страницы или поста можно добраться за перейдя по трем ссылкам. О том. как привести структуру ресурса в порядок, советую прочитать вам статью «Внутренняя перелинковка».
8. Хостинг. Часты сбои в работе хостинг провайдера во время прихода на него поискового робота могут служить причиной того, почему сайт не индексируется Яндексом и Google.
9. Внешние ссылки. слишком большое количество внешних ссылок. Если на ресурсе их содержание превышает 100-200-300 штук, то в дальнейшем это может обернутся более глобальной проблемой, чем не попадание в индекс.
10. Домен. Вами был куплен б/у домен, на который наложены санкции поисковых систем.
11. Контент. наличие не уникального контента. В последнее время поисковые системы очень внимательно относятся к качеству публикуемого контента. Вполне возможно, что вы пишите текст сами и при проверке он уникален на 100%, но никто не гарантирует вам того, что его у вас не украдут и не разместят на более авторитетном ресурсе. О том, как этого избежать читайте в статье «Как защитить контент сайта от воровства».
Вопрос о том, на сколько быстро индексируется сайт, сказать сложно, так как на начальном уровне этот процесс может происходить от нескольких часов до нескольких месяцев.
Проверить страницы в индексе
Проверить страницы в индексе Яндекса можно 2-мя способами:
http://webmaster.yandex.ru/check.xml — достаточно скопировать ссылку в строку проверки.
Установить на сайт поиск от Яндекс и с помощью него проверять наличие страниц в индексе. О том, как установить поиск от Яндекс на сайт, читайте в следующих постах, не пропустите.
Проверить страницы в индексе Google можно 2-мя способами:
С помощью сервиса от Google:
site: адрес_блога
Установите на ресурс поиск от Google, которым так же можно проверить наличие страниц блога в индексе поисковой системы. О том, как это сделать. читайте в будущих статьях. Подпишитесь на получение статей по E-mail, чтобы не пропустить.
А на этом я заканчиваю, уважаемые читатели. Кстати, как вам статья?
Спасибо за подробные пункты. У меня как раз, недавно была проблема именно с хостингом, в панели вебмастера Яндекс писал, что поисковой робот не смогу получить доступ к сайту, спросить у своего хостера, не блокирует ли он типа ip бота. Так вот я сразу на хостинг, они проверили, сказали что не блокируем, просто проводили смену ip. Если такое предупреждение вылазит, то есть стоит сразу исправить, а то Яндекс может потом плохого наделать для Вашего сайта!
Спасибо за подробные пункты. У меня как раз, недавно была проблема именно с хостингом, в панели вебмастера Яндекс писал, что поисковой робот не смогу получить доступ к сайту, спросить у своего хостера, не блокирует ли он типа ip бота. Так вот я сразу на хостинг, они проверили, сказали что не блокируем, просто проводили смену ip. Если такое предупреждение вылазит, то есть стоит сразу исправить, а то Яндекс может потом плохого наделать для Вашего сайта!
Спасибо вам! В закладки срочно!
По поводу внешних ссылок — спорный вопрос. Если они естественные, то с сайта «не убудет».
Осталось доказать поисковому роботу, что она естественная, а для этого нужно соблюсти ряд правил при ее размещении.