Вот мы с завидным постоянством говорим о таком понятии, как "Роботы поисковых систем", но  мало кто из нас пытался в нем разобраться. С поисковой системы придет робот и проиндексирует ресурс или не проиндексирует, наложит фильтр или отправит сайт в бан — это те термины о которых мы постоянно говорим, но мало кто пытался разобраться в том, какие типы роботов у поисковых систем существуют, каков на самом деле род их деятельности и что они конкретно могут делать. В этой статье мы подробно постараемся рассмотреть вопрос "Роботы поисковых систем", рассмотрим типы и функции.

Кто такой поисковый робот

Crawler (робот) — собирает и хранит в себе информацию об URL адресах сайтов, которые ему необходимо проиндексировать или просканировать на вновь появившийся контент. То есть, в своем роде он представляет из себя некий анализатор, основным назначением которого является анализ содержимого веб — документов (текста, изображений, видео и технической составляющей).

На сегодняшний день, Яндекс и Google сообщают нам о четырех типах поисковых роботов, которые посещают наши ресурсы.

Типы роботов поисковых систем

Быстрый робот.  Основной функцией является индексация свежей, актуальной, только что появившейся информации и внесением ее в основную базу.

Индексирующий поисковый робот. Основное его назначение это сбор сведений (контента) для формирования базы поиска. В основном проводится проверка на уникальность, релевантность, водность, тошноту и другие seo параметры. Он посещает ресурс не так часто, как первый тип, но при этом играет более важную роль.

Для того, чтобы роботы поисковых систем более тщательно индексировали ресурс пропишите в файл Robots.txt директиву «Crawl-delay», которая задает минимальный период сканирования. Прописывайте вот этот код:

User-agent: Yandex
Crawl-delay: 1 # задает тайм аут в 1 секунду
------------
User-agent: *
Disallow: /search
Crawl-delay: 3 # задает таймаут в 3 секунды

Поисковый робот по изображениям и видео. В одной из ранее опубликованных статей я рассказывал, что получить трафик с Яндекс и Google можно размещая на сайте уникальные изображения и картинки, которые очень активно индексируются и попадают в поиск.

Технический. Проверяет работоспособность сайта, наличие и влияние скриптов на пользователя (вредоносный код и вирусы), скорость загрузки страниц и другие параметры. Мною на блоге было опубликовано несколько постов касающихся вопроса «Техническая оптимизация сайта». Советую вам прочесть их и применить на практике.

Как узнать о посещении поисковым роботом ресурса

Сегодня практически любой владелец интернет портала способен определить когда и какой поисковый робот заходил на его сайт. Для этого достаточно открыть «Лог — файл», который можно найти в административной панели хостинга.

Чуть ниже представлена таблица, как отмечаются роботы поисковых систем при сканировании блога. Подробнее можно узнать пройдя по ссылке: http://help.yandex.ru/webmaster/?id=995329

На этом, уважаемые читатели, у меня все. Хорошего настроения и всего самого наилучшего.

С уважением, Дороднов Иван

(4 голос, средний: 5,00 из 5)

 Loading ...