Имена поисковых роботов яндекс и google

07 июня 2021 года, 02:57

Имена поисковых роботов яндекс и google

Названия поисковых ботов, которые учитывают записи файла robots.txt. Названия подойдут для выявления агентов в логах сервера, а также для контроля и тонкой корректировки работы выбранных типов ботов в файле robots.txt

Роботы Yandex

Список имен агентов, которые относятся к поисковой системе Yandex и учитывают правила из файла robots.txt:

Имя Полное имя Предназначение
YandexBot Mozilla/5.0 (compatible; YandexBot/3.0); +http://yandex.com/bots; Основной индексирующий робот
YandexAdNet Mozilla/5.0 (compatible; YandexAdNet/1.0; +http://yandex.com/bots) Робот рекламной сети яндекс (РСЯ)
YandexBlogs Mozilla/5.0 (compatible; YandexBlogs/0.99; robot; +http://yandex.com/bots) Робот поиска по блогам, индексирующий комментарии постов.
YandexForDomain Mozilla/5.0 (compatible; YandexForDomain/1.0; +http://yandex.com/bots) Робот почты для домена, используется при проверке прав на владение доменом.
YandexImages Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots) Индексирует изображения для показа на Яндекс.Картинках.
YandexImageResizer Mozilla/5.0 (compatible; YandexImageResizer/2.0; +http://yandex.com/bots) Робот мобильных сервисов.
YandexMarket Mozilla/5.0 (compatible; YandexMarket/1.0; +http://yandex.com/bots) Робот Яндекс.Маркета.
YandexMedia Mozilla/5.0 (compatible; YandexMedia/3.0; +http://yandex.com/bots) Индексирует мультимедийные данные.
YandexNews Mozilla/5.0 (compatible; YandexNews/4.0; +http://yandex.com/bots) Робот Яндекс.Новостей.
YandexPagechecker Mozilla/5.0 (compatible; YandexPagechecker/1.0; +http://yandex.com/bots) Обращается к странице при валидации микроразметки через форму Валидатор микроразметки.
YandexSitelinks Mozilla/5.0 (compatible; YandexSitelinks; Dyatel; +http://yandex.com/bots) Проверяет доступность страниц, которые используются в качестве быстрых ссылок.
YandexSpravBot Mozilla/5.0 (compatible; YandexSpravBot/1.0; +http://yandex.com/bots) Робот Яндекс.Справочника.
YandexTurbo Mozilla/5.0 (compatible; YandexTurbo/1.0; +http://yandex.com/bots) Обходит RSS-канал, созданный для формирования Турбо-страниц. Его максимальная частота обращений к сайту составляет 3 обращения в секунду. Робот игнорирует настройку в интерфейсе Яндекс.Вебмастера и директиву Crawl-delay.
YandexVertis Mozilla/5.0 (compatible; YandexVertis/3.0; +http://yandex.com/bots) Робот поисковых вертикалей.
YandexVerticals Mozilla/5.0 (compatible; YandexVerticals/1.0; +http://yandex.com/bots) Робот Яндекс.Вертикалей: Авто.ру, Янекс.Недвижимость, Яндекс.Работа, Яндекс.Отзывы.
YandexVideo Mozilla/5.0 (compatible; YandexVideo/3.0; +http://yandex.com/bots) Индексирует видео для показа на Яндекс.Видео.
YandexWebmaster Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots) Робот Яндекс.Вебмастера.

Роботы Google

Список имен агентов, которые относятся к поисковой системе Google и учитывают правила из файла robots.txt:

Имя Полное имя Предназначение
APIs-Google APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html) Для отправки push-уведомлений
Mediapartners-Google Mediapartners-Google Размещение релевантной рекламы
AdsBot-Google-Mobile Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html) Проверка качества рекламы для android устройств
AdsBot-Google-Mobile Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML,like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html) Проверка качества рекламы для IOS устройств
AdsBot-Google AdsBot-Google (+http://www.google.com/adsbot.html) Проверка качества рекламы для компьютеров
Googlebot-ImageGooglebot Googlebot-Image/1.0 Для показа изображений в результатах поиска
Googlebot-NewsGooglebot Googlebot-News Для показа новостей в ленсте Google news
Googlebot-VideoGooglebot Googlebot-Video/1.0 Показ видео результатов с сайта
Googlebot Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z‡ Safari/537.36Googlebot/2.1 (+http://www.google.com/bot.html) Имитация пользователя компьютера
Googlebot Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z‡ Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) Имитация пользователя мобильных устройств
Mediapartners-Google compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html Размещение рекламы
AdsBot-Google-Mobile-Apps AdsBot-Google-Mobile-Apps Проверяет рекламу в приложениях на andoid (аналогично Google AdsBot)

С особой внимательностью следует блокировать доступы для основных ботов YandexBot и Googlebot.

 

Метки публикации

Понравилась публикация?

Подпишитесь и получайте лучшие публикации на темы поискового продвижения и маркетинга