Названия поисковых ботов, которые учитывают записи файла robots.txt. Названия подойдут для выявления агентов в логах сервера, а также для контроля и тонкой корректировки работы выбранных типов ботов в файле robots.txt
Роботы Yandex
Список имен агентов, которые относятся к поисковой системе Yandex и учитывают правила из файла robots.txt:
| Имя | Полное имя | Предназначение |
|---|---|---|
| Yandex | Все индексирующие роботы Яндекса | |
| YandexBot | Mozilla/5.0 (compatible; YandexBot/3.0); +http://yandex.com/bots; | Основной индексирующий робот |
| YandexAdNet | Mozilla/5.0 (compatible; YandexAdNet/1.0; +http://yandex.com/bots) | Робот рекламной сети яндекс (РСЯ) |
| YandexBlogs | Mozilla/5.0 (compatible; YandexBlogs/0.99; robot; +http://yandex.com/bots) | Робот поиска по блогам, индексирующий комментарии постов. |
| YandexForDomain | Mozilla/5.0 (compatible; YandexForDomain/1.0; +http://yandex.com/bots) | Робот почты для домена, используется при проверке прав на владение доменом. |
| YandexImages | Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots) | Индексирует изображения для показа на Яндекс.Картинках. |
| YandexImageResizer | Mozilla/5.0 (compatible; YandexImageResizer/2.0; +http://yandex.com/bots) | Робот мобильных сервисов. |
| YandexMarket | Mozilla/5.0 (compatible; YandexMarket/1.0; +http://yandex.com/bots) | Робот Яндекс.Маркета. |
| YandexMedia | Mozilla/5.0 (compatible; YandexMedia/3.0; +http://yandex.com/bots) | Индексирует мультимедийные данные. |
| YandexNews | Mozilla/5.0 (compatible; YandexNews/4.0; +http://yandex.com/bots) | Робот Яндекс.Новостей. |
| YandexPagechecker | Mozilla/5.0 (compatible; YandexPagechecker/1.0; +http://yandex.com/bots) | Обращается к странице при валидации микроразметки через форму Валидатор микроразметки. |
| YandexSitelinks | Mozilla/5.0 (compatible; YandexSitelinks; Dyatel; +http://yandex.com/bots) | Проверяет доступность страниц, которые используются в качестве быстрых ссылок. |
| YandexSpravBot | Mozilla/5.0 (compatible; YandexSpravBot/1.0; +http://yandex.com/bots) | Робот Яндекс.Справочника. |
| YandexTurbo | Mozilla/5.0 (compatible; YandexTurbo/1.0; +http://yandex.com/bots) | Обходит RSS-канал, созданный для формирования Турбо-страниц. Его максимальная частота обращений к сайту составляет 3 обращения в секунду. Робот игнорирует настройку в интерфейсе Яндекс.Вебмастера и директиву Crawl-delay. |
| YandexVertis | Mozilla/5.0 (compatible; YandexVertis/3.0; +http://yandex.com/bots) | Робот поисковых вертикалей. |
| YandexVerticals | Mozilla/5.0 (compatible; YandexVerticals/1.0; +http://yandex.com/bots) | Робот Яндекс.Вертикалей: Авто.ру, Янекс.Недвижимость, Яндекс.Работа, Яндекс.Отзывы. |
| YandexVideo | Mozilla/5.0 (compatible; YandexVideo/3.0; +http://yandex.com/bots) | Индексирует видео для показа на Яндекс.Видео. |
| YandexWebmaster | Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots) | Робот Яндекс.Вебмастера. |
Роботы Google
Список имен агентов, которые относятся к поисковой системе Google и учитывают правила из файла robots.txt:
| Имя | Полное имя | Предназначение |
|---|---|---|
| APIs-Google | APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html) | Для отправки push-уведомлений |
| Mediapartners-Google | Mediapartners-Google | Размещение релевантной рекламы |
| AdsBot-Google-Mobile | Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html) | Проверка качества рекламы для android устройств |
| AdsBot-Google-Mobile | Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML,like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html) | Проверка качества рекламы для IOS устройств |
| AdsBot-Google | AdsBot-Google (+http://www.google.com/adsbot.html) | Проверка качества рекламы для компьютеров |
| Googlebot-ImageGooglebot | Googlebot-Image/1.0 | Для показа изображений в результатах поиска |
| Googlebot-NewsGooglebot | Googlebot-News | Для показа новостей в ленсте Google news |
| Googlebot-VideoGooglebot | Googlebot-Video/1.0 | Показ видео результатов с сайта |
| Googlebot | Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z‡ Safari/537.36Googlebot/2.1 (+http://www.google.com/bot.html) | Имитация пользователя компьютера |
| Googlebot | Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z‡ Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) | Имитация пользователя мобильных устройств |
| Mediapartners-Google | compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html | Размещение рекламы |
| AdsBot-Google-Mobile-Apps | AdsBot-Google-Mobile-Apps | Проверяет рекламу в приложениях на andoid (аналогично Google AdsBot) |
С особой внимательностью следует блокировать доступы для основных ботов YandexBot и Googlebot.
