SEO

Google добавил в список краулеров новый user-agent

Западные специалисты обратили внимание, что Google обновил документацию по поисковым роботам. В список краулеров был добавлен новый агент пользователя – Google Site Verifier User Agent. Он игнорирует правила robots.txt, и используется для проверки права собственности на сайт с помощью консоли поиска и других инструментов и сервисов Google.

Представитель Google Джон Мюллер уточнил в Twitter, что этот user-agent не является чем-то новым и уже используется Google некоторое время, однако, информация о нем была добавлена в официальный список краулеров только сейчас.

Подробней о процессе верификации можно прочесть в справке Search Console.

Последний раз справочная документация по роботам Google обновлялась в марте текущего года, тогда изменения коснулись краулера Google Favicon.

Источник

Теги

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»
Закрыть
Закрыть