Источник – developers.google.com
Google обновил сервис DuplexWeb – агента пользователя, который обеспечивает работу сервиса «Duplex в интернете». Обновленный user-agent использует последнюю версию Android и Chrome.
Особенности работы и частота сканирования:
- Ни один сервис, применяющий агент пользователя DuplexWeb-Google, не совершает покупки или другие важные действия при сканировании сайта.
- DuplexWeb-Google выполняет сканирование от нескольких раз в день до нескольких раз в час – в зависимости от обучаемой функции, но с таким расчетом, чтобы не перегрузить ваш сайт и не нарушить его трафик.
- Данные, полученные этим user-agent, не применяются для индексирования в Google Поиске. Поэтому DuplexWeb-Google не распознает директиву noindex.
- В отчетах Google Аналитики не регистрируются запросы страниц, поступившие от DuplexWeb-Google во время сканирования и анализа.
Если вы не хотите, чтобы агент пользователя DuplexWeb-Google сканировал ваши страницы, вам необходимо явным образом заблокировать ему доступ к ним с помощью директивы Disallow в файле robots.txt. Отключить обучение в настройках ресурса в Search Console недостаточно.
