Источник – searchenginejournal.com
Вебмастер поинтересовался у сотрудника Google Джона Мюллера, как уведомления об ошибке 500 в Search Console в ответ на сканирование Googlebot могли повлиять на видимость сайта в поиске.
Мюллер ответил, что если Googlebot сталкивается с кодом ответа сервера 500, то старается попасть на страницы снова и снова. Если ошибка все еще повторяется, то Google замедляет сканирование. Если же спустя время ошибка 500 не исчезает, поисковик удаляет URL-адреса с ошибками из индекса.
Кроме того, стало известно – Googlebot сам вызывает перегрузку сервера. Из-за этого в частности он и замедляет сканирование. Тем не менее у поисковика нет жестких значений, при которых Google решает, что сделано много запросов, получено много ошибок, следовательно, пора замедлять сканирование.
