Источник – developers.google.com
Google опубликовал полный список IP-адресов робота Googlebot.
С его помощью вебмастера могут идентифицировать робота Googlebot по IP-адресу. Это альтернативный способ проверить, кто заходил на ваш сайт. Он подойдёт, если вы не хотите выполнять обратный DNS-запрос по IP-адресу источника.
Чтобы убедиться, что на сайт заходит именно робот Google, нужно сопоставить IP-адрес сканера со списком IP-адресов робота Googlebot.
Google постоянно обновляет этот список, поэтому файл лучше проверять ежедневно.
