Google опублікував новий подкаст «Search Off The Record» на тему сканування, у якому John Mueller, Lizzi Sassman та Gary Illyes розповіли про те, як Google сканує, деякі ідеї щодо підвищення ефективності сканування, а також про деякі помилкові уявлення про частоту сканування і якість сайтів.
В подкасті зазначено, що Google розглядає «новий вид передачі на фрагменти», запропонований кимось з IETF Track, Internet Engineering Task Force. IETF є органом стандартизації, частиною якого також є протокол виключення роботів. Якщо «новий вид передачі фрагментів» працює, це може зробити сканування трохи ефективнішим.
Форумне обговорення на X.
