Джерело – twitter.com
Співробітнику пошуку Google Джон Мюллер було поставлено питання щодо сайту, який зв'язується з API на клієнтському сайті для отримання даних – чи враховуються ці URL в бюджеті сканування, і чи може використання директиви disallow призвести до проблем.
Джон Мюллер відповів, що виклики, включені до процесу рендерингу сторінки, будуть враховуватися у бюджеті сканування. Їх необхідно просканувати, щоб відобразити сторінку.
Сканування даних API/URL можна заблокувати за допомогою директиви disallow (якщо на це витрачається велика кількість ресурсів), це може вплинути на рендеринг контенту. Якщо для успішного рендерингу необхідні ці URL, то дані не варто закривати від сканування. Якщо вони є допоміжними (малюнки, діаграми і т.п.), то ризики мінімальні.
