Google повністю реорганізував документацію щодо своїх сканерів та інструментів для збору даних. Google додав розділи для того, на який продукт впливає кожен сканер, а також додав фрагмент robots.txt для кожного сканера, щоб продемонструвати, як використовувати маркери агента користувача.
Google:
Реорганізовано документацію для пошукових роботів Google та інструментів для збору даних. Ми також додали чіткі примітки про те, на який продукт впливає кожен сканер, і додали фрагмент robots.txt для кожного сканера, щоб продемонструвати, як використовувати токени користувацьких агентів. В іншому не було ніяких значущих змін у контенті...
...Документація стала дуже довгою, що обмежило наші можливості розширювати вміст про наші кроулери та користувацькі інструменти для збору даних.
Якщо ви заглибитеся в кожне сканування, наприклад Googlebot, ви побачите два нових розділи:
- уражені продукти;
- приклад групи robots.txt.
Ось зразок скриншота, на якому це застосовано до пошукового робота Googlebot, але це було додано до кожного окремого робота:
Ось як кожен сканер впливає на продукти:
- Googlebot: параметри сканування, адресовані агенту користувача Googlebot, впливають на пошук Google (включно з Discover та всі функції пошуку Google), а також на інші продукти, такі як Google Images, Google Video, Google News і Discover.
- Зображення Googlebot: параметри сканування, адресовані агенту користувача Googlebot-Image, впливають на Google Images, Discover, Google Video та всі функції в Пошуку Google, де представлені зображення, логотипи та піктограми.
- Googlebot Video: параметри сканування, адресовані агенту користувача Googlebot-Video, впливають на пов’язані з відео функції пошуку Google та інші продукти, які залежать від відео.
- Googlebot News: параметри сканування, адресовані агенту користувача Googlebot-News, впливають на всі поверхні Новин Google (наприклад, вкладку Новини в Пошуку Google і програму Новини Google).
- Google StoreBot: параметри сканування, адресовані агенту користувача Storebot-Google, впливають на всі складники Google Shopping (наприклад, вкладку Shopping у Пошуку Google і Google Shopping).
- Google-InspectionTool: параметри сканування, адресовані агенту користувача Storebot-Google, впливають на такі інструменти тестування пошуку, як Rich Result Test і перевірка URL-адрес у Search Console. Це не впливає на пошук Google чи інші продукти.
- GoogleOther: параметри сканування, адресовані агенту користувача GoogleOther, не впливають на жоден конкретний продукт. GoogleOther – це загальний сканер, який можуть використовувати різні команди продуктів для отримання загальнодоступного вмісту із сайтів. Наприклад, його можна використовувати для одноразових сканувань для внутрішніх досліджень і розробок. Це не впливає на пошук Google чи інші продукти.
- GoogleOther-Image: параметри сканування, адресовані агенту користувача GoogleOther-Image, не впливають на жодний конкретний продукт, подібно до GoogleOther. GoogleOther-Image — це версія GoogleOther, оптимізована для отримання загальнодоступних URL-адрес зображень.
- GoogleOther-Video: параметри сканування, адресовані агенту користувача GoogleOther-Video, не впливають на жодний конкретний продукт, подібно до GoogleOther. GoogleOther-Video — це версія GoogleOther, оптимізована для отримання загальнодоступних URL-адрес відео.
- Google-CloudVertexBot: параметри сканування, адресовані агенту користувача Google-CloudVertexBot, впливають на сканування, які запитують власники сайтів для створення агентів Vertex AI. Це не впливає на пошук Google чи інші продукти.
- Google-Extended: Google-Extended — це окремий маркер продукту, який вебвидавці можуть використовувати, щоб керувати тим, чи допомагають їхні сайти вдосконалювати генеративні API Gemini Apps і Vertex AI, включаючи моделі майбутніх поколінь, які забезпечують ці продукти. Google-Extended не впливає на включення або рейтинг сайту в Пошуку Google.
- API-інтерфейси Google: параметри сканування, адресовані агенту користувача API-інтерфейсів Google, впливають на доставку повідомлень push-сповіщень API Google.
- AdsBot Mobile Web: параметри сканування, адресовані агенту користувача AdsBot-Google-Mobile, впливають на здатність Google Ads перевіряти якість реклами вебсторінки.
- AdsBot: параметри сканування, адресовані агенту користувача AdsBot-Google, впливають на здатність Google Ads перевіряти якість реклами вебсторінки.
- AdSense: параметри сканування, адресовані агенту користувача Mediapartners-Google, впливають на Google AdSense. Вебсканер AdSense відвідує сайти-учасники, щоб надати їм відповідну рекламу.
- Google-Safety: агент користувача Google-Safety обробляє специфічне сканування зловживань, наприклад виявлення зловмисного програмного забезпечення для загальнодоступних посилань на ресурсах Google. Таким чином, на нього не впливають параметри сканування.
- Feedfetcher: Feedfetcher використовується для сканування каналів RSS або Atom для Новин Google і PubSubHubbub.
- Центр видавців Google: Центр видавців Google отримує й обробляє канали, які видавці явно надають для використання на цільових сторінках Новин Google.
- Google Read Aloud: за запитом користувача Google Read Aloud отримує та читає веб-сторінки за допомогою перетворення тексту в мовлення (TTS).
- Google Site Verifier: Google Site Verifier отримує маркери підтвердження Search Console.
Google також додав інформацію про кодування контенту, яке підтримуються пошуковими роботами Google та інструментами для збору даних. Це лише зміни в документації, без змін у поведінці. Google також оновив URL-адресу в рядку HTTP-агента користувача GoogleProducer в документації інструментів для збору даних Google, щоб вона відповідала значенню, яке використовується в реальному юзер агенті.
Форумне обговорення на X.
