Джерело – youtube.com
Зараз працюють три способи приховати сайт з пошукової видачі:
1. Використання пароля
Пароль гарантує, що пошукові системи, ні випадкові користувачі інтернету не зможуть побачити контент. Це дозволяє заборонити Google доступ до сайту, який ще не готовий до перегляду.
2. Блокування сканування у robots.txt
Забороняючи сканування Googlebot за допомогою файлу robots.txt, користувачі можуть отримати доступ до сайту за прямим посиланням. У пошукових систем менше шансів зробити це без доступу до контенту.
3. Блокування індексування
Щоб заборонити пошуковим системам індексувати сайт, потрібно додати метатег noindex на сторінки. При цьому користувачі, як і раніше, можуть бачити сторінку.
Таким чином, на думку Мюллера, для конфіденційного контенту рекомендується використовувати захист паролем. Заблокувати сканування або індексування потрібно, щоб певні частини сайту не з'являлися у пошуку.
