Источник – youtube.com
Сейчас работают три способа скрыть сайт из поисковой выдачи:
1. Использование пароля
Пароль гарантирует, что ни поисковые системы, ни случайные пользователи интернета не смогут увидеть контент. Он позволяет запретить Google доступ к сайту, который еще не готов к просмотру.
2. Блокировка сканирования в robots.txt
При запрете сканирования Googlebot с помощью файла robots.txt пользователи могут получить доступ к сайту по прямой ссылке. У поисковых систем шансы сделать этого меньше без доступа к контенту.
3. Блокировка индексирования
Для того чтобы запретить поисковым системам индексировать сайт, нужно добавить метатег noindex на страницы. При этом пользователи по-прежнему могут видеть страницу.
Таким образом, по мнению Мюллера, для конфиденциального контента рекомендуется использовать защиту с помощью пароля. Заблокировать сканирование или индексирование нужно, чтобы определенные части сайта не появлялись в поиске.
