1 липня 2024 року Reddit оновив свій файл robots.txt, щоб заборонити більшості пошукових систем і сканерам AI доступ до його вмісту, включаючи блокування Microsoft Bing.
Раніше сьогодні вранці Mark Williams-Cook повідомив мене, що результати Reddit випадають з індексу пошуку Bing. Тоді кілька ЗМІ почали висвітлювати новину. Я хотів підтвердити, що сканери Bing справді заблоковано, тому що Reddit використовував виявлення IP, щоб показати пошуковим системам одну версію свого файлу robots.txt, а людям іншу версію файлу robots.txt – як я
пояснював раніше цього місяця.
Таким чином, Bing припинив сканування нового вмісту на Reddit, тому, коли ви фільтруєте результати Reddit у Пошуку Bing за останній тиждень, ви нічого не бачите:
Представник Microsoft підтвердив цю інформацію Search Engine Land:
«Microsoft поважає стандарт robots.txt, і ми виконуємо вказівки, надані вебсайтами, які не хочуть, щоб вміст на їхніх сторінках використовувався з нашими генеративними моделями ШІ. Bing припинив сканування Reddit після того, як 1 липня запровадив оновлений файл robots.txt, який забороняє будь-яке сканування їх сайту».
Заява Reddit. Прессекретар Reddit Tim Rathschmidt каже у заяві The Verge:
«Це зовсім не пов'язано з нашим нещодавнім партнерством з Google. Ми вели переговори з багатьма пошуковими системами. Ми не змогли досягти домовленостей з усіма з них, оскільки деякі з них не можуть або не хочуть давати обіцянки, які можна було б виконати, щодо використання контенту Reddit, в тому числі для штучного інтелекту».
Оскільки Reddit уклав ліцензійну угоду з Google, Reddit може грати жорстко з іншими пошуковими системами та інструментами ШІ. Тому Reddit заблокував більшість інших пошукових систем від сканування його вмісту. Водночас Google зараз скеровує трафік на Reddit, зокрема тестуючи спеціальне ставлення до них у результатах пошуку.
Це змушує вас задуматися, чи можуть інші великі вебсайти спробувати піти цим шляхом і де це може залишити менших видавців і виробників контенту. Не очікуйте, що найближчим часом у Bing з’явиться багато нового вмісту Reddit.
