Reddit может быть ценным источником информации от реальных людей, именно поэтому Google тратит миллионы на сделку с этой платформой. Однако теперь Reddit начал блокировать отображение многих своих результатов в других поисковых системах.
В феврале этого года Google объявил о новой сделке с Reddit, в рамках которой данные Reddit будут использоваться для обучения моделей ИИ Google, а также для более заметного отображения результатов Reddit в Google Поиске. Bloomberg сообщил, что сумма сделки составила около 60 миллионов долларов. С тех пор результаты Reddit стали значительно чаще появляться в Google Поиске, часто ранжируясь выше сайтов, на которые ссылаются посты Reddit.
Теперь результаты Reddit в других поисковых системах фактически заблокированы.
Об этом поведении первым сообщило издание 404 Media, которое отмечает, что Reddit обновил свой файл robots.txt, чтобы заблокировать все боты от сканирования каких-либо частей сайта. В этом файле Reddit указывает:
Reddit верит в открытый интернет, но не в злоупотребление общедоступным контентом.
В июне, незадолго до первого обновления файла, Reddit объяснил, что это изменение было сделано в ответ на «увеличение числа явно коммерческих организаций, которые сканируют Reddit» и «используют контент Reddit для любых нужд по своему усмотрению». Хотя это не сказано явно, также весьма очевидно, что обучение ИИ является явной целью этого изменения политики.
Однако в результате поисковые системы, отличные от Google, теперь не могут показывать должным образом результаты из Reddit, как это было раньше.
Обновление 25.07: В беседе с 9to5Google на условиях конфиденциальности представитель Reddit пояснил, что проблемы в других поисковых системах «совсем не» связаны с партнерством с Google, а являются следствием изменений в его файле robots.txt, направленных против «всех сканеров», которые не готовы взять на себя обязательство не использовать данные Reddit для обучения ИИ. Reddit заявляет, что Internet Archie и reddit4research являются двумя примерами работающих сканеров.
Reddit «открыт» к сотрудничеству с другими по вопросам сканирования данных и ведет переговоры с «несколькими» поисковыми системами, но не достиг соглашений со всеми из-за обещаний относительно того, как будет использоваться контент Reddit, в том числе при обучении ИИ.
Наша оригинальная статья следует ниже (и наш заголовок был обновлен в соответствии с этой дополнительной информацией от Reddit):
Издание 404 отмечает, что затронуты Bing, DuckDuckGo, Mojeek и Qwant: результаты либо не показывают ничего актуального, либо не отображают полные результаты сайта. Kagi, платная поисковая система, по-видимому, по-прежнему показывает данные, но только потому, что она покупает часть своего поискового индекса у Google, который продолжает иметь доступ к данным Reddit через упомянутую сделку.
