Сегодня днем Google опубликовал развернутый ответ об AI Overviews и их точности. Функция поиска была запущена на I/O 2024 в США и подверглась критике за ряд громких ошибок.
Google начинает с объяснения принципов работы AI Overviews, включая то, как они «работают совершенно иначе, чем чат-боты и другие LLM-продукты».
Они не просто генерируют результат на основе обучающих данных. Хотя AI Overviews работают на базе пользовательской языковой модели, эта модель интегрирована с нашими основными системами ранжирования веб-сайтов и разработана для выполнения традиционных задач «поиска», таких как выявление релевантных, высококачественных результатов из нашего индекса. Именно поэтому AI Overviews не просто предоставляют текстовый вывод, но и включают релевантные ссылки, чтобы пользователи могли изучить тему дальше.
AI Overviews «основаны на лучших веб-результатах», при этом Google пытается отличить их от более широкой проблемы галлюцинаций LLM, из-за которой, по мнению некоторых, LLM плохо подходят для поиска.
Это означает, что AI Overviews, как правило, не «галлюцинируют» и не выдумывают вещи так, как это могут делать другие LLM-продукты.
Вместо этого, когда AI Overviews ошибаются, Google говорит, что распространенные проблемы включают «неправильное толкование запросов, неверное понимание нюансов языка в интернете или отсутствие большого количества полезной информации».
Google выделил некоторые вирусные примеры. В случае с запросом «Сколько камней мне следует съесть» Google признает, что не очень хорошо справляется при работе с сатирическим контентом. Компания также указывает на то, что статья The Onion была «переопубликована на веб-сайте поставщика геологического программного обеспечения».
Таким образом, когда кто-то ввел этот вопрос в Поиск, появилось AI Overview, которое добросовестно ссылалось на один из немногих веб-сайтов, освещавших этот вопрос.
Другой случай, который выделил Google, касался «использования клея, чтобы сыр прилипал к пицце» и избыточного индексирования форумов (в данном случае Reddit) как источника надежных личных знаний.
Наконец:
В небольшом числе случаев мы наблюдали, как AI Overviews неверно истолковывали язык на веб-страницах и представляли неточную информацию. Мы быстро работали над решением этих проблем, либо путем улучшения наших алгоритмов, либо посредством установленных процессов для удаления ответов, которые не соответствуют нашим политикам.
В качестве следующих шагов Google «ограничил включение сатиры и юмористического контента» как часть «улучшенных механизмов обнаружения бессмысленных запросов». Кроме того:
- «Мы обновили наши системы, чтобы ограничить использование пользовательского контента в ответах, которые могут давать вводящие в заблуждение советы».
- «Мы добавили ограничения на срабатывание для запросов, по которым AI Overviews оказались не настолько полезными».
- «Для таких тем, как новости и здравоохранение, у нас уже есть надежные механизмы защиты. Например, мы стремимся не отображать AI Overviews для тем, с «горячими» новостями, где важна свежесть и фактическая точность. В случае со здоровьем мы внедрили дополнительные уточнения триггеров для усиления нашей защиты качества».
Ранее компания заявляла, что «подавляющее большинство AI Overviews предоставляют высококачественную информацию». Ссылаясь на собственные тесты, Google утверждает сегодня, что уровень точности AI Overviews и цитируемыхFeatured Snippets «на одном уровне». Однако, к сожалению, никаких данных в подтверждение этого предоставлено не было.