Чат-боты были на пике популярности в прошлом десятилетии, и теперь они часто встречаются при обращении в службу поддержки. Сегодня разговорные агенты несколько ограничены, а Google работает над созданием чат-бота, похожего на человека, «который может говорить обо всем».
Исследовательская группа Google Brain сегодня подробно описала «Meena». Эта нейронная разговорная модель, обученная сквозным методом, пытается исправить «критический недостаток» современных высокоспециализированных чат-ботов:
Иногда они говорят вещи, которые не соответствуют сказанному ранее, или им не хватает здравого смысла и базовых знаний о мире. Более того, чат-боты часто дают ответы, которые не относятся к текущему контексту.
Модель Meena от Google фокусируется на понимании контекста разговора для предоставления разумного ответа. Цель — создать нечто, что может «обсуждать практически все, что хочет пользователь». Например, в двух диалогах пользователи просят Meena порекомендовать шоу, а в другом она отвечает шутками.
Она обучена на 341 ГБ текста из общедоступных бесед в социальных сетях, что в 8,5 раз больше данных, чем у существующих передовых генеративных моделей.
Работая над реалистичной моделью, Google создал новый эталон качества для чат-ботов. Среднее значение осмысленности и специфичности (SSA) «захватывает базовые, но важные атрибуты для естественных разговоров». Оценщиков-людей просят определить, является ли ответ «разумным в контексте».
Если что-то кажется неправильным — сбивающим с толку, нелогичным, вне контекста или фактически неверным, — то это должно быть оценено как «не имеет смысла». Если ответ имеет смысл, то высказывание оценивается, чтобы определить, специфично ли оно для данного контекста.
Например, если А говорит: «Я люблю теннис», а В отвечает: «Это приятно», то высказывание должно быть помечено как «неспецифичное». Этот ответ мог бы использоваться в десятках различных контекстов. Но если В отвечает: «Я тоже, я не могу насытиться Роджером Федерером!» — тогда он помечается как «специфичный», поскольку он тесно связан с обсуждаемым.
На этом эталоне, созданном Google, Meena работает лучше, чем существующие модели, и «сокращает разрыв с человеческой производительностью». Практическое применение чат-ботов, похожих на людей, включает гуманизацию использования компьютеров и создание близких по духу интерактивных персонажей для фильмов или игр.
В дальнейшем Google хочет выйти за рамки осмысленности и специфичности для своего чат-бота, похожего на человека, и заняться личностью и фактической точностью. Безопасность и предвзятость — еще одна важная область, и компания не выпускает исследовательскую демонстрацию сегодня по этой причине.
Мы оцениваем риски и преимущества, связанные с внешним предоставлением контрольной точки модели, и, возможно, выберем предоставить ее в ближайшие месяцы, чтобы помочь продвинуть исследования в этой области.