| 8 декабря 2025 г. — 10:52 PT
Google, используя Gemini в Chrome и предстоящие возможности работы с элементами искусственного интеллекта, подробно описывает, как браузер будет защищать от угроз.
Google заявляет, что «основная новая угроза, с которой сталкиваются все браузеры с элементами искусственного интеллекта, — это косвенная инъекция подсказок». Цель этой атаки — «заставить агент выполнять нежелательные действия, такие как инициирование финансовых транзакций или утечка конфиденциальных данных». Она может «присутствовать на вредоносных сайтах, стороннем контенте в iframe или в контенте, созданном пользователями, например, в отзывах пользователей».
Учитывая эту открытую проблему, мы инвестируем в многоуровневую защиту, включающую как детерминированные, так и вероятностные средства защиты, чтобы затруднить и сделать дорогостоящим для злоумышленников нанесение вреда.
Во-первых, существует отдельная модель «Критик согласованности действий пользователя», созданная с помощью Gemini, которая «запускается после завершения планирования, чтобы дважды проверить каждое предложенное действие» и одобрить или отклонить его. Если происходит последнее, модель планирования переформулирует план, а при повторных сбоях управление возвращается пользователю.
Основное внимание уделяется согласованности задач: определению того, соответствует ли предложенное действие заявленной цели пользователя. Если действие не соответствует, Критик согласованности отклонит его. Этот компонент спроектирован так, чтобы видеть только метаданные о предложенном действии, а не какой-либо нефильтрованный ненадежный веб-контент, тем самым гарантируя, что он не может быть скомпрометирован непосредственно из Интернета.
Google также расширяет «возможности изоляции источников» Chrome, чтобы ограничить источники, с которыми агент может взаимодействовать, только теми, которые имеют отношение к задаче.
Для решения этой проблемы мы расширяем эти принципы с помощью наборов источников для агентов. Наша конструкция архитектурно ограничивает доступ агента только к данным из источников, связанных с текущей задачей, или к данным, которыми пользователь решил поделиться с агентом. Это предотвращает произвольные действия с скомпрометированным агентом в не связанных источниках.
Тем временем, чтобы пользователи сохраняли контроль, Gemini в Chrome «детализирует каждый шаг в журнале работы» с возможностью остановить его и взять управление в любой момент.
Эта прозрачность действий сочетается с детерминированными проверками на основе моделей, которые «запускают подтверждение пользователя перед тем, как агент предпримет значимое действие».
Это служит защитой как от ошибок модели, так и от враждебного ввода, ставя пользователя в цикл в ключевые моменты.
Требуется подтверждение пользователя:
- …перед тем, как [агент] перейдет на определенные конфиденциальные сайты, такие как сайты, связанные с банковскими операциями или личной медицинской информацией. Это основано на детерминированной проверке по списку конфиденциальных сайтов.
- …он подтвердит, прежде чем разрешить Chrome войти на сайт через Менеджер паролей Google – модель не имеет прямого доступа к сохраненным паролям.
- …перед любыми конфиденциальными веб-действиями, такими как завершение покупки или платежа, отправка сообщений или другие значимые действия, агент попытается приостановиться и либо получить разрешение пользователя перед продолжением, либо попросить пользователя выполнить следующий шаг.
