Google сегодня анонсировала PaLM 2, который обладает улучшенными возможностями работы с несколькими языками, рассуждениями и написанием кода. Эта «языковая модель следующего поколения» работает быстрее, эффективнее и лежит в основе 25 собственных продуктов и функций.
В 2022 году Google анонсировала Pathways Language Model (или PaLM) с архитектурой ИИ «Pathways», которая позволяет «обучать одну модель для выполнения тысяч или миллионов задач».
PaLM 2 отличается улучшенной «многоязычностью», поскольку она «более интенсивно обучалась на многоязычных текстах» более чем на 100 языках. Это приводит к «значительному улучшению» способности понимать, генерировать и переводить нюансированные тексты, такие как идиомы, стихи и загадки.
Что касается рассуждений, набор данных PaLM 2 включает научные статьи и веб-страницы с математическими выражениями для «улучшенных возможностей в логике, здравом смысле и математике».
Наконец, она была предварительно обучена на «большом количестве» общедоступных наборов данных исходного кода. Помимо Python и JavaScript, это включает генерацию специализированного кода на Prolog, Fortran и Verilog.
PaLM 2 будет доступна в четырех размерах с названиями, вдохновленными животными (Gecko, Otter, Bison и Unicorn):
Gecko настолько легкий, что может работать на мобильных устройствах и достаточно быстр для отличных интерактивных приложений на устройстве, даже в автономном режиме. Эта универсальность означает, что PaLM 2 может быть доработана для поддержки целых классов продуктов более разнообразными способами, чтобы помочь большему количеству людей.
В частности, Gecko может обрабатывать 20 токенов в секунду и был протестирован на новейших телефонах, хотя Google не уточнила, на каких именно устройствах.
На I/O 2023 Google сообщила, что PaLM 2 работает в 25 продуктах. Она уже используется Bard для написания кода, а также для расширения поддержки корейского и японского языков, и в Workspace. Существуют также Med-PaLM 2 («отвечает на вопросы и обобщает информацию из различных плотных медицинских текстов») и Sec-PaLM для кибербезопасности. Он также лежит в основе Duet AI для Google Cloud.
