Одной из новых функций запуска Pixel 9, основанных на ИИ, является Pixel Studio — приложение, которое принимает текстовые запросы и превращает их в изображения. В нашем опыте это может оказаться забавным маленьким инструментом, но он также может довольно легко выйти из-под контроля.
Pixel Studio — это специализированное приложение для создания изображений по текстовым запросам. Приложение работает по тому же принципу, что и Gemini и ImageFX, позволяя пользователям вводить текстовый запрос и получать взамен изображение. Но, как и у любого уважающего себя генератора изображений, должны быть установлены ограничения.
В заявлении для 9to5Google Google объясняет, что для Pixel Studio и Magic Editor существуют ограничения, призванные «предотвратить злоупотребления», при этом уважая «намерение пользовательских запросов», даже если пользователю поручено создавать контент, который «может оскорбить», если пользователь напрямую просит об этом приложение.
Pixel Studio и Magic Editor — это полезные инструменты, предназначенные для раскрытия вашего творческого потенциала с помощью генерации изображений по тексту и расширенного редактирования фотографий на устройствах Pixel 9. Мы разрабатываем наши инструменты генеративного ИИ с учетом намерений пользовательских запросов, и это означает, что они могут создавать контент, который может оскорбить, когда пользователь дает такое указание. Тем не менее, это не означает, что разрешено все. У нас есть четкие правила и Условия обслуживания относительно того, какой контент мы разрешаем и не разрешаем, и мы создаем меры безопасности для предотвращения злоупотреблений. Иногда некоторые запросы могут бросить вызов этим мерам безопасности, и мы стремимся постоянно улучшать и дорабатывать существующие меры защиты.
Это похоже на Gemini, который имеет меры безопасности против потенциально оскорбительного или разделяющего контента. Например, Google подвергся критике за неточные изображения людей в историческом контексте, что привело к «временному» отключению возможности генерации изображений людей, как это было в течение последних нескольких месяцев.
Как и Gemini, Pixel Studio не может генерировать изображения людей, но мы обнаружили, что приложение может быстро и легко выйти из-под контроля.
До сегодняшнего эмбарго на обзоры Pixel 9 мы обнаружили, что Pixel Studio мог создавать изображения мультяшных персонажей в немецкой военной форме Второй мировой войны, в некоторых случаях с нацистской символикой. Другой шокирующий и тревожный пример, который мы видели (от коллег из Digital Trends, которые первыми заметили эти проблемы), изображал персонажа, стреляющего в школе, с окружающими его мертвыми детьми, чего модели Google вообще не должны были генерировать.
С момента первого просмотра этих результатов запросы, использованные для их создания, по-видимому, были заблокированы Google на нашем Pixel 9 Pro XL, но Digital Trends утверждает, что они все еще могут использовать некоторые из них.
Все это подразумевает, что меры безопасности в Pixel Studio фактически превратятся в бесконечную игру «бей крота». Где-то, каким-то образом, запрос проскользнет и создаст что-то, на что приложение не должно быть способно, если оно действительно использует те же меры безопасности, что и Gemini — мы проверили с Google, и компания заявила, что «все» ее инструменты для преобразования текста в изображения «разделяют аналогичные руководства по запрещенному использованию», со ссылкой на свою политику в отношении ИИ.
Реалистично говоря, подобное неизбежно при генерации изображений с помощью ИИ. Это проблема, с которой в той или иной степени сталкиваются практически все генераторы изображений с помощью ИИ. Как рассказал наш Abner Li в своем обзоре Pixel 9 Pro ранее сегодня:
Что касается Pixel Studio, то в целом я считаю, что генерация изображений — это скользкая дорожка, где недостатки перевешивают преимущества. Вы определенно можете заставить его выдавать сомнительный контент, и я не думаю, что какое-либо количество мер безопасности сможет это остановить.