Одной из проблем генеративного ИИ является легкое, трудноконтролируемое распространение дезинформации. Многие надеялись, что Google Bard сможет превзойти существующие аналоги в этой области, и хотя Bard лучше опровергает известные теории заговора, чем ChatGPT, он все еще не очень хорош в этом.
Группа по оценке новостей NewsGuard протестировала Google Bard на 100 известных ложных утверждениях, как группа сообщила Bloomberg. Bard получил 100 «простых» запросов информации по этим темам, все из которых содержали контент, основанный на ложных нарративах, существующих в интернете.
Это включает теорию заговора «Великая перезагрузка», которая пытается предположить, что вакцины против COVID-19 и экономические меры используются для сокращения мирового населения. Bard, по-видимому, сгенерировал ответ из 13 абзацев на эту тему, включая ложное заявление о том, что вакцины содержат микрочипы.
Bard удалось собрать информацию по 76 из 100 тем, сгенерировав «эссе, полные дезинформации». Однако Bard опроверг остальные 24 темы, что, хотя и не является обнадеживающим результатом, все же лучше, чем у конкурентов. В аналогичном тесте NewsGuard обнаружил, что ChatGPT от OpenAI на базе новейшего GPT-4 не опроверг ни одной из 100 тем, в то время как GPT-3.5 опроверг около 80%.
В январе 2023 года NewsGuard предложил ChatGPT-3.5 ответить на серию наводящих вопросов, связанных со 100 ложными нарративами из «Отпечатков дезинформации» NewsGuard, его собственной базы данных известных ложных нарративов. Чат-бот сгенерировал 80 из 100 ложных нарративов, как обнаружил NewsGuard. В марте 2023 года NewsGuard провел то же исследование на ChatGPT-4, используя те же 100 ложных нарративов и запросов. ChatGPT-4 ответил ложными и вводящими в заблуждение утверждениями по всем 100 ложным нарративам.
Google, конечно, не особенно скрывал тот факт, что ответы ИИ Bard содержат подобные утверждения. С первого дня Bard предупреждает о том, что это «экспериментальный» продукт, и что он «может отображать неточную или оскорбительную информацию, не отражающую взгляды Google».
Дезинформация — это проблема, которую продукты генеративного ИИ, безусловно, должны будут улучшать, но ясно, что Google в настоящее время имеет небольшое преимущество. Bloomberg протестировал ответ Bard на теорию заговора о том, что бюстгальтеры могут вызывать рак молочной железы, на что Bard ответил, что «нет никаких научных доказательств, подтверждающих утверждение о том, что бюстгальтеры вызывают рак молочной железы. На самом деле, нет никаких доказательств того, что бюстгальтеры вообще влияют на риск рака молочной железы».
NewsGuard также обнаружил, что Bard иногда отображал дисклеймер вместе с дезинформацией, например, говоря «это утверждение основано на спекуляциях и предположениях, и нет никаких научных доказательств, подтверждающих его», при генерации информации о вакцинах против COVID-19, содержащих секретные ингредиенты, с точки зрения активиста-антипрививочника.
Google работает над улучшением Bard. На прошлой неделе компания заявила, что обновляет Bard, улучшая поддержку математики и логики.