Разработки Google в области искусственного интеллекта впечатляют, но их наиболее значимые достижения приходят из продуктов, которые интегрируются с ним. Теперь сторонний проект Google представил сенсорный синтезатор, использующий ИИ для расширения творческих возможностей.
«NSynth Super» — это экспериментальный проект с открытым исходным кодом, разработанный исследовательской группой Google Magenta. Используя NSynth, нейронную сеть, генерирующую звуки, синтезатор способен создавать звуки, имитирующие звучание инструментов. Алгоритм использует основные характеристики инструмента для создания звуков, а не просто генерирует ноты.
Для игры с этими возможностями NSynth Super оснащен центральной X/Y-панелью, квадранты которой назначены определенным инструментам. Используя пальцы на сенсорном экране, вы можете смешивать звуки этих инструментов, но, как отмечает The Verge, это происходит не так, как вы могли бы ожидать.
Особенность NSynth Super заключается в том, что он не просто накладывает звуки друг на друга. Скорее, он синтезирует совершенно *новый* звук, основанный на акустических качествах отдельных инструментов. Это дает неожиданные результаты. В демонстрационном видео выше смешивание флейты и малого барабана создает резкий, почти стеклянный звук, лишенный каких-либо явных «барабанных» качеств.
К сожалению для заинтересованных, Google не продает этот продукт широкой публике. Вместо этого компания предоставила все необходимые материалы и схемы для самостоятельной сборки устройства с помощью Raspberry Pi. Вся эта информация доступна на Github.
https://youtu.be/iTXU9Z0NYoU