В этом году на конференции Google I/O 2022 компания Google продемонстрировала множество прорывов в области новых технологий искусственного интеллекта и безопасности. Одно из этих крутых достижений, появившихся пару лет назад, было представлено на сцене во время пре-шоу. Оно называется Tone Transfer, разработано командой Magenta от Google и позволяет превращать обычные инструменты или звуки во что-то совершенно иное.
Что такое Tone Transfer от Google?
Разработанный командой Magenta от Google и анонсированный еще в октябре 2020 года, Tone Transfer — это довольно интересный инструмент, который позволяет музыкантам вводить звуки и получать на выходе нечто совершенно иное. Например, вы можете взять пение людей, щебетание птиц или даже глухие и резкие удары кастрюль и сковородок и превратить этот звук во флейту или скрипку.
Этот проект основан на процессе машинного обучения под названием Differentiable Digital Signal Processing (DDSP). В одном из примеров команда загрузила в модель 10-минутную запись скрипки для обработки и прогона через систему. После этого команда начала отслеживать прогресс программы и ее способность воссоздавать этот звук. В данном примере после одного часа обучения воссозданный звук напоминает синтезатор, играющий безэмоционально. После 10 часов обучения модель способна почти неотличимо воспроизводить звук скрипки. Причина в том, что к этому моменту модель уже может управлять несколькими различными звуковыми характеристиками, присущими инструменту.
В целом, проект Tone Transfer от команды Magenta из Google невероятно интересен и показывает, как далеко продвинулось машинное обучение в целом. Способность ИИ самостоятельно разрабатывать и воспроизводить музыкальные инструменты — это поразительное достижение.
Как создавать собственные звуки в Tone Transfer
Команда Magenta в Google сделала Tone Transfer доступным для всех желающих. Вы можете взять образец, предложенный в программе, или загрузить свой собственный. После этого вы выбираете, во что будет преобразован этот звук. Вот доступные конечные звуки:
- Флейта
- Саксофон
- Труба
- Скрипка
Просто выберите исходный звук и нажмите значок воспроизведения под его звуковой сигнатурой, чтобы получить представление о том, как он звучит. После этого выберите выходной звук. Нажмите «Воспроизвести» еще раз, чтобы услышать, как звук воссоздается и превращается в новый инструмент.
Если вы хотите загрузить свой собственный звуковой образец, вы можете нажать «Добавить свой» в разделе исходных сэмплов. Если ваше устройство совместимо, вы можете либо записать звук, либо загрузить файл с компьютера. По завершении записи или загрузки нажмите «Готово», и вы сможете прослушать свою запись. Если результат вас устраивает, нажмите «Преобразовать», и Tone Transfer начнет обрабатывать образец.
Совет: Если вы хотите получить хороший результат, убедитесь, что вы выбираете звук, в котором одновременно звучит только один тон. Таким образом, модель машинного обучения сможет лучше различать и создавать конечный результат.
Во время воспроизведения вы можете нажать на значок ползунка, чтобы настроить конечный результат. Вы можете настроить микс, октаву и громкость по своему вкусу.
В целом, Tone Transfer от Google и команды Magenta — это очень круто. Модель демонстрирует, как далеко продвинулись эти технологии, и служит хорошим примером того, для чего их можно использовать. Мы определенно с нетерпением ждем, над чем Magenta будет работать в будущем.