Meta представляет AudioCraft, открытый код искусственного интеллекта для создания музыки и аудио по тексту.
Meta продолжает развивать свои продукты в области искусственного интеллекта и анонсирует новый проект под названием AudioCraft. Это генератор аудио и музыки с открытым исходным кодом, который работает по принципу текст-в-звук.
AudioCraft состоит из трех модулей: MusicGen, AudioGen и EnCodec. MusicGen умеет сочинять музыкальные композиции по текстовым описаниям жанра, настроения, инструментов и других параметров. AudioGen способен создавать различные звуковые эффекты. И третий модуль это нейронный аудиокодек — EnCodec. Который сжимает звуковые файлы с лучшим качеством, чем формат MP3.
Для обучения MusicGen использовались музыкальные треки, принадлежащие Meta или лицензированные компанией. Поэтому не стоит беспокоиться о нарушении авторских прав при использовании этого модуля.
Meta активно занимается созданием и распространением инструментов на базе ИИ для широкой аудитории. Она конкурирует с такими гигантами, как OpenAI, Google и Microsoft. В июле Meta выпустила свою Llama 2 — большую языковую модель с открытым исходным кодом. Она может генерировать текст на разных языках. Кроме того, появилась информация о том, что Meta разрабатывает «персонажей» с искусственным интеллектом для своих социальных сетей, таких как Instagram, Facebook и WhatsApp.
AudioCraft был разработан с учетом потребностей музыкантов и звукорежиссеров. Чтобы дать им новые идеи, помочь им в творческом процессе и улучшить их работы. В блоге Meta можно послушать примеры аудио, созданные с помощью AudioCraft. Звучат они довольно интересно.
Большинство существующих генеративных моделей искусственного интеллекта фокусируются на создании текста или изображений, что является относительно простой задачей. Однако превращение текста в аудио — более сложный процесс, который Meta успешно решила. AudioCraft имеет открытый исходный код, его код можно найти на GitHub и попробовать самостоятельно.
Добавить комментарий