suno.ai

一个游离于山间之上的Java爱好者 | A Java lover living in the mountains

累计撰写 150 篇文章
累计创建 333 个标签
累计创建 47 个分类

包含标签 suno.ai

基于歌词生成整首歌的开源AI音乐模型，支持中、英、日、韩等多种语言，本地化部署YuE（windows篇）说起文生音乐，我们自然会想到suno.ai这个音乐生成式平台，它算是目前市面上音乐生成式比较好的AI项目，虽然它是闭源的。然而，一款由Multimodal Art Projection(M-A-P)（多模态艺术投影）团队与香港科技大学（HKUST）联合研发的YuE开源了，它是根据歌词生成整首歌的开源AI音乐模型。 YuE的开源，着实在开发者社区掀起了一阵热潮，但也给了AI浪潮中的文生音乐助推了不小波澜。 YuE 是一系列开创性的开源基础模型，专为音乐生成而设计，专门用于将歌词转换成完整的歌曲（lyrics2song）。它可以生成一首完整的歌曲，持续几分钟，包括朗朗上口的声乐曲目和伴奏曲目。YuE 能够模拟多种流派/语言/声乐技巧。请访问演示页面，了解令人惊叹的声乐表演。概述 YuE项目地址：https://github.com/multimodal-art-projection/YuE 。按照官方描述： YuE 需要大量 GPU 来生成长序列。以下是推荐的配置：对于具有 24GB 或更少的 GPU：运行最多 2 个会话以避免内存不足 (OOM) 错误。对于完整的歌曲生成（许多会话，例如 4 个或更多）：使用具有至少 80GB 的 GPU。即 H800、A100 或具有张量并行的多个 RTX4090。要自定义会话数，界面允许您指定所需的会话数。默认情况下，模型运行 2 个会话（1 节 + 1 合唱）以避免 OOM 问题。在 H800 GPU 上，生成 30 秒的音频需要 150 秒。在 RTX 4090 GPU 上，生成 30 秒的音频大约需要 360 秒。社区提供了对于 GPU 资源有限的人，有 YuE-exllamav2 和 YuEGP。虽然两者都提高了生成速度和连贯性，但它们可能会损害音乐性。 YuEGP github地址：https://github.com/deepbeepmeep/YuEGP 。 YuE-exllamav2 github地址： https://github.com/sgsdxzy/YuE-exllamav2。
- 2025-03-05
[AI]