ACE-Step(音跃)开源音乐生成大模型

ACE-Step 是一个开源的、致力于音乐生成的基础模型项目，由 ACE Studio与 阶跃星辰 (StepFun) 联合开发。该项目的核心目标是打造一个类似“Stable Diffusion 时刻”的高效、通用且灵活的音乐生成框架，旨在降低音乐创作的门槛，并为音乐艺术家、制作人和内容创作者提供强大的AI辅助工具。

项目发展历程

项目在约一年内取得了显著进展，可主要分为两个阶段：

• 初始版本 (ACE-Step)

  • 发布时间：2025年5月开源了演示代码和模型。

  • 技术特点：采用扩散模型与深度压缩自编码器结合，在NVIDIA A100 GPU上生成4分钟音乐约需20秒，速度是传统方法的15倍。支持多语言（19种，前十种表现最佳）和歌词编辑、风格重绘等控制功能。

• 重大升级 (ACE-Step 1.5)

  • 发布时间：2026年1月底发布论文和技术报告，2月初正式开源。

  • 突破性进展：

    • 极速生成与低门槛：生成速度实现飞跃，在A100上生成一首歌不到2秒，RTX 3090上不到10秒。更关键的是，它能在低于4GB显存的消费级GPU上本地运行，大幅降低了使用门槛。

    • 创新的混合架构：采用语言模型作“规划师”（将用户简单指令转化为详细的歌曲蓝图，如节拍、调式、结构），和扩散变压器作“渲染师”（专注于生成高保真音频）的分工模式，实现了速度与质量的平衡。

    • 专业级品质与可控性：在多项评估指标上超越多数商业音乐模型。支持超过50种语言的精准歌词生成，并提供翻唱生成、音轨分离、人声转伴奏等六大核心编辑能力。

    • 个性化与商业化友好：支持用户用少量歌曲（如23首）训练LoRA模型，轻松实现风格或音色的个性化迁移。采用MIT许可证，对商业使用非常友好，且训练数据据称全部使用免版税材料。

ACE-Step v1.5 版本的核心突破

ACE-Step v1.5 凭借其技术创新，在多个关键维度上取得了显著进展：

开源生态与获取方式

ACE-Step 项目通过以下平台与社区互动，推动技术发展：

• 官方网站：作为项目的信息门户，发布最新的研究进展、演示音轨和指向其他资源的链接。

• 代码仓库：在 GitHub 上公开模型代码、权重和详细的技术文档，供开发者下载、本地部署和二次开发。

• 在线演示：在 Hugging Face 等平台上提供了在线演示空间 (Space)，让用户无需本地配置即可快速体验模型的核心功能。

丰富的功能与应用

除了基础的文本生成音乐，ACE-Step 还提供了强大的控制能力和应用方向：

• 轻量化个性化定制：支持 LoRA（低秩适应）微调技术，用户只需用少量自己的歌曲样本，就可以训练一个捕捉个人风格的LoRA，实现对生成音乐的个性化风格控制。

• 多功能编辑能力：模型集成了多种创作和编辑功能，例如翻唱生成、重绘（Repainting）、以及将人声转换为背景音乐等，为创作提供了极大的灵活性。

• 已集成至ComfyUI：ACE-Step v1.5 已原生集成到流行的AI图形用户界面 ComfyUI 中，用户可以通过节点式工作流轻松调用模型、调整参数、生成和编辑音乐，极大地方便了创作者使用。

• 多样的应用方向：官方展示了如歌词生成人声（Lyric2Vocal）、文本生成音乐采样（Text2Samples）以及即将推出的说唱机器（RapMachine）和分轨生成（StemGen）等多种应用方向。

总的来说，ACE-Step 项目，特别是其 v1.5 版本，代表了开源AI音乐生成领域的一次重大进步。它通过高效的架构、低资源消耗、强大的可控性和友好的开源许可，成功地将商业级音乐生成能力带给了普通用户和开发者，有望成为未来AI音乐创作工具的重要基石。