AceStep v1.5

前言 ACE-Step 1.5 是一款开源音乐模型，在 A100 显卡上仅需约 2 秒即可生成完整歌曲。支持本地运行，显存占用仅需 4GB 左右（普通 PC 即可畅玩），且在多项主流评测指标上均超越了目前的顶级商用及开源模型。 目前，这个领域基本被商用闭源模型垄断。这意味着我们的“创作权”往往被绑定在特定的 App 或模型上。一旦失去访问权限，或者模型发生了非你所愿的变动，你的创作能力可能一夜之间受到打击。 通过 ACE-Step 1.5 ，我们希望打破这种依赖，为世界提供一个真正具有竞争力的开源选择。我们认为创作者应当能够：在自己的电脑上运行并完全掌控模型；使用自己的作品进行 Fine-tune （微调）；无需再为隐私和数据泄露感到焦虑。 核心特性： 🚀 极速生成：在单卡 A100 上，生成一首 3 分钟的完整歌曲仅需约 2 秒。在消费级显卡上表现依然出色：RTX 3090 约 10 秒即可完成，且显存占用仅需 4GB 左右。 🎧 专业品质：在主流评测指标（ SongEval & AudioBox ）上，其表现已超越 SUNO 等商业模型，并与现有的开源模型拉开了显著差距。 🎨 高灵活性：创作者只需提供少量歌曲即可训练专属 LoRA ，精准捕捉并复刻特定的音乐风格。 🛡️ 安全合规：训练数据完全基于授权素材 + 合成数据，规避版权争议。 🔧丰富且实用的功能： 全曲生成 (Full song generation) 翻唱/封面重绘 (Song cover / Repainting) 伴奏音轨叠加 (基于现有轨道添加 Stem) 生成式音轨拆分 (Generative stem splitting) 歌曲续写/补全 (Song completion) 由于其极快的生成速度和本地运行的特性，ACE-Step 1.5 解锁了许多全新的工作流： 一、批量生成 + 自动评分 (Batch Generation & Auto Scoring) 得益于本地部署的高效率，你完全可以针对同一个 Prompt 一次性生成 100 个版本，从中挑选最完美的一个。 为了配合这一工作流，我们同步开源了一个 Reward Model （奖励模型）。你可以让模型自动为这 100 首生成的歌曲打分，你只需要直接导出分数最高的那首即可。这种“大力出奇迹”的方式能让你在极短时间内获得高质量的成品。 二、LoRA fine-tuning: 只要有几首歌，或者几十首歌，你就能训练自己的 LoRA 。在我们的实验中，我们用 8 首春节风格的歌曲训练了一台 LoRA 。之后，当我们创作出完全不同的曲风，比如情歌、爵士和摇滚时，它们都带有浓厚的中国新年氛围。LoRA 让创作者可以用自己的音乐微调风格。它从你的歌曲中学习，捕捉你的风格。而且因为你本地运行，你拥有 LoRA ，不用太担心数据泄露。 三、Cover 输入任意歌曲，然后提供提示和歌词，你就能将曲目转换成不同的风格。我们尝试过把一首以人声为主的流行歌曲改编成合成器驱动的器乐舞曲，也尝试把一首柔和的女声歌改编成男性摇滚版本。这与《 SUNO 》的翻唱特色略有不同：它保留了输入歌曲的结构和时长，但重新构想了旋律和乐器编制。你用它打造什么取决于你的创造力，我们迫不及待想看到你的作品。 四、Repainting: 这是个非常方便的功能。你加载一首歌，选中一段，点击“Repaint”，然后重新生成该段，同时保持之前和之后的音频。如果你不喜欢一小部分很棒的赛道，可以继续重新粉刷那段。是的，ACE-Step 很快，所以你可以重涂 100 次，选中你喜欢的那个。 五、Vibe DJ — 一款有趣的社区应用 利用 ACE-Step 的本地运行时、高速和重绘功能，一位社区开发者开发了一个非常酷的应用，叫 VibeDJ 。每次输入提示时，模型都会生成一个固定长度的片段并播放。播放时，你输入下一个提示，然后用 Repaint 生成下一个片段，这样它就能无缝连接上一个片段。这能让任何人通过自然语言提示变成 DJ 。你是通过打字而不是混音来“DJ”的。想象一下，在家庭派对上拿出笔记本电脑，为大家现场主持一场 VibeDJ 表演。这正是本地实时生成所能实现的。 ComfyUI 集成 我们很高兴地告诉大家，ACE-Step 1.5 已经在 ComfyUI 上提供，这得益于他们的 day-0 支持 🙌 教程（如何在 ComfyUI 中使用 ACE-Step 1.5 ）： https://blog.comfy.org/p/ace-step-15-is-now-available-in-comfyui 在 ACE-Step 1.5 中，唯一的限制就是你的想象力 请在这里探索 ACE-Step 仓库👇 https://github.com/ace-step/ACE-Step-1.5 如果你喜欢 ACE-Step 1.5 ，请帮忙给仓库加星号！