三分钟成品是用户按本人歌词生成的,现在只想重渲副歌那八个小节,且仍对得上词。离散音频 token(也可以是潜变量)按时间窗怎么切开,并与歌词时间轴对齐?
题目
三分钟成品是用户按本人歌词生成的,现在只想重渲副歌那八个小节,且仍对得上词。离散音频 token(也可以是潜变量)按时间窗怎么切开,并与歌词时间轴对齐?
参考答案
点击展开参考答案
- 把歌当成带结构标签的时间轴:主歌/副歌起止、歌词音素对齐、可选的伴奏分轨,而不是一条不可切的波形。
- 整曲可在离散音频 token 或压缩潜空间上一次生成;重做副歌是在该时间窗做条件重采样,冻结窗外状态,窗口边界做短交叉淡化。
- 前十几秒 token 就绪就可以开播,不必等满三分钟。
- 点名模仿在世艺人或复刻已有作品的请求,在提示分类和输出指纹处拦截,不把希望寄托在生成核「自己知道收手」。
- 常见两段:先把主题收成带段落标记的逐行歌词,再在 codec 离散单元(示意:每秒几十到上百 token)或潜变量上生成,解码回波形后做响度规范化(目标响度由产品自定,例如按广播常见 LUFS 区间)。
- 词曲对齐是一条时间映射:每个词或音素对到 token 下标或潜变量帧,否则「副歌」会切错拍。