一种音频驱动动作合成方法和装置

著录项目

摘要

本发明公开一种音频驱动动作合成方法和装置。所述方法包括根据输入音频确定多个测试拍子单元，各测试拍子单元对应于所述输入音频的一个输入音频序列；获取对应于各测试拍子单元的音频输入；基于视觉动作序列获取各测试拍子单元的初始姿态作为视觉输入，所述视觉动作序列是对应在前测试拍子单元而合成的所述视觉动作序列；以及使用生成对抗网络模型的生成器生成与所述输入音频相对应的动作序列，通过引入混合损失函数训练所述生成对抗网络模型，所述混合损失函数包括多空间姿态损失、和谐损失和生成对抗网络损失，所述和谐损失是根据音频‑视觉节拍对的节拍一致性来确定的。

附图

附图 1