集思谱需要我帮你解读这件专利吗？
公开（公告）号CN122989965A | 申请号CN202610794274.5 | 专利类型发明专利 |
状态在审 | 国家或地区CN | 申请人北京百舸飞驰科技有限公司 |
分类号G06T13/40(2011.01), G06N3/0455(2023.01), G10L25/63(2013.01), G10L21/10(2013.01), G06T13/20(2011.01), G06T17/00(2006.01), G06N3/0499(2023.01), G06N3/08(2023.01) | 申请日2026-06-03 | 公开日2026-10-27 |
发布日期2026-10-27 | 文档 ID84635790065700002 | 源数据页码262 |
专利语言zh | ||
本发明公开一种高精的语音生成3D几何数字人的方法及装置。该方法包括：获取输入音频序列和形状参数；将输入音频序列和形状参数输入至基于Transformer的扩散模型，并以情感条件为指导，生成包括表情参数和下颚姿态参数的运动系数序列；将运动系数序列映射到3D高斯基元的属性，并基于身份特征和情感标签合成动态外观，得到3D几何数字人。本发明通过驱动模型自动生成多身份、多情感的训练数据，使得扩散模型具备跨身份、跨情感的泛化能力，无需针对特定身份重新训练；通过引入掩码交叉注意力实现音频与运动的精确同步，并采用无分类器引导提升生成质量；进一步结合情感文本转语音模型，实现了从任意文本到带情感语音再到三维数字人的全自动化管道。
附图 1