集思谱需要我帮你解读这件专利吗？
公开（公告）号CN122949548A | 申请号CN202610880587.2 | 专利类型发明专利 |
状态在审 | 国家或地区CN | 申请人杭州灵之宇科技有限公司 |
分类号G06V40/16(2022.01), G06V20/40(2022.01), G06V10/80(2022.01), G06V10/46(2022.01), G06V10/82(2022.01), G06N3/0455(2023.01), G06N3/0464(2023.01), G10L21/10(2013.01), G10L25/03(2013.01), G10L25/18(2013.01), G10L25/30(2013.01) | 申请日2026-06-17 | 公开日2026-10-20 |
发布日期2026-10-20 | 文档 ID84597848471000008 | 源数据页码778 |
专利语言zh | ||
本发明提供了一种基于多参考帧与隐式唇部关键点的人脸唇形同步方法，包括：从目标人物的视频序列中提取多帧参考帧；提取每个参考帧的特征并对其进行特征融合得到统一参考帧特征表示；提取视频序列时间对齐的语音信号的音频特征进行映射和归一化，得到音频特征序列；提取音频特征序列的唇部运动隐特征，并基于唇部运动隐特征预测隐式唇部关键点序列；将隐式唇部关键点序列和统一参考帧特征表示进行特征融合得到联合特征序列；利用联合特征序列得到唇形同步结果。本发明引入多参考帧对说话人身份、姿态和结构进行约束，使得在头部转动、姿态变化及复杂光照条件下仍能保持良好的时序一致性。
附图 1