图文匹配模型的训练方法、设备、存储介质及程序产品 · CN122966976A

著录项目

公开（公告）号CN122966976A	申请号CN202510510697.5	专利类型发明专利
状态在审	国家或地区CN	申请人华为技术有限公司
分类号G06V10/42(2022.01), G06V10/44(2022.01), G06V10/32(2022.01), G06V10/48(2022.01), G06V10/762(2022.01), G06V10/80(2022.01), G06V10/82(2022.01), G06F18/15(2023.01), G06F18/214(2023.01), G06N3/0455(2023.01), G06N3/0464(2023.01)	申请日2025-04-22	公开日2026-10-23
发布日期2026-10-23	文档 ID84601468926300000	源数据页码1728
专利语言zh

摘要

本发明公开了一种图文匹配模型的训练方法、设备、存储介质及程序产品，便于提升图文匹配模型的匹配准确度。在本申请中获取多个样本对，并利用图文匹配模型的第一文本编码器处理第一描述文本，并利用图文匹配模型的第二文本编码器处理第二描述文本，得到对应的文本特征；利用图文匹配模型的图像编码器提取样本图像的图像特征；基于文本特征及图像特征对图文匹配模型进行训练。在本申请实施例中，通过针对长短文本分别采用不同的位置编码策略，其中短文本直接复用预训练的原始位置编码，而长文本通过分段插值扩展位置编码。这一过程提升了模型在长文本任务中的对齐能力，同时保留了短文本任务的强大泛化能力，提高了图文匹配模型的匹配准确度。

附图

附图 1