一种基于证据锚定奖励的视觉语言模型训练方法及系统

著录项目

摘要

本发明公开了一种基于证据锚定奖励的视觉语言模型训练方法及系统，涉及人工智能与计算机视觉技术领域，其中方法包括：构建多模态训练样本集，采集携问题文本、待解析图像、标准答案及结构化数据源的样本，从中提取关联答案的证据真值；将问题与图像输入视觉语言模型，得到推理文本与预测答案；通过数值、引号文本及语义匹配从推理文本中提取模型引用的证据片段；计算证据召回率与真值覆盖率，结合答案正确性，分别得出证据锚定奖励与答案正确性奖励，进而计算组合奖励，并采用策略优化算法更新模型参数，实现证据锚定的模型训练。本发明引入证据锚定奖励机制，量化激励推理证据可核验性，抑制推理幻觉，提升模型推理事实忠实度与逻辑可信度。

附图

附图 1