多模态大模型的训练方法、上下文理解方法、装置、设备、介质和产品

著录项目

摘要

本申请涉及一种多模态大模型的训练方法、上下文理解方法、装置、设备、介质和产品。该训练方法包括：获取样本文档对应的文档页图片和文档页文本；文档页图片是通过对样本文档的文档页进行图片转换得到的，文档页文本是通过对文档页图片进行识别得到的；对文档页图片和文档页文本进行交替排序，得到训练序列；基于训练序列对多模态大模型进行训练，其中，多模态大模型用于对多页文档进行上下文理解。该训练方法中，通过对多模态大模型的训练数据进行预处理，从而得到由图片和文本交替组成的训练序列，并基于该图文交替的训练序列对多模态大模型进行训练；采用该方法能够提高模型训练的准确性，进而提高多模态大模型对长文档上下文的理解能力。

附图

附图 1