视觉词元层感知自适应压缩方法及装置、电子设备和存储介质

著录项目

摘要

本公开涉及一种视觉词元层感知自适应压缩方法及装置、电子设备和存储介质。该方法包括：在视觉语言模型的多个主干层中，确定至少两个候选层作为压缩位置，其中，各所述候选层对应配置了用于预测视觉词元重要性的预测器；基于校准样本数据，评估所述视觉语言模型在执行目标任务、且在各所述候选层单独进行视觉词元压缩的情况下的第一性能指标；基于各所述第一性能指标，从所述至少两个候选层中，确定作为目标压缩位置的目标层。这样，可以确定与目标任务匹配的目标层，由于在目标层进行了视觉词元的压缩，在面对不同任务时均可以基本保持或提高视觉语言模型的预测性能。

附图

附图 1