一种多模态大模型边缘自适应裁剪与知识蒸馏量化方法

著录项目

摘要

本发明涉及人工智能技术领域，尤其涉及一种多模态大模型边缘自适应裁剪与知识蒸馏量化方法，包括：基于场景复杂度以及模型处理漏拍度确定是否执行模型裁剪；基于任务接受稳定度以及范围限制度确定是否对裁剪比例进行调节，以裁剪比例进行裁剪处理；基于裁剪后模型的精度衰减指数确定是否触发多模态知识蒸馏补偿，以及基于蒸馏后模型的精度恢复指数确定是否将裁剪后模型部署至目标机器人；基于裁剪更新频次确定是否进行回退缓存分析，基于回退选择基准得到缓存优先级；基于性能退化指数确定模型是否进行回退，基于工况匹配均衡度确定回退选择基准，以回退缓存中对应的历史版本替换当前模型。本发明提高了多模态大模型自适应压缩效率。

附图

附图 1