发明申请审查中CN123014072A

一种基于自适应局部-整体协同的知识蒸馏方法及系统

申请人电子科技大学申请日 2026-07-13公开日 2026-10-30

著录项目

公开（公告）号CN123014072A	申请号CN202611037067.1	专利类型发明专利
状态在审	国家或地区CN	申请人电子科技大学
分类号G06N3/096(2023.01), G06N3/084(2023.01), G06N3/045(2023.01), G06N3/0495(2023.01)	申请日2026-07-13	公开日2026-10-30
发布日期2026-10-30	文档 ID84661699352600004	源数据页码82
专利语言zh

摘要

本发明公开了一种基于自适应局部‑整体协同的知识蒸馏方法及系统，属于深度学习与模型压缩技术领域。本发明针对现有知识蒸馏中权重分配僵化、局部与全局知识衔接生硬的问题，提出以下方案：获取教师模型和学生模型的原始Logit向量；通过Z‑score标准化消除量纲差异，计算全局蒸馏损失以约束整体分布对齐；基于学生模型置信度选取Top‑k类别构建局部Logit子空间，通过遍历子空间内类别对的散度，并结合类别排序关系及师生偏好差异构建自适应权重，对局部类别对散度进行调节，得到局部关系损失，强化关键特征区分；设定总训练轮次E，采用分段自适应机制动态调整局部损失权重系数α(epoch)，使训练前期侧重局部拟合、后期侧重全局收敛。

附图

附图 1

需要我帮你解读这件专利吗？