集思谱需要我帮你解读这件专利吗？
公开（公告）号CN123014072A | 申请号CN202611037067.1 | 专利类型发明专利 |
状态在审 | 国家或地区CN | 申请人电子科技大学 |
分类号G06N3/096(2023.01), G06N3/084(2023.01), G06N3/045(2023.01), G06N3/0495(2023.01) | 申请日2026-07-13 | 公开日2026-10-30 |
发布日期2026-10-30 | 文档 ID84661699352600004 | 源数据页码82 |
专利语言zh | ||
本发明公开了一种基于自适应局部‑整体协同的知识蒸馏方法及系统，属于深度学习与模型压缩技术领域。本发明针对现有知识蒸馏中权重分配僵化、局部与全局知识衔接生硬的问题，提出以下方案：获取教师模型和学生模型的原始Logit向量；通过Z‑score标准化消除量纲差异，计算全局蒸馏损失以约束整体分布对齐；基于学生模型置信度选取Top‑k类别构建局部Logit子空间，通过遍历子空间内类别对的散度，并结合类别排序关系及师生偏好差异构建自适应权重，对局部类别对散度进行调节，得到局部关系损失，强化关键特征区分；设定总训练轮次E，采用分段自适应机制动态调整局部损失权重系数α(epoch)，使训练前期侧重局部拟合、后期侧重全局收敛。
附图 1