集思谱需要我帮你解读这件专利吗？
公开（公告）号CN122946583A | 申请号CN202611157552.2 | 专利类型发明专利 |
状态在审 | 国家或地区CN | 申请人山东中医药大学 |
分类号G06F16/583(2019.01), G06F16/55(2019.01), G06F16/353(2025.01), G06F16/383(2019.01), G06F40/284(2020.01), G06F40/30(2020.01), G06N3/045(2023.01), G06N3/0442(2023.01), G06N3/098(2023.01) | 申请日2026-07-31 | 公开日2026-10-20 |
发布日期2026-10-20 | 文档 ID84597874742600018 | 源数据页码805 |
专利语言zh | ||
本发明公开了基于提示学习与注意力的内镜跨模态检索方法及系统，属于医学图像跨模态检索技术领域。该方法包括：获取胃肠内镜图像及对应的文本描述，将文本描述输入文本编码器，通过医学领域自适应提示学习模块进行领域语义引导，输出文本特征；医学领域自适应提示学习模块采用医学关键词初始化提示向量；将胃肠内镜图像输入图像编码器提取图像特征；将图像特征和文本特征输入类别感知注意力模块，通过类别门控与特征重标定增强细粒度类别特征；采用联合损失函数训练模型，该损失包括基础跨模态对比损失和稀缺类别监督对比损失；利用训练后的模型进行跨模态检索。本发明有效解决了领域语义偏移、细粒度区分不足和类别不均衡问题，提升了检索精度。
附图 1