基于双向语义耦合与跨模态注意力融合的乳腺癌诊断方法

著录项目

摘要

本发明公开了一种基于双向语义耦合与跨模态注意力融合的乳腺癌诊断方法，先采集多模态数据并进行数据预处理；然后采用ViT架构对乳腺超声影像进行图像编码；针对临床文本数据，采用医学领域预训练MedBERT模型进行文本语义编码；第三对影像与文本特征分别执行Dropout随机失活与弹性网络稀疏约束的双策略正则化校准；第四采用模态内“自注意力提纯+模态间双向交叉注意力耦合”的两级混合注意力机制，实现视觉特征空间与文本语义空间的细粒度双向对齐与深度语义耦合，生成多模态融合特征；第五构建影像单模态、文本单模态、多模态耦合三分支诊断结构；通过自适应加权投票机制融合三分支输出的分类概率，生成最终诊断结果。

附图

附图 1