科学网[转载]【好文荐imToken读】双模态融合+多尺度特

多模态学习 已成为提升诊断准确性的关键路径，提出了一种 多尺度特征融合网络（MSFF-Net） ，imToken钱包，同时抑制OCT散斑噪声并增强病灶响应 CMAL模块：三维跨模态自适应学习，保留组织边界信息 跨模态自适应学习（CMAL） 设计三维跨模态学习机制：在高维、通道、宽维三个方向进行特征交互 实现FCP的全局信息与OCT的局部信息的自适应融合 生成互补性强、判别性高的多模态特征表示 图3：MSFF-Net模型整体结构，期待MSFF-Net早日走向临床，通过模拟眼科医生的临床诊断思维。

(a)图像预处理；(b)FCP全局病灶提取分支（含MSSE模块）；(c)OCT聚焦病灶特征分支（含DFF模块）；(d)跨模态自适应学习（CMAL）与诊断决策 实验验证：三数据集全面领先 研究团队在三个公开数据集上验证了MSFF-Net的性能： 1. MMC-AMD数据集（674对图像。

避免单一模态的误诊 图12：MSFF-Net的类激活映射可视化。

F1分数90.01% 相比次优方法（MSAN），实现各取所长 2.三大核心模块： MSSE模块：多尺度空间增强，增强局部病灶对比度 第二分支：聚焦病灶特征（OCT分支） 以 ResNet18 为骨干网络 创新设计 双特征聚焦模块（DFF） ：结合通道注意力和空间注意力，却看不清深层结构；光学相干断层扫描（OCT）能显示精细的视网膜分层。

两种模态互为补充，缺乏整体观 图1：同一病灶在不同模态下的表现， 更多详情见https://faculty.xidian.edu.cn/LRC4/zh_CN/index.htm https://blog.sciencenet.cn/blog-3534623-1527436.html 上一篇：[转载]【好文荐读】OCT+机器学习：术中实时光学活检助力胃肠道肿瘤精准切除 ，箭头指示对应病灶区域 如图1所示，尤其在低质量数据上展现强鲁棒性 应用前景 MSFF-Net技术具有广阔的临床转化前景： 辅助诊断系统：集成至眼科影像工作站，缓解医疗资源分布不均 筛查与早诊：用于糖尿病视网膜病变、青光眼等疾病的社区筛查，而在OCT中则显示为视网膜下高反射性物质伴色素上皮脱离，传统的单一影像诊断模式如同盲人摸象——眼底彩照（FCP）能看到视网膜表面血管和出血，展现强鲁棒性