收集30GB、近20万对训练样本，复旦大学团队发布UniFMIR：用AI突破显微成像极限

荧光显微镜是生命科学领域不可或缺的重要研究工具，其原理是以紫外线为光源， 照射被检物体使之发出荧光， 然后在显微镜下观察物体的形状及其所在位置，可用于研究细胞内物质的吸收、运输，化学物质的分布及定位等。

然而，激发光下的高强度曝露会通过光化学过程直接或间接对细胞造成影响。在长时间活细胞实验中，最好能以最小的光曝露进行荧光观察。但同时，较低的曝光会导致荧光信号较弱，降低图像信噪比 (SNR)，让定量图像分析难度增加。

因此，基于荧光显微镜的图像恢复 (FMIR) 在生命科学领域受到了广泛关注，它旨在从低信噪比的图像中获得高信噪比的图像，有助于揭示重要的纳米级成像信息。

目前，受益于人工智能技术的快速发展，许多基于深度学习的 FMIR 突破了荧光显微镜的物理极限，取得了重大进展，但主流模型仍存在泛化能力差、数据依赖性强等挑战。

对此，来自复旦大学计算机科学技术学院的研究团队在 Nature Methods 上发表了题为「Pretraining a foundation model for generalizable fluorescence microscopy-based image restoration」 的论文，提出的跨任务、多维度图像增强基础 AI 模型 UniFMIR，不但实现了对现有荧光显微成像极限的突破，而且为荧光显微镜图像增强提供了一个通用的解决方案。

**论文地址：
https://www.nature.com/articles/s41592-024-02244-3

关注公众号，后台回复「显微成像」获取完整 PDF

数据集：30 GB、196,418 对训练样本
研究人员从 14 个公共数据集中收集了一个大型训练数据集 (约 30 GB)，其中包括 196,418 对训练样本，涵盖了广泛的成像模态、生物样本和图像恢复任务。同时，研究人员还针对不同的基于荧光显微镜的图像恢复任务和成像方式，对数据集进行了分组。**
**数据集详情概览

由于这些数据集在格式、领域和数值范围方面差异很大，研究人员对图像进行了处理，以便进行后续的训练和跨数据集验证。具体而言，其将具有不同存储格式（包括 ‘TIF’、’npz’、’png’ 和 ‘nii.gz’）的现有数据集的输入和 GT 图像写入一个 ‘.npz’ 文件中。此外，还通过遵循 CARE4 中的数据处理方法，对图像进行了归一化处理，以统一不同数据集的数值分布。

模型架构：多头多尾结构
研究人员构建的 UniFMIR 模型采用了多头多尾 (multihead, multitail) 结构，如下图所示：**
U**niFMIR 架构

具体来说，UniFMIR 由多头模块、特征增强模块和多尾模块组成。

其中多头模块和多尾模块采用不同的分支来提取特定任务的浅层特征，并分别针对不同的图像修复问题得出精确的结果。

特征增强模块采用先进的 Swin Transformer 结构来增强特征表示并重建通用有效的特征，从而实现基于荧光显微镜的高质量图像复原。不同的基于荧光显微镜的图像复原操作涵盖不同的头部和尾部分支，但共享相同的特征增强模块。

UniFMIR 模型基于 PyTorch 实现，并使用自适应矩估计 ( adaptive moment estimation, Adam) 进行优化，其中 β1 = 0.9，β2 = 0.999，共进行了 500 个 epochs 训练。初始学习率从 5 × 10-5 开始，经过 200 个 epochs 后减半。所有实验均在一台配备 Nvidia GeForce RTX 3090 GPU（具有 24GB 内存）的机器上进行。

在预训练阶段，研究人员将所有训练数据输入模型，并使用相应的数据优化不同的头部和尾部分支以执行不同的任务。中间的特征增强分支使用所有训练数据进行优化。

在微调阶段，研究人员将 batch size/patch size 设置为 4/128、32/64、32/64、4/64 和 1/16，用于分别处理图像超分辨率、各向同性重构、3D 去噪、表面投影和体积重建任务，以产生更好的学习效果。

通过收集的大规模数据集对模型进行预训练，并使用不同图像增强任务的数据微调模型参数，UniFMIR 展现出比专有模型更好的增强性能和泛化性。

研究结果：大幅提升 5 大任务性能
研究结果显示，荧光显微镜图像增强 AI 基础模型 UniFMIR 大幅提升了在「图像超分辨率、各向同性重构、3D 去噪、表面投影和体积重建」 5 大任务方向上的性能。

* 超分辨率 (SR)

研究首先验证了 UniFMIR 方法处理 SR 问题的潜力，这涉及通过多模态结构照明显微镜系统获得的结构复杂度不断增加的图像，包括被膜小窝 (CCPs)、内质网 (ERs)、微管 (MTs) 和纤维状肌动蛋白 (F-actin)。

UniFMIR 成功地从宽场 (WF) 图像推断出 SR SIM 图像，在衍射极限尺度上具有高荧光水平，并显示了清晰的结构细节。

与两个基于深度学习的荧光显微镜 SR 模型 (XTC15 和 DFCAN5) 以及单图像超分辨率模型 (ENLCN36) 相比，UniFMIR 能够正确重建大部分微管图像，而不会丢失或合并它们，即使微管密集分布并且彼此靠近。对于多样化的亚细胞结构，UniFMIR 还以高度保真度恢复了中空的、环形的 CCPs 和交错的 F-actin 纤维。**
**不同数据集的PSNR↑/SSIM↑/NRMSE↓比较
n=100

研究人员还使用峰值信噪比 (PSNR)、结构相似性指数度量 (SSIM)、标准化均方根误差 (NRMSE)、装饰分析的分辨率估计、傅里叶环相关(FRC)、SQUIRREL 分析和分割指标对实现的 SR 准确性进行了量化，如上图所示。

当评估 SR SIM 图像的荧光强度和结构时，更高的 PSNR/SSIM 值和更低的 NRMSE 值表示更好的 SR，UniFMIR 显然在这些指标上都比较突出。

* 各向同性重构

各向同性是指物体的物理、化学等方面的性质不会因方向的不同而有所变化，如所有的气体、液体（液晶除外）以及非晶质物体都显示各向同性。与之相对，各向异性是指物质的全部或部分化学、物理等性质，会随着方向的改变而有所变化，在不同的方向上呈现出差异的性质。

研究人员将 UniFMIR 应用于小鼠肝脏容积成像的各向异性原始数据，以预测各向同性的轴向切片，并与两个基于深度学习的各向同性重建模型进行了比较 (CARE 和 3D U-Net 模型)。

结果显示， UniFMIR 产生了更准确的像素分布的各向同性重建结果。

* 3D 去噪

研究人员进一步在 Planaria 和 Tribolium 数据集上进行了 UniFMIR 在活细胞图像去噪任务中的性能基准测试。**
**对扁虫进行3D图像去噪任务的视觉结果

与两个基于 U-Net 的去噪模型 CARE 和 GVTNets 相比，UniFMIR 模型在不同激光功率/曝光时间下显著抑制了低信噪比荧光显微镜图像的噪声，并清晰地描绘了带有标记的细胞核的扁虫 (S. mediterranea) 和红蜣螂体积，有助于观察胚胎发育。

* 表面投影

为了更好地分析和研究黑腹果蝇 (Drosophila melanogaster) 发育上皮细胞的行为，表面投影有助于将一个 3D 体积投影成二维表面图像。当前的深度学习模型 (ARE 和 GVTNets) 将这个图像恢复问题分为两个子问题，即 3D 到 2D 表面投影和 2D 图像去噪，并使用两个特定任务的网络，遵循与 U-Net 相同的编码器-解码器框架来解决它们。**
**将UniFMIR应用于表面投影的PSNR↑/SSIM↑/NRMSE↓比较
n = 26

本研究提出的方法进一步在更复杂的复合荧光显微镜图像恢复任务中考察了 UniFMIR。与 ARE 和 GVTNets 相比，UniFMIR 在 PSNR/SSIM/NRMSE 指标方面实现了更高的投影重建精度。

* 体积重建

实验中，研究人员还验证了 UniFMIR 在 VCD-Net 提供的数据上进行体积重建的能力。重建的每个视图的 3D 体积可以识别成像对象的运动轨迹，如下图所示，这有助于揭示涉及各种亚细胞结构的许多复杂活细胞动态的基本机制。**
**将 UniFMIR 应用于体积重建

综上所述，加载了 UniFMIR 的荧光显微镜可能成为生命科学实验室中的「神器」。科学家们能更清晰地观察到活细胞内部的微小结构和复杂过程，加速全球生命科学、医学研究、疾病诊断相关领域的科学发现和医疗创新。

同时，在半导体制造、新材料研发等领域，该成果可以用来提升观察和分析材料微观结构的质量，从而优化制造工艺和提高产品质量。未来，生命科学实验室的科学家们还可通过进一步扩展训练数据的数据量和丰富度来不断强化 UniFMIR 的图像重构能力。

AI 驱动生命科学领域图像处理新范式
如今，显微镜的进步正在创造大量的成像数据，如何高效地进行图像处理是生物医学领域研究的重要环节。随着人工智能在生命科学研究领域持续取得颠覆性突破，AI 驱动的图像处理新范式未来已来。

2020 年，得克萨斯州休斯敦莱斯大学 (Rice University) 生物工程学教授与 MD 安德森癌症中心 (MD Anderson Cancer Center) 合作，开发了一种称为 DeepDOF 的计算显微镜，该显微镜基于 AI 技术，在保持分辨率的情况下，其 DOF 可以达到传统显微镜的 5 倍以上，从而大大减少了图像处理所需的时间。**

**定位AFM和X射线结构（来源：威尔康奈尔医学院）

2021 年，威尔康奈尔医学院研究团队开发了一种计算技术，通过将定位图像重建算法应用于原子力显微镜 (AFM) 和传统 AFM 数据中的峰值位置，将分辨率提高到超出尖端半径设置的限制，并在天然和动态条件下解析蛋白质表面上的单个氨基酸残基，大大提高了 AFM 的分辨率。该方法揭示了正常生理条件下蛋白质和其他生物结构的原子级细节，为细胞生物学、病毒学和其他微观过程打开了一个新窗口。

2024 年 4 月，麻省理工学院、麻省理工学院布罗德研究所和哈佛大学以及麻省总医院的一篇论文介绍了一种新的人工智能工具，可以捕捉医学图像中的不确定性。该系统被称为 Tyche (以希腊神话中的机遇之神命名)，它提供了多个看似合理的分割，每个分割都突出了医学图像中略有不同的区域。用户可以指定 Tyche 输出多少个选项，并选择最适合其目的的选项。

总结来看，AI 可以用于生物医学图像的增强、分割、配准和重建，以提高图像质量并提取有用的信息，赋予显微镜一双「火眼金睛」。未来，在 AI 的助力下，显微镜将看的更清晰，同时处理数据更快、更加自动化、精确，让科研变得更加高效、轻松。

参考资料：
1.https://www.nature.com/articles/s41592-024-02244-3
2.https://news.fudan.edu.cn/2024/0413/c5a140009/page.htm
3.https://new.qq.com/rain/a/20240417A06LF900
4.http://www.phirda.com/artilce_28453.html?cId=1
5.https://www.ebiotrade.com/newsf/2024-4/20240412015712482.htm**

研究亮点：

* UniFMIR 模型大幅提升了「图像超分辨率、各向同性重构、3D 去噪、表面投影和体积重建」五大任务方向上的性能

* 突破现有荧光显微成像极限

* 通过简单的参数微调便可应用于不同任务、成像模式和生物结构