近日，深圳大学物理与光电工程学院及生物医学光子学研究中心屈军乐教授团队在权威期刊《Advanced Science》（JCR一区TOP期刊，影响因子：15.1）发表题为“Deep-MSIM: fast image reconstruction with deep learning in multifocal structured illumination microscopy”的研究论文，提出了利用深度学习实现多焦点结构光照明显微（MSIM）图像重建的新方法，可用于多种生物结构及活体斑马鱼和活细胞线粒体的超分辨成像。廖键辉硕士和张晨爽博士为该论文的第一作者，屈军乐教授和李佳讲师为该论文的通讯作者，深圳大学为第一完成单位。

多焦点结构照明显微技术需要重建算法来获得超分辨图像，传统算法需要多幅原始图像和较长的计算迭代时间，复杂且耗时，限制了MSIM在活体成像的广泛应用。本工作开发快速且精准的重建方法，通过构建深度卷积神经网络，学习从原始图像到超分辨图像的直接映射，利用深度学习的先进计算性能来加速重建。实验结果表明，在不影响图像空间分辨率的情况下，该方法重建高质量的超分辨图像所需时间仅为传统重建算法运行时间的三分之一，更重要的是，通过相同的网络结构和不同的训练数据，可以使重建所需原始图像数量减少四倍。

图1. 网络结构。(a) 密集连接。 (b) 输出模块。

我们设计了基于编码器-解码器框架的网络结构，并以密集连接的方式将两部分结合在一起，以加强特征传播，促进学习过程并提高图像质量。该方法无需对现有MSIM成像系统进行任何更改，仅需模拟图像进行训练，可以保证直接生成大量训练数据，而这是应用深度学习技术时经常需要的。与传统重建算法相比，本文的算法显示出更好的性能，通过有效地阻挡散射光和离焦光，有助于研究大深度处活体厚样品的动力学特性。我们还评估了网络输出图像的可靠性，这是基于深度学习算法的重要关注点之一，误差图有益于识别重建图像中可能不准确的区域和结构。本文的工作还尝试了将重建所需的原始图像幅数减少为原来的四分之一，成功得到了在结构相似度、峰值信噪比和归一化均方根误差方面都具有良好性能的超分辨图像，从而在不增加光毒性和光漂白的情况下提高了MSIM成像的时间分辨率。

图2. （a）宽场图像、（b）传统算法和（c）本文提出的算法对线粒体MSIM图像重建的结果对比。（d）和（e）为青色方框的对应放大视图。（f）和（g）为沿白色虚线的强度分布图。（h）和（i）为宽场图像和重建结果之间的误差映射。（j）为两种重建结果之间的逐像素绝对差值图。

图3. 宽场成像、传统算法和本文提出的算法对活体斑马鱼MSIM图像重建的结果对比。白色和紫红色箭头分别指示长线粒体沿相邻圆形线粒体的方向迁移并逐渐分成两段，以及两个紧密的线粒体融合成一个细长线粒体的运动。

图4. （a）宽场图像、（b）传统算法和（c）本文提出的算法对少幅数微管MSIM图像重建的结果对比。（d）和（f）为青色方框的对应放大视图。（e）和（g）为沿白色虚线的强度分布图。

本文提出的基于深度学习的多焦点结构光照明显微图像重建新方法，不但极大地减小了算法运行时间和所需图像幅数对MSIM实际应用的影响，有助于对活体进行大深度动态成像研究，还可以为深度学习算法如何应用于超分辨图像重建提供了新的算法见解和新的思路策略。

该研究得到了国家重点研发计划工程科学与综合交叉重点专项和国家自然科学基金项目的支持。

论文原文链接： https://doi.org/10.1002/advs.202300947