深圳大学物理与光电工程学院/生物医学光子学研究中心屈军乐教授和刘丽炜教授课题组发展了基于深度学习增强的多光子自发荧光-谐波显微成像技术（DLAM），该技术融合了三光子/二次谐波/双光子三种非线性成像模式，利用深度神经网络克服成像速度、视场和信噪比与分辨率之间的相互制约性。DLAM具有高对比度、高保真度和图像重建速度快等优点，可以作为无创评估疾病、神经活动和胚胎发育的新工具。相关成果以“Deep learning autofluorescence-harmonic microscopy”为题，于2022年3月29日在线发表于国际知名期刊《Light: Science & Applications》（影响因子17.78,中科院JCR一区，TOP期刊）。专职研究员沈炳林博士为该论文的共同一作，刘丽炜教授为该论文的通讯作者，深圳大学为第一和通讯作者单位。
非线性光学显微镜具有高分辨率、高穿透深度、低光漂白体积等优点，可以提供丰富的结构和功能信息。然而，该成像技术成像受限于有限视场（<600 μm），很难实现大范围的细胞分布和相互作用的可视化，且难以用于临床病理诊断。近年来，随着人工智能的快速发展以及其在光学显微成像中的应用，为提高数据采集效率和图像分析提供了新的思路。其中，高分辨神经网络是最重要的深度学习图像处理技术之一，其能够在不改变光学系统的前提下克服系统的物理局限性，为高速采样的低质量问题以及高质量、大视野图像采集的时间消耗问题提供解决策略。然而，基于深度学习的图像恢复往往采用模拟噪声和高质量图像合成低分辨率图像，这种方法并不能保证适用于真实无标记图像重建，因为无标记成像通常易受热噪声和散粒噪声等噪声和扫描伪影等背景的干扰，并且具有生物样品的统计复杂性。此外，由于自发荧光/谐波光子数的稀疏性，使得无标记非线性光学显微成像难以兼顾成像速度、分辨率和信噪比等，这进一步限制了其在生物医学领域的应用。
针对上述问题，课题组提出了基于注意力机制引导的残差密集生成对抗神经网络架构，将该网络用于多光子自发荧光-谐波显微镜，实现了快速、高分辨、大视场、无标记成像的多维信息获取。主要成像模态包括内源性黄素腺嘌呤二核苷酸(FAD)的双光子自发荧光(2PA)、胶原纤维的二次谐波信号(SHG)、以及内源性烟酰胺腺嘌呤二核苷酸(NADH)的三光子自发荧光(3PA)。凭借所提出的神经网络方法，可在23秒内将高速共振镜扫描在54秒内获得的5.4 × 5.4 mm2、2176 × 2176像素的人体病理组织的无标记多模态图像转换为8704 × 8704像素的高分辨率图像，其信噪比和分辨率接近检流振镜在10分钟扫描的效果。网络的输出图像相比于输入的高噪声图像，其峰值信噪比最大可提升13.3 dB，结构相似指数最大可提升316%，相比于传统的检流振镜成像速度提升了8倍。重建结果可用于更好地量化细胞外基质中与肿瘤相关的胶原蛋白特征、FAD和NADH相关的代谢信息、以及细胞和细胞外成分分割，较好的揭示了肿瘤微环境的复杂性和异质性。该工作展示了非线性光学显微成像技术在生物医学领域的重要应用，有望促进光学显微技术在临床精准诊断的应用。
Figure 1 Schematic of deep learning-enhanced autofluorescence-harmonic microscope
上述研究工作得到了国家自然科学基金、广东省自然科学基金研究团队项目及深圳市科技创新委员会项目支持。
论文原文链接：https://www.nature.com/articles/s41377-022-00768-x
