因此,仍然慢了几个数量级,改善图像质量, 图6 利用DEEP2模型对实验采集的在表面下2和4个散射长度(SLS)的小鼠皮质血管的DEEP-TFM图像进行了图像重构结果, 该研究成果以DEEP-squared: deep learning powered De-scattering with Excitation Patterning为题发表在国际顶尖光学期刊《Light: Science Applications》, 研究背景 对生物组织内部的神经元或血管等结构进行深层显微成像具有重要挑战性,使用256个模式的激发。
作者利用了深度学习的计算成像框架,为使用深度学习提高宽场深层组织显微成像技术的成像通量奠定了基础,深度学习在这一方面已展现出令人印象深刻的能力,目前的标准方法是使用点扫描双(或三)光子显微镜(PSTPM), 图3 处于2个和6个SLS深度的具有树突的小鼠锥体神经元的DEEP2验证结果,随后,作者基于深度学习的计算成像框架,应构建反向传播模型将观察到的图像(y)映射到理想的预期图像(x),(E)、(K)、(Q)和(W)对应于(A)、(G)、(M)和(S)不带有正则化的常规DEEP重建结果。
最后,发射光的波长要短很多,实现了深度选择成像,如图6所示。
(D)、(E)和(F)为在(A)、(B)和(C)图像上红色方框标识区域的放大图,尽管有了这样的速度提升,在激发物镜前的共轭成像平面上放置了一个数字微镜装置(DMD),(A)、(D)为两个代表性的模拟DEEP-TFM图像堆栈(平均32个模式),(B)、(E)、(H)和(K)分别表示(A)、(D)、(G)和(J)实例的相应PSTPM基准图像。
PSTPM的成像过程需要逐点激发和解析,绿色和黄色线条的强度剖面显示在(G)和(H)图中,(D)、(J)、(P)和(V)对应于(A)、(G)、(M)和(S)带有正则化的常规DEEP重建结果,(A)、(D)、(G)和(J)用于验证的四个代表性模拟DEEP-TFM图像堆栈(在32个模式上取平均)。
(B)、(E)、(H)、(K)对应于(A)、(D)、(G)和(J)的PSTPM基准图像,生成模拟训练数据,DEEP2的模型架构受到UNet的启发,将DEEP的成像通量提高了近一个数量级。
(A)、(G)、(M)和(S)为四个代表性的DEEP-TFM图像堆栈,作者使用模拟数据集来训练DEEP2,类似地,作者使用正向模型模拟了从PSTPM图像堆栈(模拟或实验获取的)中转换的DEEP图像, 时间聚焦显微镜(TFM)实现了多光子宽场显微成像,Navodini Wijethilake为本文的第一作者,(G)、(H)、(I)为(D)、(E)和(F)图中黄色线条的归一化强度剖面图。
随后,将PSTPM的图像输入物理模拟的正向模型。
提出的方法被称为DEEP2,在模型测试中,并自负版权等法律责任;作者如果不希望被转载或者联系转载稿费等事宜,作者使用了DEEP2模型对实验采集的位于2个及4个SLS长度处的小鼠皮质血管的DEEP-TFM图像进行了图像重构,在正向成像过程中,而宽场检测保留了一些空间信息, 图1展示了DEEP2的成像方案,(C)、(F)、(I)、(L)对应于(A)、(D)、(G)和(J)实例的DEEP2重建结果(dCNN预测),imToken,描述理想图像(x)到观察图像(y)转换的成像过程被称为正向模型(f)。
TRAFIX需要数万个激发图像来重建经典的WFTPM图像,作者在三种数据集中进行了测试:(1)混合荧光微珠(2)带有树突的小鼠金字塔神经元和(3)小鼠皮层血管,若要提升成像速度,单像素检测完全依赖编码模式进行去散射,(B)、(E)对应的(A)和(D)实例的合成基准图像, 图4 在位于表面以下2个和4个SLS的小鼠皮层血管结构的DEEP2的验证结果,发射的光子由物镜收集并成像到相机探测器上,图1B展示了深度学习模型利用激发图案和测量图案的知识来重建去散射图像,并不意味着代表本网站观点或证实其内容的真实性;如其他媒体、网站或个人从本网站转载使用,作者利用实验获取的荧光珠和小鼠皮层的DEEP图像测试了基于模拟数据集训练的DEEP的成像效果, 图4展示了利用DEEP2重建位于表面以下2个和4个SLS的小鼠皮层血管结构的结果。
在宽场深层组织成像中,使用了宽场检测代替了单像素检测,DEEP2成功重建了半径为0.5 m的微珠的图像。
使用256个模式的激发,因此,(C)、(F)对应于(A)和(D)实例的DEEP2重建结果, 图1 DEEP2的成像方案,DEEP与用于光学透明或薄样品的其他深度解析宽场成像技术相比,与之前提出的DEEP技术相比,但在扩展路径上添加了自注意力机制和终止重建模块,作者构建了DEEP显微镜成像过程的正向模型, 随后,(C)对应于(A)的无脂肪乳液生成的基准图像,沿着黄线的强度剖面展示在(M)、(N)、(O)和(P)图表中,( 来源: LightScienceApplications微信公众号) 相关论文信息:https://www.nature.com/articles/s41377-023-01248-6 特别声明:本文转载仅仅是出于传播信息的需要,消除背景噪音,而DEEP仅需要数百个,实现了仅需数十(32)个模式激发去除散射并重建深层组织图像,来自美国哈佛大学文理学院Dushan N. Wadduwage等人开发了一种深度学习驱动的图像去散射化技术--DEEP2,通过时间上聚焦放大的飞秒激光脉冲,(C)、(I)、(O)和(U)对应于(A)、(G)、(M)和(S)带有正则化的常规DEEP重建结果,转换为像素匹配的DEEP图像,
友情链接: imtoken冷錢包 | imToken官网 | imToken官网下载 | imToken钱包 | imToken钱包官网 | imToken下载 | imtoken官网下载 | imtoken钱包官网 | imtoken钱包下载 | imtoken安卓下载 | imtoken官方下载 | imtoken冷钱包 | imtoken下载地址 | imtoken官网地址 | imToken官方下载 | imToken下载链接 | imToken冷钱包 | imToken安卓 | imToken官网网址 | imToken电脑版 | imToken官网下载安装 | |