对显微样品进行成像需要捕获多个连续测量结果，然后使用计算算法重建单个高分辨率图像。当样品静止时，这个过程可以很好地工作，但如果样品在移动（这对于活体生物标本来说很常见），最终图像可能会模糊或扭曲。

现在，伯克利研究人员开发了一种方法来提高这些动态样本的时间分辨率。在一项研究中发表于自然方法，他们展示了一种新的计算成像工具，称为神经时空模型（NSTM），它使用小型、轻量级的神经网络减少运动伪影并求解运动轨迹。

“对动态样本进行成像的挑战在于重建算法假设静态场景，”该研究的主要作者、博士瑞明曹说。生物工程专业的学生。

“NSTM 通过对每个时间点的运动进行建模和重建，将这些计算方法扩展到动态场景。这减少了运动动力学造成的伪影，使我们能够看到样本中那些超快节奏的变化。”

研究人员表示，NSTM 可以与现有系统集成，无需额外的昂贵硬件。而且它非常有效。“NSTM 已被证明可以在时间分辨率”曹说。

该开源工具还使重建过程能够以更精细的方式运行时间尺度。例如，计算成像重建过程可以涉及捕获大约10或20个图像以重建单个超分辨率图像。

但使用神经网络，NSTM 可以模拟物体在这 10 或 20 张图像中如何变化，使科学家能够在一张图像的时间尺度上重建超分辨率图像，而不是每 10 或 20 张图像。

该研究的首席研究员、电气工程和计算机科学教授劳拉·沃勒 (Laura Waller) 表示：“基本上，我们使用神经网络对样本的动态进行及时建模，以便我们能够在更快的时间尺度上进行重建。”“这非常强大，因为您可以将时间尺度提高 10 倍或更多，具体取决于您最初使用的图像数量。”

NSTM 用途机器学习但不需要预训练或数据先验。这简化了设置并防止通过训练数据引入潜在的偏差。该模型使用的唯一数据是它捕获的实际测量值。

在这项研究中，NSTM 在三种不同的显微镜和摄影应用中显示出了有希望的结果：微分相差显微镜、3D 结构照明显微镜和滚动快门漫射相机。

但是，根据沃勒的说法，“这些实际上只是冰山一角。”NSTM 可用于增强任何多镜头计算成像方法，扩大其科学应用范围，特别是在生物科学领域。

“这只是一个模型，所以你可以将它应用于任何动态场景的计算逆问题。它可以用于断层扫描，如 CT 扫描、MRI 或其他超分辨率方法，”她说。“扫描显微镜方法也可能受益于 NSTM。”

研究人员预计 NSTM 有朝一日会集成到商用成像系统中，就像软件升级一样。与此同时，曹和其他人将致力于进一步完善该工具。

“我们只是试图突破看到这些非常快的动态的极限，”他说。