對顯微樣品進行成像需要捕捉多個連續測量結果，然後使用計算演算法重建單一高解析度影像。當樣品靜止時，這個過程可以很好地工作，但如果樣品在移動（這對於活體生物標本來說很常見），最終圖像可能會模糊或扭曲。

現在，伯克利研究人員開發了一種方法來提高這些動態樣本的時間解析度。在一項研究中發表於自然方法，他們展示了一種新的計算成像工具，稱為神經時空模型（NSTM），它使用小型、輕量級的神經網路減少運動偽影並求解運動軌跡。

「對動態樣本進行成像的挑戰在於重建演算法假設靜態場景，」該研究的主要作者、博士瑞明曹說。生物工程專業的學生。

「NSTM 透過對每個時間點的運動進行建模和重建，將這些計算方法擴展到動態場景。這減少了運動動力學造成的偽影，使我們能夠看到樣本中那些超快節奏的變化。 」

研究人員表示，NSTM 可以與現有系統集成，無需額外的昂貴硬體。而且它非常有效。「NSTM 已被證明可以在時間解析度」曹說。

該開源工具還使重建過程能夠以更精細的方式運行時間尺度。例如，計算成像重建過程可以涉及捕捉大約10或20個影像以重建單一超解析度影像。

但使用神經網絡，NSTM 可以模擬物體在這 10 或 20 張影像中如何變化，使科學家能夠在一張影像的時間尺度上重建超解析度影像，而不是每 10 或 20 張影像。

該研究的首席研究員、電機工程和計算機科學教授勞拉·沃勒(Laura Waller) 表示：「基本上，我們使用神經網路對樣本的動態進行及時建模，以便我們能夠在更快的時間尺度上進行重建。“這非常強大，因為您可以將時間尺度提高 10 倍或更多，具體取決於您最初使用的圖像數量。”

NSTM 用途機器學習但不需要預訓練或資料先驗。這簡化了設定並防止透過訓練資料引入潛在的偏差。該模型使用的唯一數據是它捕獲的實際測量值。

在這項研究中，NSTM 在三種不同的顯微鏡和攝影應用中顯示出了有希望的結果：微分相差顯微鏡、3D 結構照明顯微鏡和滾動快門漫射相機。

但是，根據沃勒的說法，“這些實際上只是冰山一角。”NSTM 可用於增強任何多鏡頭計算成像方法，擴大其科學應用範圍，特別是在生物科學領域。

「這只是一個模型，所以你可以將它應用於任何動態場景的計算逆問題。它可以用於斷層掃描，如 CT 掃描、MRI 或其他超解析度方法，」她說。“掃描顯微鏡方法也可能受益於 NSTM。”

研究人員預計 NSTM 有朝一日會整合到商用成像系統中，就像軟體升級一樣。同時，曹和其他人將致力於進一步完善該工具。

「我們只是試圖突破看到這些非常快的動態的極限，」他說。