미세한 샘플을 이미징하려면 여러 개의 순차적 측정을 캡처한 다음 계산 알고리즘을 사용하여 단일 고해상도 이미지를 재구성해야 합니다.이 프로세스는 샘플이 정적일 때 잘 작동할 수 있지만, 살아있는 생물학적 표본에서 흔히 그렇듯이 움직이는 경우 최종 이미지가 흐리거나 왜곡될 수 있습니다.

이제 버클리 연구진은 이러한 동적 샘플의 시간적 해상도를 향상시키는 방법을 개발했습니다.연구에서에 출판됨자연 방법, 그들은 작고 가벼운 모델을 사용하는 신경 시공간 모델(NSTM)이라고 불리는 새로운 계산 이미징 도구를 시연합니다.신경망모션 아티팩트를 줄이고 모션 궤적을 해결합니다.

“동적 샘플을 이미징할 때의 어려움은 재구성 알고리즘이 정적 장면을 가정한다는 것입니다.”라고 수석 저자인 Ruiming Cao 박사가 말했습니다.생명공학과 학생.

"NSTM은 각 시점에서 모션을 모델링하고 재구성하여 이러한 계산 방법을 동적 장면으로 확장합니다. 이를 통해 모션 역학으로 인한 아티팩트가 줄어들고 샘플 내에서 초고속 변화를 볼 수 있습니다."

연구원들에 따르면 NSTM은 값비싼 하드웨어를 추가할 필요 없이 기존 시스템과 통합될 수 있습니다.그리고 그것은 매우 효과적입니다."NSTM은 대략 10배 정도의 개선을 제공하는 것으로 나타났습니다.시간적 해상도"라고 Cao는 말했습니다.

오픈 소스 도구를 사용하면 재구성 프로세스를 보다 세밀하게 수행할 수 있습니다.시간 규모.예를 들어, 전산 영상 재구성 프로세스는 단일 초해상 영상을 재구성하기 위해 약 10개 또는 20개의 영상을 캡처하는 것을 포함할 수 있습니다.

그러나 NSTM은 신경망을 사용하여 10~20장의 이미지 동안 물체가 어떻게 변화하는지 모델링할 수 있으므로 과학자는 10~20장의 이미지가 아닌 한 이미지의 시간 척도로 초고해상도 이미지를 재구성할 수 있습니다.

이번 연구의 수석 연구원이자 전기 공학 및 컴퓨터 과학 교수인 Laura Waller는 "기본적으로 우리는 신경망을 사용하여 시간에 따른 샘플의 역학을 모델링함으로써 더 빠른 시간 규모로 재구성할 수 있습니다"라고 말했습니다."처음에 사용한 이미지 수에 따라 시간 척도를 10배 이상 향상시킬 수 있기 때문에 이는 매우 강력합니다."

NSTM은기계 학습하지만 사전 훈련이나 사전 데이터가 필요하지 않습니다.이렇게 하면 설정이 단순화되고 학습 데이터를 통해 잠재적으로 편향이 유입되는 것을 방지할 수 있습니다.모델이 사용하는 유일한 데이터는 캡처한 실제 측정값입니다.

연구에서 NSTM은 세 가지 다른 현미경 및 사진 응용 분야(차동 위상차 현미경, 3D 구조 조명 현미경 및 롤링 셔터 DiffuserCam)에서 유망한 결과를 보여주었습니다.

그러나 Waller에 따르면 "이것은 실제로 빙산의 일각에 불과합니다."NSTM은 멀티샷 컴퓨터 이미징 방법을 향상시키는 데 잠재적으로 사용될 수 있으며, 특히 생물학 분야에서 과학적 응용 범위를 넓힐 수 있습니다.

"이것은 단지 모델이므로 동적 장면의 계산 역 문제에 적용할 수 있습니다. CT 스캔, MRI 또는 ​​기타 초해상도 방법과 같은 단층 촬영에 사용될 수 있습니다."라고 그녀는 말했습니다."스캐닝 현미경 방법도 NSTM의 이점을 누릴 수 있습니다."

연구원들은 NSTM이 언젠가는 소프트웨어 업그레이드처럼 상용 이미징 시스템에 통합될 것으로 예상하고 있습니다.그 동안 Cao와 다른 사람들은 도구를 더욱 개선하기 위해 노력할 것입니다.

"우리는 매우 빠른 역학을 볼 수 있는 한계를 뛰어넘으려고 노력하고 있습니다."라고 그는 말했습니다.