顯微鏡技術說明:通過深度學習提高圖像質(zhì)量
技術說明
通過深度學習提高圖像質(zhì)量
利用殘差通道注意力網(wǎng)絡(RCAN)還原和增強容積延時熒光顯微鏡數(shù)據(jù)
Authors
作者
Luciano Lucas博士
總監(jiān)——Aivia
徠卡顯微系統(tǒng),德國韋茨拉爾
Quyen Tran博士
科學應用與市場經(jīng)理——Aivia
徠卡顯微系統(tǒng),美國貝爾維尤
Hoyin Lai
內(nèi)容營銷經(jīng)理/高級應用專員——Aivia
徠卡顯微系統(tǒng),美國貝爾維尤
AIVIA - IMAGE RESTORATION WITH 3D RCAN NETWORKS
AIVIA - 利用3D RCAN還原圖像
雙色共焦圖像的分辨率增強。訓練用的原始圖像在Leica SP8系統(tǒng)上拍攝,(A)共焦模式的核孔復合物(白色)和微管(綠色);(B)STED模式拍攝的圖像。(C)使用深度學習模型將共焦圖像的空間分辨率提升到接近STED質(zhì)量。
對于收集到的活細胞3D數(shù)據(jù),3D RCAN可以有效避免光漂白,允許我們拍攝長時間的超分辨率3D圖像數(shù)據(jù)。 實際應用中,圖像分辨率非常好,我們甚至能夠在3D圖像中長時間觀察到線粒體和囊泡的相互作用。 3D RCAN的圖像去模糊效果也比其他測試方法更好。
我們還使用受激發(fā)射損耗(STED)拍攝的實驗數(shù)據(jù)來訓練RCAN模型,用以測試RCAN的性能。相比共聚焦的空間分辨率,RCAN在多個固定或活細胞樣品中實現(xiàn)了2.5倍的提升,與STED的提升效果類似。值得注意的是,反卷積共聚焦數(shù)據(jù)無法實現(xiàn)類似的分辨率提升。
研究人員還開發(fā)了將RCAN與膨脹顯微術(expansion microscopy)相結合以提升iSIM分辨率的方案。 在細胞爬片樣本,線粒體和微管動力學的4D研究中,這種方法可以實現(xiàn)1.9倍的橫向分辨率和3.6倍的軸向分辨率提升。 需要注意的是,膨脹顯微術不能應用于活體樣本成像。
基于這些結果,作者認為,相比現(xiàn)有方法(例如光片顯微鏡和轉盤共聚焦成像設備),3D RCAN與高分辨率、多噪點的共聚焦顯微鏡或iSIM相結合可以成為3D活細胞成像的精妙方案。作者還在考慮使用這種方法進一步改善其他顯微成像模式。
表達EGFP-Tomm20的U20S活細胞圖像。高放大倍率視圖,原始iSIM、去卷積iSIM和 RCAN預測進行比較。紅色剪頭表明RCAN可以比iSIM更好地解析線粒體。圖片來源:Nature Methods
如何使用3D RCAN模式
在GitHub和我們的網(wǎng)頁上可以找到代碼、數(shù)據(jù)以及經(jīng)過訓練的深度學習模式。此外,我們還在Aivia中部署了所有預訓練模型,因此每個人都能將其輕松用于自己的數(shù)據(jù)。Aivia用戶還可以添加訓練數(shù)據(jù),以針對自己的成像/采樣工作優(yōu)化我們的預訓練模型。
本項研究刊載于2021年6月出版的《Nature Methods》雜志上。