本文要點(diǎn)：凝視方向（眼球運(yùn)動(dòng)）、瞳孔大小和瞳孔光反射 （PLR） 的評(píng)估對(duì)于神經(jīng)學(xué)檢查和神經(jīng)科學(xué)研究至關(guān)重要，并且在重癥監(jiān)護(hù)到內(nèi)分泌學(xué)和藥物成癮，再到心臟病學(xué)和精神病學(xué)等各種臨床環(huán)境中，成為了強(qiáng)大的工具。然而，目前的床旁瞳孔測(cè)量通常是間歇性的、定性的、手動(dòng)的，并且睜眼病例，限制了其在睡眠醫(yī)學(xué)、麻醉和重癥監(jiān)護(hù)中的應(yīng)用。本文將短波紅外 （SWIR， 900-1700 nm） 成像與圖像處理算法相結(jié)合，在閉上眼瞼后進(jìn)行快速 （~30 ms） 瞳孔測(cè)量和眼動(dòng)追蹤。43名健康志愿者參加了兩項(xiàng)由可見光刺激或?qū)⒀矍蜻\(yùn)動(dòng)引導(dǎo)至屏幕目標(biāo)的 PLR 實(shí)驗(yàn)。在一只眼睛閉上，另一只眼睛睜開的情況下同時(shí)進(jìn)行成像，作為基本實(shí)況。使用量化瞳孔區(qū)域周圍亮度變化的自定義方法或基于深度學(xué)習(xí) U-NET 的程序進(jìn)行數(shù)據(jù)分析。本文表明 SWIR 成像數(shù)據(jù)分析可以成功測(cè)量閉眼條件下刺激誘發(fā)的 PLR，揭示單個(gè)試驗(yàn)中的 PLR 事件和幾乎所有個(gè)體受試者的顯著 PLR，以及估計(jì)注視方向?；谏窠?jīng)網(wǎng)絡(luò)的分析可以成功地使用閉眼 SWIR 數(shù)據(jù)來重建睜眼圖像的估計(jì)值并評(píng)估瞳孔大小。

活體成像

圖1. 睜眼和閉眼條件下的瞳孔光反射（PLR）評(píng)估

本文構(gòu)建并驗(yàn)證了一個(gè)實(shí)驗(yàn)裝置來評(píng)估 PLR（圖1a、b）。該設(shè)置包括一個(gè)下巴托、一個(gè)用于電磁輻射的紅外 （IR） LED 光源、攝像頭和一個(gè)用于提供可見光刺激的計(jì)算機(jī)屏幕。使用這種成像設(shè)置，可以進(jìn)行數(shù)小時(shí)的連續(xù)成像，因?yàn)檎彰鞯募t外曝光水平符合安全準(zhǔn)則，不會(huì)造成風(fēng)險(xiǎn)。為了引發(fā) PLR，屏幕以大約 20 秒的間隔間歇性地呈現(xiàn)亮光刺激（持續(xù)時(shí)間 2 秒，眼睛附近 270 lux），首先，當(dāng)被試將目光向前時(shí)，該系統(tǒng)可以在睜眼條件下可靠地捕捉 PLR，使用 SWIR 相機(jī)捕獲的視頻數(shù)據(jù)中成熟的運(yùn)動(dòng)估計(jì)算法 DLC 識(shí)別瞳孔邊界（圖1c）。接下來，本文開發(fā)了一種無需瞳孔分割即可工作的數(shù)據(jù)分析方法?；驹硎?，瞳孔邊界和周圍虹膜之間的對(duì)比允許在睜眼條件下進(jìn)行穩(wěn)健的分割。然而，預(yù)計(jì)在閉眼條件下的后續(xù)成像不一定會(huì)在瞳孔和周圍虹膜之間產(chǎn)生強(qiáng)烈的對(duì)比（即，不一定能觀察到清晰的瞳孔邊界）。為了解決這個(gè)問題，本文測(cè)量了固定圓圈內(nèi)的平均像素暗度，其中包括瞳孔和周圍光圈的區(qū)域（青色輪廓，圖1d）。當(dāng)瞳孔收縮時(shí)（例如，在 PLR 事件中），該固定圓圈內(nèi)的黑色像素面積減小，從而降低了圓圈中的平均像素暗度（圖1d，左）。

接下來，使用 SWIR 成像評(píng)估了閉眼條件下的 PLR。參與者在兩個(gè)實(shí)驗(yàn)過程中閉著一只眼睛，而另一只眼睛睜著。利用健康個(gè)體雙眼瞳孔動(dòng)態(tài)的對(duì)稱性，本文將閉眼 SWIR 成像與用作地面實(shí)況的睜眼數(shù)據(jù)進(jìn)行了比較。圖 1e 顯示了從閉眼 SWIR 數(shù)據(jù)（使用如上所述的“固定圓暗度"方法）估計(jì)的瞳孔動(dòng)力學(xué)的代表性軌跡，其中可以很容易地觀察到每個(gè) PLR 事件周圍的偏轉(zhuǎn)。將閉眼 SWIR 數(shù)據(jù)估計(jì)值與地面實(shí)況開眼測(cè)量進(jìn)行比較（圖1e） 表明 SWIR 成像可以通過閉眼準(zhǔn)確捕捉 PLR 動(dòng)態(tài)（圖1f） 并在具有不同虹膜顏色的參與者中表現(xiàn)良好（圖1g，h）。在整個(gè)數(shù)據(jù)集中，通過這種設(shè)置和參數(shù)，92.7% 的參與者可以揭示穩(wěn)健的 PLR（圖1f）。對(duì)于所有參與者，睜眼平均 PLR 事件時(shí)程和閉眼平均 PLR 事件時(shí)程之間的平均 Pearson 相關(guān)系數(shù)為 0.57 （范圍：-0.36 至 0.99，SD = 0.38），平均 R 平方值為 0.47 （范圍：0-0.98，SD：0.37）。

圖2. 對(duì)照實(shí)驗(yàn)表明閉眼成像克服了潛在的混雜因素的影響

接下來，本文通過照實(shí)驗(yàn)排除了幾個(gè)潛在的混雜因素（圖 2）。首先，驗(yàn)證了本文的估計(jì)方法反映了與實(shí)際瞳孔成像相關(guān)的信息，而不是那些時(shí)間前后被視覺刺激照亮的眼瞼的可能信息（即，確保固定圓圈黑暗的瞬間減少（解釋為較小的瞳孔）不僅僅反映更亮的眼瞼）。有幾個(gè)方面表明情況并非如此：（i）本文的 PLR 時(shí)間過程的形狀高度不對(duì)稱（急劇收縮后逐漸重新擴(kuò)張），而光刺激是“開-關(guān)"方波，（ii）PLR 效應(yīng)在光刺激終止后持續(xù)很長時(shí)間（可見光終止但瞳孔需要更長時(shí)間才能重新擴(kuò)張），以及（iii）同樣被可見光刺激照亮的對(duì)照前額區(qū)域無法預(yù)測(cè)瞳孔動(dòng)態(tài)。此外，（iv）本文進(jìn)行了一項(xiàng)對(duì)照實(shí)驗(yàn)，其中屏障阻止任何來自屏幕的光線到達(dá)閉上的眼睛（圖 2a-d）。在本實(shí)驗(yàn)中，所有 8 名參與者的閉眼均觀察到了穩(wěn)健的平均 PLR 響應(yīng)（平均響應(yīng)見圖2e），表明照明的變化是由瞳孔收縮引起的。對(duì)于所有參與者，睜眼平均 PLR 事件時(shí)間過程與閉眼平均 PLR 時(shí)間過程之間的平均 Pearson 相關(guān)系數(shù)為 0.7（范圍：0.24–0.99，SD = 0.29），平均 R 平方值為0.56（范圍：0.06–0.99，SD：0.38）。經(jīng)過 Fisher 變換的所有參與者的 Pearson 系數(shù)與零之間的差異具有統(tǒng)計(jì)學(xué)意義（t(7)?=?3.85, p?=?0.006, 95% CI [0.48, 2.03]），R 平方值也具有統(tǒng)計(jì)學(xué)意義。因此，至關(guān)重要的是，即使閉眼且未暴露于光刺激，閉眼成像也可以檢測(cè)到強(qiáng)大的 PLR。其次，本文通過實(shí)證驗(yàn)證了直接和協(xié)同 PLR 反應(yīng)的幅度確實(shí)相似（如前所述，在 ~5% 以內(nèi)17），從而驗(yàn)證了本文以一只睜開的眼睛作為評(píng)估閉眼成像的基本事實(shí)的方法是足夠的（圖 2f）。由于參與者在屏障黑暗一側(cè)的眼睛沒有暴露在光線下，因此在實(shí)驗(yàn)中雙眼睜開時(shí)測(cè)量的瞳孔直徑可用于計(jì)算在相同條件下閉眼時(shí)測(cè)得的黑暗度變化的校準(zhǔn)函數(shù)。如圖 2g 所示，固定圈的黑暗度和瞳孔直徑高度相似并呈現(xiàn)線性相關(guān)性 (R2 = 0.96；圖 2h)。第三，本文驗(yàn)證了當(dāng)雙眼自然閉上時(shí)（圖 2i、j）也可以在閉眼條件下實(shí)現(xiàn)穩(wěn)健的 PLR 成像——無需用手指將眼睛閉上，這一過程可能會(huì)導(dǎo)致眼瞼拉伸并形成有利的成像條件。所有參與者（N = 6）在自然閉合和拉伸眼瞼時(shí)均表現(xiàn)出穩(wěn)健的 PLR 反應(yīng)。

圖3. 通過深度學(xué)習(xí)分析SWIR 數(shù)據(jù)進(jìn)行閉眼捕捉 PLR 動(dòng)態(tài)

為了用數(shù)據(jù)分析來補(bǔ)充直觀的“固定圓圈暗度"方法，研究者們采用了基于深度學(xué)習(xí)的圖像處理方法來識(shí)別閉眼 SWIR 數(shù)據(jù)中的瞳孔動(dòng)態(tài)。研究者們使用 U-NET 架構(gòu)訓(xùn)練了一個(gè)神經(jīng)網(wǎng)絡(luò)模型，其中包含睜眼和閉眼的圖像對(duì)（“訓(xùn)練數(shù)據(jù)"）。該模型的輸出（“測(cè)試數(shù)據(jù)"）僅基于閉眼的一組圖像，每張圖像代表眼睛睜開時(shí)的估計(jì)圖像，研究者們可以從中提取瞳孔大?。ㄒ院撩诪閱挝唬?。將閉眼數(shù)據(jù)（或控制前額區(qū)域）得出的瞳孔大小模型估計(jì)值與地面真實(shí)睜眼數(shù)據(jù)進(jìn)行比較。圖 3a展示了該模型基于閉眼 SWIR 數(shù)據(jù)成功估計(jì)瞳孔大小的代表性示例。定量分析證實(shí)了 PLR 事件周圍的成功估計(jì)（圖 3b）。實(shí)況與閉眼估計(jì)值之間的中位 MAE 約為 0.40 毫米，明顯低于實(shí)況與基于對(duì)照?qǐng)D像的估計(jì)值之間的 MAE，0.52 毫米，t(40) = 4.32，p = 0.0001，95% CI [0.06, 0.17]，通過配對(duì)雙尾 t 檢驗(yàn)（圖 3c）。結(jié)果表明，通過使用閉眼圖像中對(duì)照區(qū)域無法獲得的信息（例如瞳孔變化），神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)得到了顯著改善。

圖4. SWIR數(shù)據(jù)的 DLC 分析可捕捉閉眼時(shí)的注視方向

最后，研究者們?cè)竭^了瞳孔測(cè)量法，進(jìn)行了一項(xiàng)單獨(dú)的實(shí)驗(yàn)，研究了參與者注視九個(gè)屏幕位置時(shí)的凝視方向估計(jì)，可以從閉眼 SWIR 數(shù)據(jù)中成功提取凝視方向（圖 4a）。為了量化閉眼條件下凝視方向信息的精度，研究者們將瞳孔位置的真實(shí)信息（從應(yīng)用于睜眼數(shù)據(jù)的 DLC 模型獲得的坐標(biāo)，方法）與基于閉眼 SWIR 數(shù)據(jù)的瞳孔位置坐標(biāo)（從訓(xùn)練用于識(shí)別眼瞼上黑眼圈的 DLC 模型獲得的坐標(biāo)）進(jìn)行了比較。計(jì)算了每只眼睛相對(duì)于注視十字準(zhǔn)線時(shí)的瞳孔位置的相對(duì)瞳孔位置，作為 (0,0) 原點(diǎn)。圖 4b 展示了單個(gè)參與者的代表性示例，其中可以很容易地在閉眼數(shù)據(jù)中檢測(cè)到朝向目標(biāo)的水平和垂直眼球運(yùn)動(dòng)。圖 4c 顯示了此參與者的睜眼真實(shí)情況與閉眼估計(jì)之間的相對(duì)差異分布，分別為垂直偏移（y 軸）和水平偏移（x 軸）。在所有參與者（n = 40）中，瞳孔位置估計(jì)的中位 MAE 分別為垂直和水平偏移 1.4 毫米和 3.4 毫米。最后，研究者們根據(jù)設(shè)置的幾何形狀，將眼睛圖像平面中的 2D 偏移轉(zhuǎn)換為視角度 (DVA）。這表明，研究者們的凝視方向估計(jì)具有典型的準(zhǔn)確度，分別反映了垂直軸和水平軸的8.9° 和 14° 的誤差（圖 4d、e）。通過將真實(shí)數(shù)據(jù)（閉眼和睜眼的同時(shí)數(shù)據(jù)）與替代數(shù)據(jù)（閉眼數(shù)據(jù)與睜眼數(shù)據(jù)，其中100,000 個(gè)實(shí)驗(yàn)片段隨時(shí)間隨機(jī)打亂）進(jìn)行比較，確定了該估計(jì)準(zhǔn)確度的統(tǒng)計(jì)顯著性。研究者們發(fā)現(xiàn)，在混洗控制數(shù)據(jù)中，凝視方向估計(jì)比偶然預(yù)期的準(zhǔn)確度明顯更高 (p?=?0.000005, df?=?100,038)。

本文利用一種系統(tǒng)和分析方法，結(jié)合 SWIR 成像系統(tǒng)和專用的數(shù)據(jù)分析方法，通過閉眼非接觸式監(jiān)測(cè)瞳孔大小和注視方向 (眼球運(yùn)動(dòng)) 的快速 (~30 毫秒) 動(dòng)態(tài)。實(shí)驗(yàn)重點(diǎn)關(guān)注健康參與者睜開一只眼 (作為基本事實(shí)) 而閉上另一只眼時(shí)對(duì)可見光刺激的 PLR 反應(yīng)。使用當(dāng)前設(shè)置和參數(shù)作為初步概念驗(yàn)證，研究者們已經(jīng)可以證明“固定圈暗度"分析方法可以在單次試驗(yàn)數(shù)據(jù)和絕大多數(shù) (92.7%) 個(gè)體受試者中穩(wěn)健地揭示 PLR (圖 1)。此外，基于深度學(xué)習(xí)的方法可以可靠地預(yù)測(cè)閉眼時(shí)的 PLR 動(dòng)態(tài) (圖 3)，并且可以估計(jì)閉眼時(shí)的注視方向，誤差為 8.9–14° DVA (圖 4)。目前，本研究報(bào)道的方法是實(shí)現(xiàn)閉眼時(shí)快速跟蹤瞳孔大小和注視方向的非接觸式方法，在研究和臨床護(hù)理方面具有巨大潛力。PLR 具有強(qiáng)大的刻板動(dòng)態(tài)，是驗(yàn)證這項(xiàng)技術(shù)的理想環(huán)境。該研究方法可以進(jìn)一步開發(fā)，以跟蹤許多閉眼領(lǐng)域（包括睡眠、麻醉、重癥監(jiān)護(hù)等）中瞳孔大小和眼球運(yùn)動(dòng)的持續(xù)變化。

參考文獻(xiàn)

Ben Barak-Dror, O., Hadad, B., Barhum, H. et al. Touchless short-wave infrared imaging for dynamic rapid pupillometry and gaze estimation in closed eyes. Commun Med 4, 157 (2024).