視線追蹤

概念定義

視線追蹤係一套分析眼部影像、持續估算瞳孔位置同視線方向嘅技術。佢以人眼視覺機制、生理學同心理學理論為基礎，將影像處理、目標追蹤、攝影機標定同視線建模連接成完整流程，用嚟判斷使用者望向邊個方向或空間位置。

視線追蹤亦可以同手勢識別、語音交互及面部追蹤融合，組成多模態交互系統。各種輸入方式唔再獨立運作，而係共同提供使用者動作、說話、面部同視線資訊，支援更完整嘅交互判斷。

工作原理

系統首先擷取眼部影像，再利用亮瞳或暗瞳影像處理方法突出眼部特徵，之後透過瞳孔追蹤算法識別並持續更新瞳孔位置。影像預處理可以配合反對稱雙正交小波重構等技術，為後續定位同追蹤提供可分析嘅影像資料。

瞳孔位置會輸入視線模型，模型再結合攝影機標定結果，建立眼部影像特徵同視線方向之間嘅關係。單攝影機系統以一部攝影機建立視線模型；雙攝影機系統就涉及兩部攝影機之間嘅標定，並可將追蹤結果連接至三維空間標定流程。

當眼睛或影像位置持續變化，系統可以利用卡爾曼濾波、粒子濾波等算法處理連續追蹤資料，形成由影像預處理、瞳孔定位、動態追蹤、攝影機標定到視線估算嘅技術鏈。

技術構成

• 視覺與理論基礎：涵蓋人眼生理學、心理學同人眼視覺機制，用作建立視線分析框架。
• 影像擷取及處理：包括亮瞳、暗瞳影像處理，以及對眼部影像進行預處理同特徵整理。
• 瞳孔追蹤：利用追蹤算法定位瞳孔，並連續處理瞳孔位置變化。
• 追蹤濾波：卡爾曼濾波同粒子濾波可用於處理追蹤過程中嘅連續資料。
• 攝影機標定：涵蓋單攝影機及雙攝影機方案，雙攝影機系統需要處理兩部攝影機之間嘅標定關係。
• 視線建模：將眼部特徵、瞳孔位置同標定資訊整合，建立單攝影機或雙攝影機視線模型，並延伸至三維空間標定。

應用場景

視線追蹤可以應用於電腦交互，將視線資料納入人機輸入及交互判斷；亦可以用於心理學評估，分析同視覺注意相關嘅觀察資料。喺多模態交互系統之中，視線追蹤會同語音、手勢及面部追蹤共同運作，令系統可以同時處理多種交互訊號。