多模態交互系統

概念定義

多模態交互系統係將多種交互及追蹤方式融合運作嘅系統。當中，手勢識別唔再作為孤立功能存在，而係同語音交互、面部追蹤及視線追蹤結合，形成一套整合式交互系統。

工作原理

系統以多模態融合為核心，將手勢、語音、面部活動及視線等不同交互或追蹤模態放入同一系統協同運作。各模態唔再只作獨立輸入，而係透過深度融合共同構成整體交互。

技術構成

多模態交互系統包含手勢識別、語音交互、面部追蹤及視線追蹤。手勢識別處理動作形式嘅交互；語音交互承擔語音形式嘅交互；面部追蹤與視線追蹤則提供面部及注視方向相關嘅追蹤模態。四者融合後，構成多模態交互架構。

應用形態

呢類系統適用於需要同時整合手勢、語音、面部及視線資訊嘅交互場景。其技術特徵並非單純增加多項彼此分離嘅功能，而係令不同模態喺同一系統內共同參與交互。