人機界面交互方式有哪些

　　人機界面交互方式有哪些

　　去年主要寫了多設備交互的一些想法，借2022 CCF HHME 主論壇的特邀報告，總結下對多模態交互的一些理解。因為GUI+觸控還是當前手機應用生態最主要的交互方式，本文主要介紹，將GUI+觸控為主的交互形態向多模交互演進，有哪些思路和機會。

　　本文主要使用類比、歸納、演繹的邏輯：類比交互系統和通信系統，歸納交互系統的信息架構，并對該信息架構進行演繹，分析將GUI觸控延展為多模交互可以采用的技術。

　　在普適計算的愿景之一，希望用戶可按需以任意方式獲取信息。信息的傳遞路徑包括人到機的信息輸入，和機到人的信息輸出。要實現自然交互的目標，即需要以類人人交互的方式，低成本，高效可靠的在人機間完成信息的傳遞。

　　交互系統的目標是完成信息的傳遞，通信系統的目標也是信息的傳輸。借鑒已比較成熟的通信系統基礎架構，從有效性和可靠性兩個技術領域，類比交互系統和通信系統的異同，提出交互系統的信息架構。

　　提升信息傳輸的有效性，可以有傳輸高熵信息，和多通道信息并發兩種方式。

　　提升信息傳輸的可靠性，主要是解決傳輸通道的噪聲問題，也有若干方式：

　　前面介紹了交互系統和通信系統的相同點，這兩個系統也有很大的不同。主要的差異點在于，人機交互系統中，人機不對偶，我們可以對計算機系統進行設計和改變，但為達到自然交互的目標，我們不應改變人的交互習慣。

　　這種不對偶，導致通信系統中一系列需要收發端配合處理的技術，在人機交互系統中不適用。比如，根據接收端的計算，將信道質量向發送端進行閉環反饋的閉環信道評估技術；再如，通信系統中廣泛利用的信號調制解調技術，在人機交互系統中基本很難利用。

　　根據以上分析，交互系統和通信系統即有相似性，也有不同。借鑒通信系統的信息架構，人機交互系統的信息架構，至少可以從提升交互效率的信源技術族和提升交互質量的信道技術族兩個大方向進行設計：信源技術方向，主要對信息進行解構、重組和恢復；信道技術方向，主要對交互通道進行評估、選擇和組合。

　　基于人機交互系統的信息架構，在分析多模交互之前，我們先對GUI+觸控這一傳統交互方式進行分析。GUI+觸控的經典交互方式，GUI主要完成信息的輸出（呈現），其信源是在二維平面上組織的圖文，信道是視覺通道；觸控主要完成信息的輸入（控制），信源是在GUI提供的任務共識下的操作對象（e.g. UI按鈕）和操作類型（e.g. 點擊，長按等），信道是平面的觸控。

　　先看信息輸出方面，以咖啡預定的卡片（GUI）為例，在信源技術族方面，信息本身為卡片呈現的圖文。參考交互系統的信源技術邏輯，

　　2. 異構信息并發

　　在信道技術族方面，主要對各交互通道進行能力評估。如前所述，某交互通道代表了某設備某模態的組合，比如，手機語音和車機語音代表了兩個不同的交互通道。 評估主要從通道的信息承載能力，信息傳輸質量，隱私性三個大維度進行：

　　通過信源的處理和信道的評估，僅在手機GUI上呈現的信息，可以自然延展到多通道的呈現。比如，在手機、車機、手表互聯的情況下，在駕駛時，選擇符合隱私要求的高傳輸質量的交互通道，將信源的信息進行分級處理并轉換，即可將手機GUI的信息進行多模呈現：車機GUI呈現卡片，在駕駛狀態僅呈現高信息量信息并大字體顯示，在非駕駛狀態呈現全部信息；同時，車機語音播報高信息量信息，并對話引導通過語音完成操作。

　　在信息輸入方面，也是用類似的邏輯展開分析。觸控的信源信息比較簡單，既在GUI呈現形成的任務共識下，操作的對象和類型，比如，對某按鈕的點擊操作。

　　觸控輸入的信道評估，也有信息承載能力，信息傳輸能力，隱私性三個方面。這些特征的描述和對輸出信道的評估類似。比如，對比觸控，語音的信道容量更高，語音的可用性和抗干擾能力和情景任務相關，語音的隱私性不好，可能會被不希望的設備或人接收。

　　和多模呈現類似，通過信息的處理和信道的評估，我們可以對觸控進行多模的延展。

　　將對GUI的觸控輸入通道，拓展到其他交互通道也有一系列的問題：

　　多模輸入和多模輸出進一步組合，可形成全新的智能交互體驗。如下圖的示例，以GUI觸控為基礎，基于情景靈活拓展和組合，提供即非GUI也非觸控的最佳交互體驗。