汽車多模態交互研究：大模型及多模態融合，推進AI Agent上車

佐思汽研發布《2023年中國汽車多模態交互發展研究報告》，主要梳理了主流座艙交互方式、2023年上市的重點車型交互方式應用、供應商座艙交互方案，以及多模交互融合趨勢。

通過梳理最近一年新上市車型的交互方式和功能來看，主動式、擬人化、自然化交互成為主要方向。從交互方式來看：單一模態交互，如觸覺、語音等主流交互的控制范圍從車內拓展至車外，指紋、肌電等新型交互方式的上車案例開始增多；多模態融合交互下，語音+頭姿/人臉/唇語、面部+情緒/嗅覺等多種融合交互不斷上車，旨在打造更加主動、自然的人車交互。

單一模態的縱深發展

觸覺交互方面：座艙大屏化、多屏化趨勢加劇，同時智能表面材料在艙內的擴展應用，讓觸覺感知范圍向車門、車窗、座椅等部件擴展，并逐步引入觸覺反饋技術；

語音交互方面：語音交互在AI大模型的賦能下，功能愈加智能化、情感化。唇動識別、聲紋識別等技術的上車，使語音交互精準度得到進一步提升，控制范圍也從車內拓展至車外；

視覺交互方面：基于視覺技術的面部/手勢識別范圍開始逐漸向肢體識別擴展，包括頭部姿勢、手臂動作，以及身體行為等；

嗅覺交互方面：原主要用于凈化空氣、祛除異味的嗅覺交互功能，現今可實現座艙殺菌消毒、并支持香氛系統與座艙場景/季節時令聯動。

案例1

語音控車實現車內向車外延伸

代表車型：長安啟源A07、極越01

代表功能：車外語音開啟車門、車窗、輔助泊車等

長安啟源A07采用科大訊飛最新XTTS 4.0 技術，車載語音助手聲音更加自然擬人化，具備高興、抱歉、疑惑等多情感表達。支持向車外喊話（內容可自定義）；此外，還可在車外通過語音實現對后備箱、車窗、音樂、空調、出庫/泊車等功能的控制。

極越01搭載“SIMO”語音助手，支持全域全離線語音，無網弱網也可全程在線語音交互；可實現500毫秒識別，700毫秒內響應。在車外，駕乘人員可通過聲紋識別技術實現語音操作空調、音響、燈光、車窗、車門、后尾門、充電蓋的開啟/關閉等功能，以及支持車外語音泊車。

案例2

聲紋識別擴大應用

代表車型：理想L7、合創A06/V09

代表功能：識別駕乘人員身份，提供針對性服務

理想L系列車型均支持聲紋識別功能。在乘客聲紋注冊后，“理想同學”可分辨乘客是誰，叫出不同乘客指定的昵稱，并結合聲紋記憶對不同乘客位置執行車控。

合創A06/V09的聲紋識別VOICE ID，能清楚識別有效用戶身份以及指令，并將成為HYCAN ID的入口，為用戶接入豐富智慧生態，使用100+款娛樂應用。另外基于聲紋識別技術，系統將主動屏蔽其他干擾聲音，提高主駕識別精準度。

圖片來源：合創汽車

案例3

肌電交互實現車載商業化落地

代表車型：嵐圖追光

代表功能：車內外隔空微手勢控車

2023年4月，嵐圖追光與柔靈科技推出肌電交互融合方案。該方案主要通過肌電手環實現。手環內部安裝多通道肌電傳感器和高精度的放大器，可以實時采集豐富的肌肉電信號并生成算法，傳導計算終端，從而生成個性化的AI手勢模型，之后再和嵐圖的車載平臺整合。使用者將手環與車內藍牙連接，即可實現以微手勢控制車輛，包括開關后備箱、升降車窗等60+種手勢動作。此外，手環還可以和車內游戲系統無縫連接。借助肌電手環的手勢識別，用戶可以更自然、直觀地操控游戲角色，如地鐵跑酷等。

圖片來源：柔靈科技

多模態融合，打造主動交互

目前車企已實現的多模態融合包括但不限于語音+唇動識別、語音+面部識別、語音+手勢識別、語音+頭姿、面部+情緒識別、面部+眼球追蹤、香氛+面部+語音識別等。其中語音多模態交互方式為當下主流，應用車型包括上文提到的長安啟源A07、極越01、理想L7、合創A06/V09等車型。

多模態融合代表功能（僅列舉部分）

來源：佐思汽研《2023年中國汽車多模態交互發展研究報告》

案例1

語音+頭姿交互：魏牌藍山DHT PHEV將語音和頭姿進行結合，交互方式簡單直觀

當駕駛員進行語音對話時，藍山座艙利用車載攝像頭捕捉駕駛員的頭部動作，通過點頭/搖頭進行確定/否定答復。例如語音控制導航時，可通過點頭/搖頭選擇路線規劃方案。

案例2

面部+情緒識別：睿藍7、極狐考拉等車型在面部識別功能上融入情緒識別技術，提供主動交互，增強交互體驗

睿藍7的多模智識Face-ID系統支持唇動識別、情緒識別，能記憶關聯賬戶對應語音、座椅、后視鏡、氛圍燈、后備箱設置等車輛功能個性化信息，還可根據車主的“臉色”來選擇合適的音樂。

極狐考拉位于B柱的攝像頭正對后排，可實時監控孩子狀態。例如孩子在微笑時將自動抓拍傳送至中控屏；哭鬧時將自動播放安撫音樂/智能座椅表面呼吸律動，平復孩子情緒。另外，攝像頭還可與車內毫米波雷達聯動，判斷孩子是否睡著，睡著則自動打開睡眠模式，開啟座椅通風，空調溫度適當調整，音響、氛圍燈進行聯動，產生律動效果。

案例3

面部+嗅覺：蔚來EC7、睿藍7等車型實將駕駛員監控系統與香氛系統聯動，提升駕車安全性

蔚來EC7監測到駕駛員的疲勞狀態時，將自動釋放提神醒腦的香氛，以確保駕駛安全；

睿藍7位于A柱的攝像頭監控到駕駛員犯困時，將自動釋放提神香氛，并進行語音提醒。

大模型及多模態融合，將推進AI Agent上車

AI大模型正從單模態走向多模態、多任務融合的趨勢。相較于單模態只能處理一種類型的數據，例如文本、圖像、語音等，多模態則可以處理和理解多種類型的數據，包括視覺、聽覺、語言等，從而能夠更好地理解和生成復雜的信息。 隨著多模態大模型的持續發展，其能力也將得到顯著提升。這種提升賦予AI Agent（人工智能體）更強大的感知和環境理解能力，以實現更智能、自主的決策和行動。同時也為汽車領域的應用開拓了新的可能性，為未來的智能化發展提供了更廣闊的前景。

圖片來源：紅杉資本

科大訊飛基于星火大模型開發的星火座艙OS，支持語音、手勢、人眼追蹤、DMS/OMS等多種交互模態，星火汽車助理通過深度上下文理解實現多意圖識別，提供更加自然的人機交互。訊飛星火大模型首搭車型星途星紀元ES，將帶來五大全新的體驗：車輛功能導師、冷暖共情伙伴、知識百科全書、旅行規劃專家、身體健康顧問。

來源：科大訊飛

將于2023年12月上市的AITO問界M9內置HarmonyOS 4車機系統。鴻蒙4中智慧助手小藝已經接入了盤古大模型。華為盤古大模型，包括自然語言大模型、視覺大模型、多模態大模型等。鴻蒙4+小藝+盤古大模型，設備協同、AI場景等生態能力將再度增強，借助多模態交互技術，提供多樣化的交互方式，包括語音識別、手勢控制、觸摸屏操作等。

圖片來源：華為