商湯科技人臉識別技術專利揭秘

商湯的優勢還是在于AI人才的儲備和算法優勢。目前在城市級萬路規模的視頻監控項目，AI尚未普及，一旦達到一定規模，對平臺端算法和算力的需求將會極高。

集微網消息，近年來，隨著安防體系的日漸壯大、監控點的不斷擴張和高清監控設備的普及，監控獲得的圖像視頻信息呈現爆炸式的增長。傳統視頻監控系統的存儲和檢索等面臨著巨大的挑戰，如何快速、高效地從海量圖像視頻中提取出有用的信息至關重要。

為此，人們把人臉識別技術引入了視頻監控系統中，人臉識別技術很大程度上依賴于卷積神經網絡的支持，而卷積神經網絡需要龐大的計算量。

同時，現有的視頻監控系統中，人臉檢測識別都是在后端服務器實現的，前端只負責圖像數據的采集編碼及傳輸。這種前后端結合操作的模式，需要較大網絡帶寬；同時，由于傳輸的視頻流數據中大部分都是無用的信息，大大降低了后端服務器對有效數據提取的效率。因此一種能夠直接應用在前端拍攝裝置上的人臉識別方法顯得尤為重要。

基于這些問題，商湯科技在17年8月31日申請了一項名為“人臉圖像檢索方法和系統、拍攝裝置、計算機存儲介質”的發明專利（申請號：201710774389.9），申請人為深圳市商湯科技有限公司。

根據目前公開的專利資料，讓我們一起來了解一下這項人臉識別技術吧。

如上圖所示為人臉圖像檢索方法的流程示意圖，這樣的方法將直接應用于拍攝裝置上。首先通過卷積神經網絡獲得待檢索圖像對應的待檢索人臉信息。卷積神經網絡經過處理器配置對應的卷積計算配置信息，卷積神經網絡包括至少一個卷積層，我們知道卷積層的層數越多，一般檢測效果也會越好，并且這個卷積神經網絡是可以預先訓練好的。同時，這個步驟通過卷積神經網絡處理獲得對應的待檢索人臉信息，將后續檢索中的圖像檢索轉換為人臉信息檢索，使檢索更快捷，無需后續轉換。

其次，基于待檢索人臉信息從數據庫中查找匹配的預設人臉圖像信息，數據庫中保存有預設人臉圖像信息。通過設置數據庫在拍攝裝置中實現了人臉的檢測與識別工作，大大降低了網絡帶寬的要求，提高了數據傳輸效率。

最后，輸出待檢索人臉信息匹配的預設人臉圖像信息。通過這樣的方案，卷積神經網絡獲得待檢索圖像對應的待檢索人臉信息，卷積神經網絡經過處理器配置對應的卷積計算配置信息。由于卷積神經網絡設置了卷積計算配置信息，輸入到卷積神經網絡中各卷積層中的圖像的位寬都與卷積層相對應，提高了卷積層的處理效率，并輸入的待檢索圖像可以快速準確的得到待檢索人臉信息，既解決了定點運算計算精度低及影響計算結果準確度的問題，同時也提高了卷積神經網絡的運算精度。

在了解了系統的整體方案之后，接下來我們再來看看該方法的硬件實施方案吧。

如上圖所示為該拍攝裝置中的組成硬件結構示意圖，其中包括圖像采集模塊、ISP處理模塊、存儲模塊、FPGA SoC模塊、中央處理器、通信模塊以及供電系統。

圖像采集模塊，用于采集視頻流，并基于每個出現在視頻流中的人臉圖像在采集的視頻流中篩選得到至少一個圖像；ISP處理模塊，用于對所有圖像進行質量篩選，得到至少一個人臉圖像質量達到設定閾值的第一圖像；存儲模塊，用于存儲對應第一圖像的預設人臉圖像信息。

FPGA SoC模塊包括硬件監測和中央處理，硬件監測實現通過卷積神經網絡獲得待檢索圖像對應的待檢索人臉信息；中央處理用于為卷積神經網絡配置對應的卷積計算配置信息；通信模塊，通過通信模塊可將得到的匹配的預設人臉圖像信息發送出去，同時還可以根據該預設人臉圖像信息屬于白名單或黑名單發出相應的信息到預設的客戶端中。

以上就是商湯基于神經網絡進行人臉識別的方案，通過在拍攝裝置設置的數據庫中檢索匹配的預設人臉圖像信息，實現了實時人臉檢索的效果，提高了檢索效率，不僅解決了現有方法中都在后端進行處理的某些局限弊端，同時也實現了將檢測裝置布置在前端時代價高昂的問題。人臉識別技術在我們的生活中也非常的常見，而商湯的這項技術無疑會使得我們的生活得到更多的便利。