計算機視覺識別是如何工作的？

計算機視覺識別的定義

計算機視覺識別是一種人工智能技術，旨在使計算機系統從數字圖像、視頻等視覺信息中識別和提取有意義信息的能力。它通過利用圖像處理、機器學習和其他相關技術來實現這一目標，并可以完成多種任務，例如圖像識別、物體檢測、人臉識別等。計算機視覺技術在各種行業中都有著廣泛的應用，如自動駕駛、安全監控、醫學診斷等。

計算機視覺識別是如何工作的？

計算機視覺識別的工作方式主要通過以下幾個步驟：

1. 圖像預處理：對圖像進行預處理，如去噪、校正圖像像素等，以確保圖像質量。

2.特征提取：通過各種圖像處理技術，從圖像中提取有用的特征信息，如邊緣、輪廓、顏色值等。

3. 特征分類：使用機器學習算法對提取的特征進行分類，以便對圖像中的物體進行識別。

4. 識別結果輸出：根據分類結果，輸出識別結果，如圖像中的物體類型、人臉識別等。

每一個步驟都需要使用合適的算法和技術，才能確保視覺識別輸出結果準確性和高效性。

下圖左側是亞伯拉罕·林肯灰度圖像緩沖區的簡單插圖，每個像素由一組 8 位數字表示，范圍從 0（黑色）到 255（白色），右側是識別圖像時軟件識別出的不同的顏色值。

計算機視覺識別的主要應用功能

1、圖像分類

顧名思義就是將圖像進行類別篩選，通過深度學習方法識別圖片屬于哪種分類類別，其主要重點在于一張圖像只包含一種分類類別，即使該影像內容可能有多個目標，所以單純圖像分類的應用并不普遍。

不過由于單一目標識別對深度學習算法來說是正確率最高的，所以實際上很多應用會先通過目標檢測方法找到該目標，再縮小擷取影像范圍進行圖像分類。所以只要是目標檢測可應用的范圍，通常也會使用圖像分類方法。

圖像分類，需要先對本地圖像進行邊框標記，這個操作需要手動標記才能完成，這樣就催生出一個職業 - 人工智能標注師，比如下圖左側是原始圖片，右圖是被標記過的圖像，就會把它標注到貓的分類中。

2、目標監測

一張圖像內可有一或多個目標物，目標物也可以是屬于不同類別。算法主要能達到兩種目的：找到目標坐標及識別目標類別。

簡單來說，就是除了需要知道目標是什么，還需要知道它在哪個位置。

目標檢測應用非常普遍，包含前面提到的人臉識別相關技術結合應用，或是制造業方面的瑕疵檢測，甚至醫院用于X光、超音波進行特定身體部位的病況檢測等。

3、語義分割

算法會針對一張圖像中的每個像素進行識別，也就是說不同于目標檢測，語義分割可以正確區別各目標的邊界像素，簡單來說，語義分割就是像素級別的圖像分類，針對每個像素進行分類。當然這類應用的模型就會需要較強大的GPU和花較多時間進行訓練。

實例分割是語義分割的升級版本。它不是將相同的像素值分配給同一類中的所有對象，而是分段并顯示同一類的不同實例。如果在圖像中檢測到多個相同的對象，則會相應地對其進行標記，如下圖所示，綿羊 1、綿羊 2 和綿羊 3會被單獨分割識別出來，它通常用于計數。

流行的計算機視覺庫和框架

MMDetection

MMDetection是一個基于PyTorch的開源對象檢測工具箱。它由訓練配方、預訓練模型和數據集組成。它運行在Linux，Windows和macOS上，需要Python 3.6+，CUDA 9.2+和PyTorch 1.5+。他們還發布了用于計算機視覺研究的庫mmcv。通過模塊調用的方法，我們可以用少量的代碼實現新的算法。大大提高代碼復用率。

邊緣設備部署

MMDeploy是一個開源深度學習模型部署工具集，它是OpenMMLab項目的一部分，如果你想了解如何在 NVIDIA Jetson 系列邊緣平臺（如 Seeed 的 reComputer）上安裝 MMDeploy?？梢酝ㄟ^部署指南來學習部署過程。

OpenCV

OpenCV是最受歡迎的開源計算機視覺和ML軟件庫之一。它旨在為計算機視覺應用程序提供通用基礎架構。它可以在Windows，Linux，Android和macOS上運行，可用于Python，Java，C++和MATLAB。

邊緣設備部署

我們的合作伙伴 alwaysAI 將 OpenCV 構建為邊緣計算環境的核心部分。這意味著在每個 alwaysAI 應用程序中，您都可以添加導入 cv2 并在您的應用程序中使用 OpenCV。alwaysAI 圍繞 OpenCV 構建了一套工具，以實現端到端流程的無縫銜接，并解決了使用邊緣設備時一些常見痛點。

NVIDIA VPI 邊緣部署

NVIDIA 視覺編程接口 （VPI） 是一個軟件庫，可在 NVIDIA NVIDIA Jetson 系列邊緣平臺設備中，實現計算機視覺和圖像處理算法。VPI 為 CPU 和 NVIDIA CUDA 算法實現提供了統一的 API，以及 VPI 和 OpenCV 以及 CUDA 之間的互操作性。

TensorFlow

TensorFlow是一個端到端的開源ML平臺，能夠執行無數的任務，包括計算機視覺。TensorFlow Lite允許您在移動和邊緣設備上運行模型，而TensorFlow JS適用于Web。它運行在Windows，macOS和WSL2上，支持Python，C，C++，Java等。

邊緣設備部署

在小型或微型處理設備上部署機器學習，主要是通過TensorFlow Lite 框架來進行部署，TensorFlow Lite 主要對微型機器學習功能進行了優化，重點關注延遲、隱私、連接、大小和功耗。

邊緣計算硬件設備

人工智能AI正在加快速度從“云端”走向“邊緣”，進入到越來越小的小型或微型控制設備中，在終端和邊緣側的微處理器上實現機器學習，下面介紹兩款邊緣計算硬件設備。

SeeedreTerminal

reTerminal是 Raspberry Pi一體機，由 Raspberry Pi計算模塊（CM4）提供支持，集成了一個IPS面板式多點觸摸屏，配備雙頻2.4GHz / 5GHz Wi-Fi和藍牙5.0，預裝了基于Raspberry Pi的Linux系統，提供存儲4 GB RAM和32 GB eMMC。通過模塊化設計，該機配備了多個可訪問組件和高速連接器?？梢愿玫牟渴餉I開發應用程序，也可以執行適合作為工業設施的工業級功能。

使用Seeed reTerminal 設備快速部署TensorFlow Lite 框架，具體方法請看下面的地址：

reComputer for Jetson

Jetson 的 reComputer 系列是采用 NVIDIA Advanced AI 嵌入式系統構建的緊湊型邊緣計算機：J10（Nano 4GB）和 J20（Jetson Xavier NX 8GB 和 Jetson Xavier 16GB）。

憑借豐富的擴展模塊、工業外設和熱管理，reComputer for Jetson 已準備好通過將流行的 DNN 模型和 ML 框架部署到邊緣并以高性能進行推理來幫助您加速和擴展下一代 AI 產品。

審核編輯：劉清