利用人工智能改進手機攝影技術

如果你關心手機的攝像頭有多好?不妨留意一下手機制造商對于AI(人工智能)的評價，為什么呢?因為人工智能這項技術在過去的幾年里，已經使攝影技術取得了驚人的進步，沒有理由認為這種進步會放緩。

不過目前為止，AI仍然有許多噱頭，但攝影技術最令人印象深刻的進步，實際上歸功于軟件和AI，而不是傳感器和鏡頭，這在很大程度上得益于AI。

Google Photos，利用人工智能+攝像相結合

舉個例子，例如Google Photos，在2015年推出這款應用時，其展示了人工智能和攝影兩者結合的功能多么強大。在此之前，谷歌多年來一直使用機器學習對谷歌上的圖片進行分類，這款圖片應用程序也包含了面向消費者的人工智能功能，用戶無組織的數千張、沒有標簽的圖片庫，一夜之間就變成了可搜索的數據庫，并且可利用人工智能自動創建拼貼、動畫、電影、風格化圖片等等。

圖片來源：Google Photos

2013年谷歌收購了一家專門從事語音和圖像識別研究的公司DNNresearch，以此作為前期的發展基礎，它建立了一個深度神經網絡，對人類標記的數據進行訓練，這叫做監督學習。這個過程涉及到對數百萬張圖像進行網絡訓練，使其能夠在像素級別上尋找視覺線索，以幫助識別圖片類別。

隨著時間的推移，該算法在識別方面做得越來越好，例如用來正確識別熊貓的模式，通過進一步的訓練，我們可以搜索更抽象的詞匯，如“動物”或“早餐”，這些詞匯可能沒有共同的視覺指標，但對人類來說仍然是顯而易見的。

圖片來源：Google Photos

當然，訓練這樣的算法需要花費大量的時間和處理能力，但是在數據中心完成它們的工作之后，就可以在低功耗的移動設備上輕松運行。繁重的工作已經完成，所以一旦你的照片上傳到云端，谷歌就可以使用它的模型來分析和標記整個庫。

大約在Google Photos發布一年后，蘋果公司宣布了一項照片搜索功能，該功能同樣經過了神經網絡的訓練，但作為公司對隱私承諾的一部分，實際的分類是在每臺設備的處理器上分別執行，而不發送數據，這通常需要一到兩天的時間，并在后臺進行設置。

蘋果利用如何利用“計算攝影”?

智能照片管理軟件是一回事，但人工智能和機器學習可以說對最初的圖像采集方式產生了更大的影響。是的，鏡頭、變得更快，傳感器變得更大，但實際上已經達到了物理的局限性，比如將光學系統塞進超薄的移動設備。

盡管如此，在某些情況下，手機拍出的照片比很多專用相機設備拍出的照片要好，這在當今并不少見，至少在后期處理之前是這樣。這是因為傳統相機無法在另一類硬件上與之競爭，這類硬件對攝影來說同樣意義深遠：包含CPU、圖像信號處理器、以及越來越多的神經處理單元(NPU)的芯片系統。

這就是所謂的“計算攝影”所利用的硬件，“計算攝影”是一個寬泛的術語，涵蓋了從手機人像模式的假景深效果，到幫助驅動Google Pixel’s圖像質量的算法等方方面面。并非所有的計算攝影都涉及人工智能，但人工智能無疑是其中的一個重要組成部分。

圖片來源：蘋果官網

蘋果利用這項技術來驅動其雙攝像頭手機的人像模式。iPhone的圖像信號處理器使用機器學習技術，用一臺相機識別人，而第二臺相機創建深度地圖，以幫助隔離主題和模糊背景。這種通過機器學習來識別人的功能在2016年推出時并不新鮮，因為照片組織軟件已經在這么做了，但以智能手機攝像頭所需的速度進行實時管理它是一個突破。

谷歌仍然是這一領域的明顯領導者，然而，三代Pixel所產生的卓越結果是最令人信服的證據。HDR+是默認的拍攝模式，它使用了一種復雜的算法，可以將幾個曝光不足的幀合并到一個幀中。

正如谷歌的計算攝影負責人Marc Levoy在《The Verge》雜志上指出的那樣，機器學習意味著系統只會隨著時間的推移而變得更好。谷歌已經在一個巨大的標簽照片數據集上訓練了它的人工智能，就像Google Photos軟件一樣，這進一步幫助相機曝光。

華為：4800萬像素分辨率最高

不過，硬件仍有發揮作用的空間，尤其是在有人工智能支持的情況下。華為榮耀的新款View 20手機，以及華為Nova 4，是首款使用索尼IMX586圖像傳感器的手機。它的傳感器比大多數競爭對手都要大，擁有4800萬像素，是迄今為止所有手機中分辨率最高的。

但這仍然意味著在一個很小的空間中塞入大量的像素，往往會對圖像質量造成問題。然而在20次的測試中，榮耀的“AI Ultra Clarity”模式在充分利用分辨率方面表現出色，它消除了傳感器不同尋常的顏色濾鏡，以解鎖額外的細節。這就使得這款手機拍攝的照片，可清晰到大聚會合照的每一張人臉，并且接近專業相機的照片解析力。

榮耀總裁趙明在微博曬榮耀V20高清攝影

榮耀V20拍照細節放大

一段時間以來，圖像信號處理器一直是手機相機性能的重要組成部分，但隨著計算攝影技術的進步，NPU似乎將扮演更重要的角色。華為是第一家宣布采用專用人工智能硬件系統芯片的公司，即麒麟970，這是業界首顆帶有獨立NPU專用硬件處理單元的手機芯片。

盡管蘋果的A11仿生芯片最終首先到達了消費者手中。高通是全球最大的安卓處理器供應商，該公司尚未將機器學習作為主要關注點，但谷歌已經開發了自己的芯片Pixel Visual Core，以幫助完成與人工智能相關的成像任務。

與此同時，最新款的蘋果A12仿生擁有一個8核神經引擎，可以在蘋果的機器學習框架Core ML中運行任務，速度是A11的9倍，而且它首次直接與圖像處理器相連。蘋果公司表示，這讓相機更好地理解焦平面，有助于產生更真實的景深。

攝像頭是基礎，人工智能是改進的最佳手段

這種硬件對于設備上高效、高性能的機器學習將變得越來越重要，因為機器學習對處理器的要求非常高。而支持Google Photos的算法是在擁有強大的GPU和強大的計算機上進行訓練的，之后才在照片庫中得到釋放?？梢赃@么說，大部分工作可以“提前”完成，但在移動設備上實時進行機器學習計算的能力仍處于領先地位。

谷歌已經展示了一些令人印象深刻的工作，可以減少處理負擔，而神經引擎正變得越來越快。但即使是在“計算攝影”的早期階段，圍繞機器學習設計的手機相機也有真正的好處。事實上，在過去幾年人工智能熱潮所帶來的所有可能性和應用中，如今最實用的領域無疑是攝影，攝像頭是任何手機的基本功能，而人工智能是改進攝影的最佳手段。