便攜式設計中圖像采集與處理的挑戰與解決方案

　　這個共分四部分的系列文章深入研究了在手機和其他手持設備平臺上的圖像采集與處理的趨勢以及設計上的挑戰。本部分主要討論的是使用軟件增強光學性能。

　　晶圓規模的制造技術的發明使得以非常低廉的成本生產及其緊湊的相機模塊成為可能。處于物理上的原因，很小的相機模塊其性能要劣于大一些的相機模塊，但小相機模塊產生的缺陷可以通過新式的采用晶圓規模制造的鏡頭結構來糾正。然而，這只能用來保持現狀，無法提升圖像質量也無法增強用戶的體驗。

　　當前，高分辨率拍照手機的設計師們已經可以僅突出像素數量來向消費者推銷其產品。隨著拍照手機的廣泛應用（已經超過80%的手機安置了至少一個攝像頭），消費者們已經意識到圖像的質量和其像素數不存在必然的聯系。事實上，從火星車上傳回的令人驚嘆的圖片是通過僅為1M像素的相機拍攝的。同樣，專業級相機的設計師們已經很早就知道，為了獲取一個更高質量的數碼圖片，就需要光學和軟件的密切配合。

　　如在本文的第一部分討論的那樣，客戶的需求提高了新式拍照手機的圖像質量以及一系列嵌入式功能。其中最讓人期待的是光學變焦、調焦以及低光學靈敏度，例如沒有閃光的拍照。所有這些功能都是實現起來相對簡單的，前提是允許增加高度和成本，尤其是變焦的范圍。傳統的變焦需要兩個鏡頭來在相機內的光軸上做相對運動。這可以通過微型驅動器來完成，但最終的產品會體積大、功耗大、反應速度慢，并且不符合便攜式電子設備的惡劣環境下的完整無損，尤其是“跌落試驗”。因此，相機模型的設計師們如何能提供所有的消費者所需的功能，提高圖片質量，同時不影響產品的外觀、可靠性以及最重要的成本？答案就是軟件增強光學。

　　軟件增強光學

　　軟件增強光學，或稱之為“智能光學”，是一種對已知光學效應進行圖像處理的糾正技術。光學效應可以是必須予以糾正的內在缺陷，或有意引入一種能提供某功能或特定效果的人為修正。如果目標僅僅是提高圖像的質量，那么可以不用投資購買高質量、高精度的光學設備，可以通過軟件就可以糾正由低廉光學鏡頭倉引來的已知畸變。例如，如果尺寸以及成本受限，就意味著圖片的角落總是存在相同程度的模糊不清，軟件增強光學可以應用邊緣銳化算法來修正這些角落區域。然后，用戶就會對這樣的圖片感到滿意，因為這些相機模塊內部固有的缺陷可以修正或被掩蓋，而呈現出的圖片在所有部門都很好。為了進一步高效，這種修正可以完全做到對用戶透明，即無需用戶干涉。

　　有了這種軟件增強光學的概念，新的機會處處逢生。這些基本的方法是使用專業鏡頭，在光線進入相機時對這些光線進行操作，按照所需的功能來將這些光線在分布在成像器上。受操作的圖片沒有直接使用，它需要軟件進一步修正。然而，因為圖像按照已知的方式被操作，在數字上是可以被恢復的，從而高質量的輸出被提出出來。通過這種辦法便可實現很多功能，包括無運動部件的全光學變焦、延長景深以及低能見度環境下的小F值光學性能。

　　用于光學變焦的軟件增強光學解決方案利用了這種現象，即在常規光學鏡頭倉中，信息的密度在視野范圍內是不一致的。中心區域包含了更多的數據，而邊緣相反。然而一個圖像傳感器有一個規則的、二維的像素陣列。這意味著取景時，成像器的中心是正常采樣，而邊緣是過采樣。軟件增強光學解決方案利用了特定設計的像素鏡頭，從而提供了視野內非均勻分布的光學感應性能，從而與固態成像器的量化格式相吻合。在效果上，這與自然界所采取的傳統方法相反。很多帶有單孔徑眼睛的動物，尤其是鳥類，有一個標準的“鏡頭”，但在視網膜上的導管和圓錐細胞是非均勻分布的。在這兩種情況中，都會導致圖像失真，但都可以得到糾正，因為鏡頭的設計以及成像器（或者視網膜）的像素分布都是已知的。

　　為了能以一樣的放大倍數查看，算法必須壓縮視野中央區域的細節，因為在這個區域中專業鏡頭增加了放大倍數和分辨率。因此，壓縮不會降低圖像的質量，而實際上，軟件增強鏡頭解決方案在這樣的設計中，可以使得圖像質量與傳統的相機產生的一樣。當圖像進行縮放時，圖像的邊框會出現，而已經放大的中央區域會被保留。隨后，圖像會被糾正失真。這是與數字變焦最大的不同，因為變焦是鏡頭運動的結果，并在圖像采集時已經固定下來，因此變焦后的圖像保留了其原始的較高的分辨率。軟件增強光學可以實現3倍的變焦。

　　圖是一個使用軟件增強光學來提供變焦功能的例子。在這個方案中，沒有可運動的部件，即是物理上的緊湊型、堅固耐用、瞬間可視、耗電量很小的、進而成本很低。這明顯好于數字變焦。數字變焦涉及到了圖像的修剪和擴展來填補視野，這自然會降低分辨率，因為可用的信息將分散在更大的區域上。在一個3倍的數字變焦中，幾乎90%的質量信息會在圖像采集時丟失，這也是為什么數字變焦只提供了很小倍數的放大功能。用于變焦的圖像增強解決方案可以通過固定鏡頭和一個簡單的算法來實現。這使得這種方案對所有成像器技術以及所有分辨率（從QCIF到》10M像素）都適應，所以預計將在短期內廣泛應用于拍照手機中。

　　圖。 使用OptiMLTM變焦軟件增強光學解決方案實現的光學變焦（僅顯示視野的中央區域）（左圖）進行失真糾正前的圖像（中圖）經過1倍光學變焦放大的失真糾正后的圖像（右圖）經過2倍光學變焦放大的失真糾正后的圖像。來源：Tessera公司

　　通過拍照手機得到的圖片往往是出于“一時興起”的事情。消費者不希望場景是安排好的，并且將沒有時間或感到麻煩來將相機和他們本人置于距目標最合適的地方。借助于這些小型光學器件，一個傳統的相機模塊只需在一定的距離內聚焦目標，典型的是60厘米到數十米。由于未能了解和遵守這個限制，消費者往往對他們自己成像后的圖片無法感到滿意。針對這個問題的圖像增強解決方案是“擴展景深”。這導致了場景的所有細節將會被定焦，只要這些細節在距相機模塊10厘米到無窮遠的范圍內。類似于軟件增強鏡頭變焦方案，這可以通過專業鏡頭提供的光學放大和一個簡單算法的合并得到。它不涉及任何運動部件，因此是堅固的、可靠的、瞬時的并低功耗的。

　　在傳統的相機模塊中，光學鏡頭倉被設計用來聚焦光源點，因此放置在相機內離成像器一定的距離的位置上。如果鏡頭無法聚焦或者目標離鏡頭太近，涂點會出現在彌漫的區域，因此圖像會變得模糊。這種鏡頭將光源變換成模糊光斑的規律可以描述成一種數學上的變化，稱之為點擴散功能。如果鏡頭的點擴散功能已知，模糊可以通過使用數字信號處理來恢復到原始的現場情景。但當圖片中的僅某個區域失焦，則不管采用什么變換方法，都無法可靠的識別出來。軟件增強光學解決了這個問題，方法是通過可控的方法來重新定焦整個圖像。鏡頭有效的創建了一個不管離光源多遠模糊程度都一樣的圖像，這可以通過一個直接的算法來進行解交織。其結果使得圖像更加良好、清晰，不管前景、中距或者遠景都能同時在焦點上。圖8給出一個很好的例子。

　　圖。一種傳統的鏡頭只能聚焦有限范圍內的目標，尤其是中距和遠距離的目標;一種軟件增強光學解決方案，如OptiML聚焦，可以實現擴展景深，從10厘米到無窮遠，而無需增相機模塊的高度或者復雜度。來源：Tessera公司

　　關于拍照手機的主要抱怨之一是其低能見度時的性能。其實這只是一個半真理命題。小型相機模塊因為其像素尺寸的縮小，無疑導致了相對于數字靜止相機光學靈敏度的降低。從2007年像素尺寸為2.2μm到2008年的1.75μm，預計2009年會發展到1.4μm，最終會達到1.1μm，這一趨勢會對低能見度性能和圖像質量有著顯著的影響。簡而言之，隨著像素尺寸的降低，其敏感度也在減小。從更為技術的角度來看，光二極管吸收光子和釋放電子的能力隨著像素的下降而減弱。小像素尺寸帶來的其他相應影響，包括第動態范圍和下降的信噪比?，F實中，拍照手機較差低能見度性能的感知更主要的是由越來越多在低能見度環境下拍照而帶來的;典型的，在晚上以及在如俱樂部和飯店等場所，在這些地方的光照強度大約在5 lux，而遠遠小于白天室外的》350 lux。由于亮度下降，從數字成像器得到的圖片質量自然迅速惡化，如同增加噪聲一樣出現缺陷，細節丟失或者色彩錯誤。

　　拍照手機低能見度性能不足的一個重要原因是，無法改變光學鏡頭倉的F值，因為這在制造時就一定固定了。大多數數字靜態相機提供了一個增大光圈的選項，來補償昏暗場景下光子數目的減少。但機械可調光圈會使得機身變得很大、不堅固、反應速度慢并功耗較高。簡單的降低固定光圈相機的F值來提高低光敏感度，不是一個很好的選擇，因為較大的光圈會減小景深，從而當場景有景深時很難獲取一個很好的圖像質量。典型的，標準拍照手機使用的光圈在F/2.8到F/2.4之間，主要是為了保留足夠的深度，來對正常亮度條件下的對焦。一個簡單的成像光圈固定，在低光條件下，不能延長曝光時間。然而，這會使得圖片易受到運動模糊或機身晃動的影響，并且不可能用于視頻采集，因為視頻采集需要曝光時間受幀率限制在67毫秒以內。

　　“速度”是描述光學系統將光線傳遞到成像器的能力的一種簡單方法。在光線好的環境下對“慢鏡頭”進行操作。這是因為，光學允許使用小光圈以及慢快門來獲取很好的景深。而在差光線下或在好光線但需要快門速度很快（如下面提到的體育運動）的條件下拍照，需要一個“快鏡頭”。因此，這個挑戰是在光照條件、景深、快門速度間提供一個很好的聯系，并開發一種快速鏡頭來適用于低光場景。

　　軟件增強光學為拍照手機提供了一種全自動解決方法，從而可以使消費者可以在更廣泛的光照條件下拍攝清晰的圖片。這種方法的基本思想是設計帶有低F值光學器件的相機模塊，典型是F/1.75，并通過一種上述的擴展景深解決方案來將景深恢復成正常情況。低F值光學器件使超高速鏡頭解決方案適用于靜態攝影以及視頻采集。信號處理可以補償對比度的損失并隨后降低最終圖像中的噪聲，而保留了原始圖像的邊緣、細節以及質地等。這是可能的，因為寫入線性緩存器中供算法使用的信息提供了基于像素平均的數據，并提高了圖像的信噪比約6個dB。該種方案的有效性可以通過對比圖9中由1.75μm成像器得到的兩張圖來描述。

　　實現

　　軟件增強光學綜合了專業鏡頭和自定義的算法，從而提供了有著卓越質量的圖片，并對用戶完全透明。然而，相機模塊的設計師們需要事先考慮如何將這些增強技術納入到手持機中，而不是一個插件的形式。原則上，所有需求只是一個客戶制定的光學鏡頭倉中的鏡頭，這可以通過現有的架構和鏡頭材料來制造而成。自定義的鏡頭可以甚至可以取代現有的鏡頭。和這個鏡頭一起的，還有圖像處理算法。用于這些方案中的算法可以非常小，通常是10萬級邏輯門。這對于嵌入到CMOS成像器而言非常小，但這需要與成像器制作商協調，然后模具必須安置正確的光學器件。

　　另一種放置算法的方法是軟件或固件的形式，可以運行在圖像處理器或者手機處理器上。同樣，兩種方案在技術角度上都很簡單，但需要與傳統的相機模塊供應商進行很好的溝通。不過，這些方案的益處是如此引人注目，帶有擴展景深的3百萬像素拍照手機已在量產并將在2009年配置到高分辨率相機-連同變焦和超快速鏡頭解決方案。

　　雖然這些可以提升高度微型化和低成本相機模塊的原始性能的軟件增強光學工作，是獨立于變焦解決方案，他們都沒有提供可以提升用戶拍攝體驗時的滿意度的功能。這個問題并不涉及相機模塊設計師們，而是原始設備制造商的任務。一個數碼相機最常見的問題是紅眼現象，這解釋了為什么當前80%以上的數碼靜態相機都實現了減弱紅眼現象的功能。這些功能是否會在拍照手機上提供，以及它們是如何被集成的，我們將在本系列文章的第四部分討論。