讓iPhone拍照能力大升級(jí)的計(jì)算攝影 相機(jī)為什么不用？

       在 iPhone 11 系列的發(fā)布會(huì)上，蘋(píng)果高級(jí)副總裁菲利普・席勒（Philip W。 Schiller）在介紹 iPhone 11 Pro 系列的影像系統(tǒng)時(shí)，第一次將計(jì)算攝影的概念引入，這個(gè)概念也第一次被大眾所熟知。

　　    其實(shí)，計(jì)算攝影這個(gè)概念并不新鮮，最早出現(xiàn)在 94 年就的一篇公開(kāi)論文中，且認(rèn)定機(jī)內(nèi)合成 HDR、全景照片以及模擬散景都屬于計(jì)算攝影范疇。但當(dāng)時(shí)照片的主流載體還是膠片，數(shù)碼相機(jī)才剛剛起步，手機(jī)上還沒(méi)有攝像頭。

       ▲ iPhone 11 Pro 發(fā)布會(huì)上介紹計(jì)算攝影的菲利普・席勒（Philip W。 Schiller）。 圖片來(lái)自：Apple

　　    幾十年后，影像記錄的載體從膠片換成數(shù)字，手機(jī)擁有了攝像頭，計(jì)算攝影也從理論中走出，漸漸成為一大潮流。

　　    不過(guò)這這潮流跟相機(jī)關(guān)系不大，相機(jī)廠商依然按部就班的提高像素、連拍速度和視頻能力，似乎對(duì)計(jì)算攝影兩耳不聞，拍出來(lái)的照片（直出）依舊很平庸，漸漸被智能手機(jī)‘超越’。

　　    與之相反的是， 智能手機(jī)芯片的算力越來(lái)越強(qiáng)，AI、算法、機(jī)器學(xué)習(xí)介入的范圍也更廣，圖像的演繹方法越來(lái)越多，最終經(jīng)過(guò)一系列‘算法’處理過(guò)的照片也愈發(fā)好看。

　　    現(xiàn)在，很多人出門(mén)更愿意用手機(jī)記錄、分享，而相機(jī)越來(lái)越少見(jiàn)，這也反應(yīng)在二者的市場(chǎng)表現(xiàn)上，智能手機(jī)市場(chǎng)增速?gòu)?qiáng)勁，相機(jī)市場(chǎng)則連年萎縮，甚至 DC（卡片相機(jī)）都漸漸消失。

　　    這時(shí)，就有人會(huì)問(wèn)了，既然智能手機(jī)隨手一拍所得照片的觀感這么好，為何傳統(tǒng)的相機(jī)廠商不去跟隨計(jì)算攝影的潮流，考慮提高照片直出的觀感呢？

　　    是相機(jī)算力不夠，算不過(guò)來(lái)？

　　    這個(gè)問(wèn)題我們先從‘核心’談起。

　　    手機(jī)的核心是 SoC，它集成了 CPU、GPU、ISP、NPU 以及基帶等，可以讓你打電話(huà)、拍照、看視頻、玩游戲、上網(wǎng)等操作，也直接決定了手機(jī)的性能。

　　    而相機(jī)的核心部件是圖像傳感器（CMOS），除了元件面積外，跟手機(jī)差不多，作成像與感光。另外，控制整套相機(jī)系統(tǒng)的中央處理芯片叫做圖像處理器（Image Processor）。

　　    以索尼的 BIONZ X 圖像處理器為例（α7 系列御用），它包括 SoC 和 ISP 芯片，并沒(méi)有將 ISP 集成在 SoC 內(nèi)，優(yōu)點(diǎn)是索尼可以自行根據(jù) CMOS 的性能需求，而自行增加 ISP 芯片的數(shù)量（α7RIII 的 BIONZ X 就配備了雙 ISP），缺點(diǎn)就是集成化程度沒(méi)有手機(jī)那么高。

　    　BIONZ X 中 SoC 的作用跟手機(jī)的類(lèi)似，控制操控界面與相機(jī)功能，性能要求并不高。對(duì)圖像傳感器采集的‘?dāng)?shù)據(jù)’進(jìn)行拜爾轉(zhuǎn)型、解馬賽克、降噪、銳化等操作，多是依靠 ISP，最終把 CMOS 采集的數(shù)據(jù)轉(zhuǎn)換成相機(jī)的實(shí)時(shí)取景。在這個(gè)過(guò)程中，相機(jī)的 ISP 不涉及計(jì)算過(guò)程，只是把照片當(dāng)做流水線(xiàn)上的產(chǎn)品，進(jìn)行統(tǒng)一的處理。

        ▲ 索尼 BIONZ X 圖像處理器。 圖片來(lái)自：SONY

　　    隨著現(xiàn)在相機(jī)的像素?cái)?shù)、連拍速度以及視頻性能不斷提升，相機(jī)的圖像處理器對(duì)圖片處理的速度和吞吐量需求很高，單一的數(shù)據(jù)量很龐大，在不涉及‘計(jì)算’的前提下，相機(jī)圖像處理器的處理能力遠(yuǎn)超過(guò)現(xiàn)在智能手機(jī) ISP 的處理能力。

　　    但說(shuō)到計(jì)算攝影，或者說(shuō) AI 能力，就有些不太一樣了。智能手機(jī)的成像過(guò)程有些類(lèi)似相機(jī)，不過(guò)在呈現(xiàn)最終畫(huà)面之前，還需要 ISP、DSP 的計(jì)算，實(shí)時(shí)調(diào)整、優(yōu)化，尤其是在多攝系統(tǒng)成為主流后，手機(jī)的計(jì)算數(shù)據(jù)量成倍增長(zhǎng)。

　　    在 iPhone 11 Pro 系列推出多攝系統(tǒng)后，多攝系統(tǒng)能夠平滑、無(wú)縫切換的背后是 A13 Bionic 中新增的兩個(gè)機(jī)器學(xué)習(xí)加速器龐大的數(shù)據(jù)處理能力，達(dá)到了每秒一萬(wàn)億次，如此高頻高效的數(shù)據(jù)處理能力才算是吃下了三個(gè)攝像頭所產(chǎn)生的龐大數(shù)據(jù)量。

　　    相機(jī)的圖像處理器多是對(duì)原始數(shù)據(jù)進(jìn)行預(yù)處理，幾乎沒(méi)有計(jì)算的過(guò)程，而手機(jī) SoC 則包括數(shù)據(jù)采集預(yù)處理以及后續(xù)的計(jì)算過(guò)程，二者著重的方向不同。

　　    面向群體不同，市場(chǎng)細(xì)分的結(jié)果

　　    手機(jī)計(jì)算攝影發(fā)展很快，根源還是因手機(jī)的圖像傳感器（CMOS）尺寸太小，以現(xiàn)在的技術(shù)，想要在物理上超過(guò)或者接近相機(jī)只能通過(guò)算法優(yōu)化，拼直出觀感，比如說(shuō)，自動(dòng) HDR、超級(jí)夜景、模擬大光圈、魔法換天等功能。

　　    但這些算法的演繹，做到可以‘個(gè)性化’干預(yù)還是很難，比如說(shuō)濾鏡加到什么程度，HDR 高光暗部保留到什么程度等。不過(guò)，對(duì)于面向大眾人群的手機(jī)而言，盡可能讓大多數(shù)人拍出不錯(cuò)的照片，更加符合手機(jī)的市場(chǎng)定位和人群定位。

　　    自相機(jī)發(fā)明以來(lái)，相機(jī)就有著絕對(duì)的‘工具’屬性，為了高效，外觀、操控、功能等等均會(huì)向效率妥協(xié)。面向更小眾的職業(yè)人群，自然也會(huì)更符合他們的需求，相機(jī)們會(huì)盡可能的記錄色深、色彩、光線(xiàn)等信息，以便使用者進(jìn)行更大范圍的后期調(diào)整，直出好不好看，并不在他們的需求里。

　　    不過(guò)，事情并非那么絕對(duì)，相機(jī)們也在嘗試改變。富士就一直致力于相機(jī)的直出效果，引入了‘膠片模擬’，透過(guò)不同的算法，讓拍出的照片更有味道，觀感也更為好看。但這過(guò)程并沒(méi)有經(jīng)過(guò)場(chǎng)景計(jì)算，而是需使用者自行選擇，這與手機(jī)的一些膠片模擬 App 有些類(lèi)似，涉及不到所謂的‘計(jì)算攝影’。

　　    AI 后期，才是相機(jī)的大方向？

　　    攝影領(lǐng)域中，后期處理是必不可少的步驟，一方面，后期軟件可以充分利用 RAW 格式中所記錄的豐富信息，另一方面也可借助 PC 的高性能和算力來(lái)對(duì)照片快速處理。

　　    與相機(jī)廠商不同，幾乎主流的專(zhuān)業(yè)后期軟件都已開(kāi)始在 AI 上發(fā)力，強(qiáng)調(diào) AI 的處理能力。

本站部分內(nèi)容、觀點(diǎn)、圖片、文字、視頻來(lái)自網(wǎng)絡(luò)，僅供大家學(xué)習(xí)和交流，真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾。如果本站有涉及侵犯您的版權(quán)、著作權(quán)、肖像權(quán)的內(nèi)容，請(qǐng)聯(lián)系我們(0536-8337192),我們會(huì)立即審核并處理。

我要評(píng)論

當(dāng)前已有loading...個(gè)參與

驗(yàn)證碼：

• 
  婚紗
• 
  婚紗
• 
  婚紗.寫(xiě)真中國(guó)風(fēng)
• 
  妝造

• 接親婚車(chē)安排攻略（婚車(chē)數(shù)量+婚車(chē)講究+婚車(chē)
• 為什么臘月不能訂婚 原因找到了
• 結(jié)婚新娘必買(mǎi)哪些東西？這份清單含價(jià)格
• 旅行結(jié)婚法國(guó)伴手禮有哪些？
• 訂婚宴盡量少去兩家人家
• 最肉麻的結(jié)婚對(duì)聯(lián)精選
• 訂婚和結(jié)婚一般相隔多久合適
• 2025正月結(jié)婚最佳黃道吉日一覽表