X-Trans 相機和市場上其他相機有什么區別,機器學習是如何顛覆的 raw 如何處理文件? DxO首席科學家 Wolf Hauser 探討了 X-Trans 優缺點,以及 DxO 顯著提高圖像質量的處理方法。
芯片采購網專注于整合國內外授權IC代理商現貨資源,芯片庫存實時查詢,行業價格合理,采購方便IC芯片,國內專業芯片采購平臺。
***
富士一直不怕另辟新路,他們在 2012 年推出了 X-Trans 傳感器。 拜耳傳感器在整個相機行業幾乎都在使用,這是一個大膽的舉措。在過去的十年里,關于 X-Trans 激烈的討論層出不窮。它能給攝影師帶來實際的好處,還是只是精心設計的營銷技巧? 就像下一步要討論一樣,X-Trans 用來解釋傳感器的優缺點 raw 數據算法對獲得理想結果至關重要。 長期以來,富士相機的粉絲們一直在尋找最好的軟件來處理他們的圖像,DxO PhotoLab 5 和 DxO PureRAW 2 現支持對 X-Trans raw 文件的處理使富士相機拍攝的清晰圖像呈現出優秀的細節。
拜耳還是X-Trans,百事可樂還是可口可樂?
你可能已經注意到,討論相機技術的小細節會激起千層浪,從 X-Trans 自推出以來,關于留言板和社交媒體的信息 X-Trans 爭論優缺點如火如荼。 然而,濾色器陣列只是定義相機的眾多功能之一,很少有客戶在購買相機時把它放在首位。 使用富士相機的攝影師喜歡相機獨特的外觀和紋理,享受人體工程學設計和易用性,更不用說相機直接的驚人效果了。 富士的工程師是色彩專家 70 憑借多年的彩色攝影經驗,品牌愛好者深愛富士依托公司悠久的膠片生產歷史創造的膠片模擬效果。
Astia 和 Velvia 等名也給他們的相機一種逼真感。
拜耳與 X-Trans 的爭論與 ARM 處理器與英特爾設計的處理器之間的對決非常相似。 蘋果的營銷部門聲稱他們 iPad 更好,因為它配備了他們的全新 ARM 芯片,微軟說服公眾 Surface 更好,因為它使用了最新的英特爾芯片。 兩個品牌的愛好者會花無數個晚上在論壇上激烈爭論,討論 ARM 與英特爾、RISC 與 CISC 但實際上,哪個更好,哪個更壞—— 99% 用戶不在乎。 他們選擇平板電腦的標準是更喜歡其中一臺的外觀和質感,用戶體驗和品牌認可。
除了系統內部的一些技術差異外,對于大多數用戶來說,富士、佳能、尼康和索尼的選擇可能與百事可樂或可口可樂沒有太大區別。
復雜性的后果
無論選擇相機的標準是什么,盡可能發揮其傳感器的最佳性能仍然很重要。此外,還需要將圖像放大到 100% 或者更大的時候會發生什么。
我們需要記住,最終的圖像不僅僅是傳感器本身的結果。相機和軟件都會經歷各種各樣的過程,尤其是去馬賽克,即填補紅、綠、藍通道之間空白的算法。 在決定最終結果之前,這些算法與濾色器陣列相結合。
拜耳濾色器之所以一直占據一席之地,是因為工程師習慣于處理其數據。 研究人員花了四年時間為拜耳傳感器找到了去馬賽克的最佳方案,多年來開發的高度復雜的算法放寬了許多設計的基本限制。 即使是相當簡單的算法,比如嵌入第一代數碼相機的算法,也能產生很好的效果。
另一方面,X-Trans 模式的復雜性也帶來了更復雜的去馬賽克過程。 據說富士的工程師花了五年時間才趕上其他競爭產品,因為它的相機處理能力 2012 年在 X-Pro1 中引入 X-Trans。 與此同時,與拜耳相比,研究界發表了關于 X-Trans 去馬賽克的論文要少得多。它不僅是一個更復雜的問題,而且對解決這個問題的研究也更少。 平心而論,現在 X-Trans 實現理論上最佳解決方案的馬賽克算法還有一段距離。 這就是為什么富士的粉絲經常在不同的軟件包之間徘徊尋找解決方案,以獲得最佳結果的原因之一。
通過機器學習克服復雜性
今天,機器學習——特別是一種被稱為卷積神經網絡的技術——正在完全改變圖像處理。 這種新算法在短短幾年內使幾十年的研究工作相形見絀。它不再由研究人員和工程師手工計算,而是由數百萬個培訓示例中的經驗學習計算機獲得。 例如,在拜耳的去馬賽克技術中,神經網絡現在可以輕松擊敗人類設計的最佳算法。
對于一生致力于馬賽克算法的研究人員來說,這種變化是令人沮喪的,但它實際上是一個巨大的機會。 這不僅可以獲得更好的結果,還可以提高生產力:計算機可以在幾天或幾周內找到最先進的馬賽克算法,而不是幾年或幾十年。 當有準確的輸入和預期的輸入時MTK代理然而,當兩者之間的映射過于復雜,無法用經典算法表達時,機器學習的優勢尤為突出。 圖像和語音識別是最早的例子。機器學習確實是一個非常強大的工具,在經典算法的有效領域(如去馬賽克)仍然被證明是有用的。
X-Trans 去馬賽克是機器學習的絕佳對象。 由于去馬賽克的過程比拜耳更復雜,其機器學習應該比傳統工程更有優勢。 我們在 Adobe 的同行在 2020 當機器學習驅動的增強細節功能在年初推出時,就清楚地證明了這一點。 評估師得出結論,拜耳的圖像只顯示出微妙的差異,但 X-Trans 圖像顯著改善。
在 DxO,我們使用 DxO PhotoLab 機器學習解決了另一個高度復雜的任務:我們的 RAW 轉換技術——DxO DeepPRIME。它使用單個巨大的卷積神經網絡同時使用去馬賽克和降噪。 經過 10 我們的計算機開發了一種高度復雜的算法,其性能優于我們的低 ISO 傳統的去馬賽克技術和我們的高水平 ISO 傳統的去馬賽克和降噪技術。
DxO PhotoLab5和DxO PureRAW2為X-Trans提供DxO DeepPRIME
拜耳傳感器圖像工作完成后,進行更改以適應 X-Trans 的 raw 文件不再是一項艱巨的任務,因為生成訓練數據的過程只需要少量的修改。 克服仍有許多困難,因為我們必須從根本上改變網絡形狀,以適應復雜性 X-Trans 但它是可行的,前景光明, 最終的結果也令人興奮。 讓我們舉個例子。
這張低光室的動態照片使用富士 X-T3 在 ISO 6400 下拍攝的。 原始照片曝光不足,在后期處理過程中將其推高了兩檔 — 相當于 ISO 25600(上圖)。 JPEG 圖像無法進行如此大的曝光調整,所以它不是與相機相比,而是與著名的相機相比 raw 具有增強細節功能的轉換器- Adobe Lightroom(左下角)比較。 當我們放大人臉觀察時,我們可以看到它 DxO DeepPRIME(右下,使用 DxO PhotoLab)圖像明顯更清晰。 因為 DeepPRIME 使用神經網絡同時運行去馬賽克和降噪,降噪性能更好,亮度和顏色保留更多細節。
不僅僅是機器學習
顯然,像 DxO PhotoLab 和 DxO PureRAW 2 完全支持如此復雜的軟件 X-Trans,不僅僅是 DxO DeepPRIME。 還必須調整許多用于校準每個相機機身顏色和噪聲模型的內部工具。 還必須從頭開始設計其他幾個處理塊,比如用戶在調整時用來顯示預覽的去馬賽克算法。
讓你的照片也受益于技術的進步
經過一段時間的緊張研發,DxO PhotoLab 5 和 DxO PureRAW 2 現在準備就緒,可以為你準備 RAW 文件帶來了顯著的改進。 我們相信攝影師會愛上我們 DxO DeepPRIME 技術可以成功再現之前缺失的色彩細節,為老照片帶來新的活力,提升高度 ISO 圖像質量。 下載免費試用版,了解 DxO DeepPRIME 如何提高照片質量?
- Rohinni取得LED 中國貼裝技術的專利權
- 半導體擴大5V運輸產品系列,優化電源和信號調節性能
- 博世中國與文遠知行達成戰略合作
- 韓博半導體發布云推理云AI芯片 今年第四季度量產
- 高性能、更合規 智能傳感器平臺PerSe?以領先技術賦能消費類智能設備產業發展
- 安森美在線研討會將討論圖騰柱PFC拓撲如何賦能更高效的電源設計?
- 集邦:明年DRAM需求位成長8.3%創新低 NAND降價帶動了搭載容量的增長
- 曝iPhone 14將繼續使用Lightning接口引熱討論:你還會買嗎?
- 安森美全球汽車芯片配送中心從上海遷至新加坡,專家表示無需恐慌
- 環球儀器FuzionXC貼片機令SEL提高產能和效率
- 鼎陽科技2022Q國內收入同比增長85.29% 中高端產品增長明顯
- 一文了解iPad Pro 11英寸和上一代的區別:芯片換成M2 重量厚度沒有變化