詳解真4K內窺ISP硬件架構的實現方式

易靈思官宣發布了萬眾矚目的Tj375.

TJ375 FPGA采用優化的”XLR”基礎單元，基于16nm標準工藝，充分實現“高性能+低功耗+高密度“的優勢特點，助力終端應用降低散熱成本，節省PCB空間，使得高端設備節能化、小型化變成可能。

簡單總結一下，Tj375主要有如下特性：

支持性能可達1GHz的4核32位RISC-V處理器，，全速僅500mW

支持2x 32bit LPDDR4硬核，帶寬高達240Gbps

提供16路16G Serdes，支持x1/x2/x4的配置模式

支持PCIE Gen4x4，向下兼容Gen3/Gen2/Gen1

支持硬核MIPI 2.5G DPHY，

支持1.5G LVDS接口以及軟1.5G MIPI DPHY

提供19x19至35x35mm的多種封裝形

那么Tj375用來做4K ISP行不行，在面積和功耗上有一定的優勢，我們權且畫一個4K硬件實現方案的框圖，如下所示：

（1）4K60傳感器：

我們采用思特微4K60相機SC850SL，靶面=1/1.8，特性參數如下：

（2）MIPI轉SDI:

采用Xilinx XC7A35T，自帶6.6G收發器，用來傳輸4K60 12bit的圖像，帶寬≈3840*2160*12*60/0.9/10^9=6.6Gbps，剛好滿足GTX特性，完美。

（3）4K60 ISP處理 FPGA

采用易靈思16nm 合封裝LPDDR4的Tj375作為我們的主控，375K的lut用來做4K60的流水線ISP綽綽有余，用戶可以擴展更多的算法及應用，簡直無敵，并且還低功耗！

（4）RK3588協處理器

FPGA沒法做H.265以及一些復雜的應用，那么交給強大的RK3588來吧，無所不能，處理4K60視頻不在話下。

那么，最后，問題來了：FPGA處理完的4K60 RGB888怎么傳給RK呢？這就很尷尬了。

4K60 RGB888的帶寬=3840*2160*24*60=13.3Gbps

采用MIPI 2.5G，只能達到10Gbps帶寬

采用PCIE3.0x4，只能達到4Gbps的帶寬

采用PCIE4.0x4，有8Gbps帶寬，不夠且RK也沒有gen4

如果把RGB888轉RAW傳輸，可以用MIPI，但是質量會下降多少呢？？同時RK能不能單獨在做Demosaic呢？？

審核編輯：黃飛