一. 簡介
RK3588從入門到精通
開發板:ArmSoM-W3
Kernel:5.10.160
OS:Debian11
本?主要介紹在Rockchip平臺下Camera相關代碼配置,MIPI-CSI調試的通路解析
名詞解釋:
CSI ( Camera Serial Interface ):主機處理器與攝像頭模塊之間的高速串行接口
DSI ( Display Serial Interface ):主機處理器與顯示模塊之間的高速串行接口
ISP ( Image Signal Processor ): 即圖像信號處理模塊, 主要作用是對前端圖像傳感器輸出的信號做后期處理,依賴于 ISP 才能在不同的光學條件下都能較好的還原現場細節。
VICAP( Video capture ):視頻捕獲單元
MIPI-DPHY :Rockchip芯片中符合MIPI-DPHY協議的控制器。
二. MIPI-CSI基礎概念
MIPI:移動產業處理器接口(Mobile Industry Processorinterface) 是MIPI聯盟發起的為移動應用處理器制定的開放標準。
CSI: MIPI-CSI-2協議是MIPI聯盟協議的子協議,專門針對攝像頭芯片的接口而設計。
由于其高速,低功耗的特點,MIPI-CSI2協議極大的支持了高清攝像頭領域的發展,CSI-2協議遵循的物理標準有兩個,分別為C-PHY和D-PHY。
D-PHY與C-PHY區別: 從實用角度來看,主要是數據線和時鐘線的區別,還有傳輸速率,C-PHY通過某些技術改良,使數據傳輸速度更快。
瑞芯微3588用的DPHY-v1.2 &&(D/C-PHY) DPHY-v2.0。
三. MIPI-CSI硬件配置
RK3588 camera 資源硬件擁有2路DCPHY,2路DPHY,一路DVP,6路CSI HOST,一個vicap控制器,2個isp控制器。 其中2路DPHY可以分解成4x2lane的模式工作。
硬件通路框圖如下:
armsom-camera-channelMIPI-CSI資源介紹 :
Type | Max bandwidth | NUM | Mode |
---|---|---|---|
DPHY-v1.2 | 2.5Gbps x 4 lanes | 2 | 4lane or 2lane+2lane |
(D/C-PHY) DPHY-v2.0 | DPHY-v2.0: 2.5Gbps x 2lanes | 2 | DPHY-v2.0: 2lane |
CSI-Host | For MIPI D-PHY v1.2/D-PHY v2.0/C-PHY v1.1 | 6 |
2lane最大帶寬是5G,分辨率可以達到8M30幀,4lane最大帶寬達到10G。
三. MIPI CSI用法
3.1 DPHY
rk3588支持兩個dcphy,節點名稱分別為csi2_dcphy0/csi2_dcphy1。每個dcphy硬件支持RX/TX 同時使用,對于camera輸入使用的是RX。支持DPHY/CPHY協議復用;需要注意的是同一個dcphy的TX/RX 只能同時使用DPHY或同時使用CPHY
rk3588支持2個dphy硬件,這里我們稱之為dphy0_hw/dphy1_hw,兩個dphy硬件都可以工作在full mode 和split mode兩種模式下
? Full Mode: ? 僅使用csi2_dphy0,csi2_dphy0與csi2_dphy1/csi2_dphy2互斥,不可同時使用;
? data lane最大4 lanes;
? 最大速率2.5Gbps/lane;
? Split Mode: ? 僅使用csi2_dphy1和csi2_dphy2, 與csi2_dphy0互斥,不可同時使用;
? csi2_dphy1和csi2_dphy2可同時使用;
? csi2_dphy1和csi2_dphy2各自的data lane最大是2 lanes;
? csi2_dphy1對應物理dphy的lane0/lane1;
? csi2_dphy2對應物理dphy的lane2/lane3;
? 最大速率2.5Gbps/lane;
3.2 多sensor支持
硬件支持最多采集7路sensor:6mipi + 1dvp,多sensor軟件通路如下:
armsom-camera-connect四. camera相關配置
4.1 Camera 軟件驅動目錄
Camera相關驅動文件如下:
|-- arch/arm/boot/dts DTS配置文件
|-- drivers/phy/rockchip
|-- phy-rockchip-mipi-rx.c mipi dphy驅動
|-- phy-rockchip-csi2-dphy-common.h
|-- phy-rockchip-csi2-dphy-hw.c
|-- phy-rockchip-csi2-dphy.c
|-- drivers/media
|-- platform/rockchip/cif RKCIF驅動
|-- platform/rockchip/isp RKISP驅動
|-- dev 包含 probe、異步注冊、clock、pipeline、 iommu及media/v4l2 framework
|-- capture 包含 mp/sp/rawwr的配置及 vb2,幀中斷處理
|-- dmarx 包含 rawrd的配置及 vb2,幀中斷處理
|-- isp_stats 3A相關統計
|-- isp_mipi_luma mipi數據亮度統計
|-- regs 寄存器相關的讀寫操作
|-- csi csi subdev和mipi配置
|-- bridge bridge subdev,isp和ispp交互橋梁
|-- platform/rockchip/ispp rkispp驅動
|-- dev 包含 probe、異步注冊、clock、pipeline、 iommu及media/v4l2 framework
|-- stream 包含 4路video輸出的配置及 vb2,幀中斷處理
|-- rkispp ispp subdev和entity注冊
|-- params TNR/NR/SHP/FEC/ORB參數設置
|-- stats ORB統計信息
|-- i2c
|-- imx415.c CIS(cmos image sensor)驅動
4.2 Sensor驅動開發移植
Sensor 驅動位于 drivers/media/i2c 目錄下,Sensor 驅動與 RKCIF 或者 RKISP1 驅動最大程度上獨立,二者異步注冊,在dts中由 remote-endpoint 聲明 連接關系。
Sensor 驅動的開發移植概括為 5 個部分
1.按照 datasheet 編寫上電時序,主要包括 vdd、reset、powerdown、clk 等
2.配置 sensor 的寄存器以輸出所需的分辨率、格式
3.編寫 struct v4l2_subdev_ops 所需要的回調函數,一般包括 set_fmt、get_fmt、s_stream、s_power
4.增加 v4l2 controller 用來設置如fps、exposure、gain、test pattern
5.編寫 probe()函數,并添加 Media Control 及 Sub Device 初始化代碼
Documentation/devicetree/bindings/media/i2c/下面有對驅動的Documentation可供參考,板級 dts 可以根據該文檔快速配置。
在板級 dts 中,引用 Sensor 驅動,一般需要:
1.配置正確的 clk及io mux
2.根據原理圖設置上電時序所需要的 regulator 及 gpio
3.增加 port 子節點,與 cif 或者 isp 建立連接
4.2.1 上電時序
不同 Sensor 對上電時序要求不同,可能很大部分的 Sensor 對時序要求不嚴格,只要 mclk、vdd、reset 和 powerdown 狀態是對的、就能正確進行 I2C 通訊并輸出圖片,而不用關心上電的先后順序及延時, Sensor 廠家提供的 DataSheet 中,一般會有上電時序圖,只需要按順序配置即可。
__imx415_power_on() //控制上電時序部分
__imx415_power_off() //控制下電時序部分
在probe()階段會去嘗試讀取 chip id,如 imx415的 imx415_check_sensor_id,
ret = __imx415_power_on(imx415); if (ret) goto err_free_handler; ? ret = imx415_check_sensor_id(imx415, client); if (ret) goto err_power_off;
如果能夠正確讀取到chip id,一般就認為上電時序正確,Sensor 能夠正常進行 i2c 通信
一般在imx415_check_sensor_id()中出現問題、按照以下方式排查
1.先將__imx415_power_off()注釋掉
2.檢查i2c從地址、i2c讀函數
3.可以抓下i2c的波形
4.2.2 Sensor 初始化寄存器列表
在imx415的驅動中,定義了struct imx415_mode supported_modes[],用來表示Sensor 支持的不同初始化 mode,即Sensor可以輸出不同分辨率的圖像、不同的fps等。Mode 可以包括如分辨率,Mbus Code,fps,寄存器初始化列表等。
這里支持很多種imx415模組的分辨率配置,默認是3864x2192@30fp,查看下面代碼可知會以一種分辨率來做為默認的配置:
適配新的分辨率需要替換新的初始化列表,例如imx415攝像頭,僅支持30幀,但是需要提升到60幀。
sensor本身支持的最大mipi傳輸速率,每秒傳輸的數據量是width * height * 10bit * fps,這個也是有上限,不能無限制提高。 IMX415的DateSheet上寫的就是支持3864x2192@30fps,要調整為60幀,需要廠家提供一組低分辨率的sensor配置,比如1080P@60fps,然后添加到struct imx415_mode supported_modes[]的.reg_list中,reg_list列表最后用了 REG_NULL 表示結束。
4.2.3 回調函數
v4l2_subdev_ops 回調函數是 Sensor 驅動中邏輯控制的核心,包含豐富的接口給上層應用調用
static const struct v4l2_subdev_ops imx415_subdev_ops = { .core = &imx415_core_ops, .video = &imx415_video_ops, .pad = &imx415_pad_ops, };
部分成員函數:
open - Userspace通過在打開/dev/v4l-subdev?節點時,會調用到該.open()函數。
s_power - 包括power on和power off。在這里上電或者下電
enum_mbus_code - 用于枚舉支持的媒體總線(Media Bus)格式代碼。媒體總線是V4L2系統中用于描述圖像格式的標準。這個函數可能會列出IMX415傳感器支持的不同媒體總線格式代碼。
enum_frame_size - 用于枚舉傳感器支持的不同幀尺寸(分辨率)。這個函數可能會返回一組可用的幀尺寸選項,供應用程序選擇。
enum_frame_interval - 用于枚舉傳感器支持的不同幀間隔(幀速率)。它會返回可用的幀間隔選項,以供應用程序選擇。
get_fmt - 用于獲取當前傳感器的圖像格式。應用程序可以使用它來查詢當前設置的圖像格式。
set_fmt - 用于設置傳感器的圖像格式。應用程序可以使用它來配置所需的圖像格式。
get_selection - 用于獲取當前傳感器的圖像選擇(ROI - Region of Interest)。這允許應用程序了解當前的感興趣區域設置。
get_mbus_config - 用于獲取媒體總線配置,包括數據總線寬度、時序等信息。
這些函數在V4L2子設備的驅動程序中起著關鍵的作用,允許應用程序配置和控制IMX415傳感器,以捕獲圖像和視頻數據。
4.3 DTS配置
這里是單路Camera的dts配置說明,以imx415攝像頭為例 。
案例場景:這里使用的是csi2_dphy0的單路camera配置:
鏈路配置: imx415 —> csi2_dphy0 —> mipi2_csi2 —> rkcif_mipi_lvds2—>rkcif_mipi_lvds2_sditf —>rkisp0_vir2
在這個通路下,會注冊medio0和medio1這兩個節點。
4.3.1 配置sensor端
我們需要根據板子原理圖的MIPI CSI接口找到sensor是掛在哪個I2C總線上,然后在對應的I2C節點配置camera節點,正確配置camera模組的I2C設備地址、引腳等屬性。sensor對應驅動路徑在kernel\drivers\media\i2c下面。 下面是imx415配置:
注意:
data-lanes必須指明具體使用的lane數,否則無法識別為mipi 類型;
module-index與iq文件中的moduleId相關,<0>對應moduleId配置為m00,<1>對應moduleId配置為m01,m是“module”的縮寫,01是十進制數字;
module-name與module-lens-name命令與設備/etc/iqfiles中對應sensor的iq文件名后面相同。這里對應的Sensor iq文件是“imx415_CMK-OT2022-PX1_IR0147-50IRC-8M-F20.json”,注意大小寫有區分
4.3.2 csi2_dphy0配置
csi2_dphy0與csi2_dphy1/csi2_dphy2互斥,不可同時使用。另外需要使能csi2_dphy0_hw物理節點
4.3.3 isp相關配置
&rkcif_mipi_lvds2_sditf { status = "okay"; ? port { mipi_lvds2_sditf: endpoint { remote-endpoint = <&isp0_vir0>; }; }; }; ? &rkisp0 { status = "okay"; }; ? &isp0_mmu { status = "okay"; }; ? &rkisp0_vir0 { status = "okay"; ? port { #address-cells = <1>; #size-cells = <0>; ? isp0_vir0: endpoint@0 { reg = <0>; remote-endpoint = <&mipi_lvds2_sditf>; }; }; };
一個ISP可以接多個Sensor,但只能分時復用。通過配置dts,將多個Sensor鏈接到MIPI DPHY后,可通過media-ctl切換Sensor。
4.4 多攝像頭配置
上述是單目4lan攝像頭的配置,DPHY處于Full Mode下,這里有一份DPHY處于Split Mode下,配置四個2lan攝像頭的例子:
鏈路配置:
imx464 _1—> csi2_dphy1 —> mipi2_csi2 —> rkcif_mipi_lvds2—>rkcif_mipi_lvds2_sditf —>rkisp0_vir0 ? imx464 _2—> csi2_dphy2 —> mipi3_csi2 —> rkcif_mipi_lvds3—>rkcif_mipi_lvds3_sditf —>rkisp0_vir1 ? imx464 _3—> csi2_dphy4 —> mipi4_csi2 —> rkcif_mipi_lvds4—>rkcif_mipi_lvds4_sditf —>rkisp1_vir0 ? imx464 _4—> csi2_dphy5 —> mipi5_csi2 —> rkcif_mipi_lvds5—>rkcif_mipi_lvds5_sditf —>rkisp1_vir0
這里配置四個同一型號的攝像頭,如果是有其他類型的攝像頭需要添加,更新、替換相應的sensor驅動。
五. 結語
這里借用ArmSoM-W3開發板上的imx415模組介紹在rockchip平臺關于camera的部分配置 ,在開發和配置攝像頭驅動時,每個具體型號的攝像頭可能有其獨特的設置和要求。如果你對其他型號的攝像頭或其他嵌入式系統組件有疑問,或者需要更多定制的幫助,可以在ArmSom論壇提出問題,與其他開發者分享經驗和獲取支持。
-
攝像頭
+關注
關注
59文章
4679瀏覽量
93304 -
開發板
+關注
關注
25文章
4560瀏覽量
94883 -
RK3588
+關注
關注
6文章
243瀏覽量
3614
發布評論請先 登錄
相關推薦
評論