異構多處理器產品系列在嵌入式評估板上實現

作者： Alex He （何曄），賽靈思高級嵌入式應用工程師

這里的 UIO 即 Userspace I/O，本文中 UIO 泛指 UIO 設備和 UIO 驅動。它在 Linux kernel 的世界里比較小眾，主要是一些定制設備和相應的驅動。UIO內核驅動指負責將中斷和設備內存暴露給用戶空間，再由UIO用戶態驅動（Application）來實現具體的業務，隨心所欲的玩。學術點叫做高度定制化，柔性設計。

那怎么和 FPGA 扯上了關系呢？是的，FPGA在硬件世界里也是隨心所欲的玩，這一硬一軟還真是登對，在一起啊在一起。

本實驗工程將介紹如何利在賽靈思異構多處理器產品系列 Zynq UtralScale+ MPSoC ZCU102 嵌入式評估板上實現多個 UIO，同時借助賽靈思的工具完成硬件工程和 linux BSP 的開發，最后通過測試應用程序完成測試。

ZCU102上的 MPSoC 集成固化了四核 ARM Cortex-A53，雙核Cortex-R5 以及 Mali-400 MP2 GPU，這部分官方稱為PS（Processing System）。另外一部分就是FPGA，即 PL(Programmable Logic)。PS端實現控制，PL用來實現應用加速，兩者通過AXI連接。跑這個小實驗，呵呵，大材小用。只是本人手頭正好有這個板子不得不裝。筒子們可以去買了個Zybo 或者ZedBoard 開發板， 在板子試試身手。

實 驗 報 告

實驗人員：本人

實驗材料：

硬件設計

建立Vivado工程，適配 ZCU102 EVB。通過 IP Integrator 加入PS,在 PL 側加入5個UIO輸入，其中1個是GPIO模塊（包含中斷輸出和設備內存），另外4個是PIN連接到ZCU102 EVB上的DIP開關，作為中斷輸入通過一個concat IP連接到PS的ps_pl_irq管腳。板級細節請參考[1] UG1182，芯片資料參考[2] UG1085

添加PIN約束文件，

set_property PACKAGE_PIN AN13 [get_ports pl_irq_ll]

set_property IOSTANDARD LVCMOS33 [get_ports pl_irq_ll]

set_property PACKAGE_PIN AM14 [get_ports pl_irq_lh]

set_property IOSTANDARD LVCMOS33 [get_ports pl_irq_lh]

set_property PACKAGE_PIN AP14 [get_ports pl_irq_ef]

set_property IOSTANDARD LVCMOS33 [get_ports pl_irq_ef]

set_property PACKAGE_PIN AN14 [get_ports pl_irq_er]

set_property IOSTANDARD LVCMOS33 [get_ports pl_irq_er]

Vivado的圖形化的模塊設計，豐富的IP庫，加上可以上天的智能連接。有點數字電路設計的基礎，很快就能完成這個小設計。整個設計如下圖。

軟件設計

這里用到 Xilinx 針對 Linux BSP 開發的 Petalinux。它基于Yocto，加入Xilinx的Layers實現硬件工程的導入，將復雜的Yocto的設計流程打包簡化，支持一定的用戶自定義功能，如QEMU仿真運行，增加 out-of-tree 的驅動，Device tree 修改，應用程序編譯打包，等等。具體信息請移步 https://china.xilinx.com/products/design-tools/embedded-software/petalinux-sdk.html

這里簡單展示一下具體的命令過程。

$petalinux-create -t project --template zynqMP -n zcu102-pl2ps_irq

$cd ./ zcu102-pl2ps_irq

$petalinux-config --get-hw-description

$petalinux-config -c kernel

Enable UIO_PDRV_GENIRQ driver

CONFIG_UIO=y

# CONFIG_UIO_CIF is not set

CONFIG_UIO_PDRV_GENIRQ=y

$petalinux-build -c device-tree

PL側的dtsi文件生成與./components/plnx_workspace/device-tree-generation/pl.dtsi

這里只有GPIO UIO。 PIN UIO因為不是IP，所以相關信息無法由工具自動生成。所以要做如下修改：

1. 修改GPIO UIO設備端點

1） 將中斷號改為93

2） 將compatible改成“generic-uio” //我們后面要用 Linux 自帶的 UIO_PDRV_GENIRQ 驅動

2. 增加 DIP UIO 端點

1） 將compatible改成“generic-uio”

2） 依次設置中斷值89到93

3） 按照每個 DIP PIN 的 interrupt trigger type 設置屬性值

*DTS里的中斷號與硬件中斷號有32的 offset。

Petalinux 提供了自定義DTS文件./project-spec/meta-user/recipes-bsp/device-tree/files/system-user.dtsi，將以上修改定義到system-user.dtsi.

有兩個方法來適配UIO端點和 UIO_PDRV_GENIRQ 驅動

1. bootargs use “uio_pdrv_genirq.of_id=generic-uio”，可以通過DTS定義。

2. insmod uio_pdrv_genirq.ko of_id=generic-uio when install the driver

修改完后，編譯出Image.

$petalinu-build

$cd ./images/linux

$petalinux-package --boot --fsbl zynqmp_fsbl.elf --fpga --atf --pmufw --u-boot --force

將生成的BOOT.bin（bootloader）和image.ub(FIT uImage)拷貝到SD卡用于啟動。

測試

這里引用下關于uio_pdrv_genirq驅動的介紹

https://01.org/linuxgraphics/gfx-docs/drm/driver-api/uio-howto.html

結合驅動代碼./drviver/uio/uio_pdrv_genirq.c)可知，每個UIO設備會有對應的/dev/uioX的設備節點。用戶態驅動程序的讀操作會阻塞直到UIO硬件中斷發生。UIO的中斷處理程序uio_pdrv_denirq_handler()會關閉該硬件中斷。用戶態驅動程序需要通過write函數來觸發uio_pdrv_genirq_irqcontrol()以完成中斷的使能和關閉。代碼如下,

啟動內核及加載uio_pdrv_genirq驅動

檢查/proc/interrupts

細心的你一定發現了一個坑，少了2個UIO中斷（IRQ122和IRQ124），原來是硬件不支持Edge falling和Level Low的觸發模式。kernel log如下。

測試DIP UIO方法一

通過撥動2個DIP，觀察到

2個DIP中斷發生了，可是不論怎么再撥動DIP開關，始終是1。前文鋪墊過，這個中斷在驅動的中斷處理程序里會被關掉，需要通過應用程序調用write（）來打開。這里有個easy way，使用萬能的echo命令“echo 0x1 > /dev/uioX”，再配合DIP可以觸發多次中斷。

測試DIP UIO方法二

前面的方法比較low，這里有稍微高級的享受。寫個簡單的用戶態驅動程序，上代碼。

借助petalinux提供的交叉編譯工具編譯出bin文件，拷貝到啟動SD卡。

運行測試程序并配合DIP開關測試。（為了更好的體現測試運行情況，在UIO內核驅動里增加了irqcontrol的調用打?。?/span>

測試GPIO UIO

UIO驅動會將設備內存（寄存器）空間枚舉出來，由用戶態驅動程序通過mmap導出進行讀寫控制。參見AXI_GPIO IP的文檔pg144-axi-gpio.pdf，其寄存器如下。

測試應用程序會通過設置GIER和IP_IER來使能中斷。上代碼。

測試過程

或許你覺得這么貼圖代碼不厚道而不能施展復制黏貼大法，可不知我拙與WORD，沒try出好排版。莫急莫急，這里有GIT，https://gitenterprise.xilinx.com/AlexHe/UIO_Linux_Demo

硬件資源文件和Image，測試代碼一個都不能少，統統獻上。酸爽否？

實 驗 結 論

UIO這種可高度自定義的設備結合Xilinx的MPSoC可以實現非常靈活的應用。Xilinx提供的完備的工具集，給用戶帶來了高效的開發體驗。本例雖然簡單，但Xilinx所推崇的All Programmable的概念和實際的FPGA加速應用的的確確是建立在這些軟硬件協同技術之上。忘周知！

參考文獻

The Userspace I/O HOWTO https://01.org/linuxgraphics/gfx-docs/drm/driver-api/uio-howto.html

[Xilinx Document]

[1] UG1182 - ZCU102 評估板用戶指南

[2] UG1085 - Zynq UltraScale+ MPSoC 技術參考手冊

[3] UG1144 - PetaLinux 工具文檔：參考指南

[4] UG940 - Vivado Design Suite 培訓: 嵌入式處理器硬件設計

[5] PG144 - AXI GPIO v2.0 產品指南