拿到这块Bittware VV4之后我脑子里其实先转了好几圈Corundum这个开源100G NIC项目我盯了很久但官方参考设计大多绑在Xilinx自家VCU118、VCU1525这些板卡上想跑在第三方板卡上就得从头到尾动一遍工程。这篇先把移植第一阶段的东西记录下来——从摸清硬件到把PCIe、QSFP28、时钟复位这些通路在VV4上跑通给后面做驱动和性能调优留个底。这篇适合两类人看一类是手里正好有Bittware或者类似第三方UltraScale板卡、想把Corundum弄上去的另一类是虽然不搞NIC但遇到把开源FPGA工程移植到非参考板卡这种活想看看整个排查思路和坑在哪儿的。两类人应该都能从我这段经历里拿点东西走。1. 移植前必须想清楚的几件事为什么Corundum为什么VV4怎么算成功1.1 Corundum解决了什么问题又留下了什么问题Corundum说到底是一套完整的FPGA NIC实现。它不是那种只给你一个MAC核的demo而是把PCIe DMA、队列管理、收发路径、PTP、甚至Linux驱动全都做齐了。我见过不少从零搓100G网卡的团队光是驱动和DMA就够耗掉半年人力而Corundum把这些东西开放出来等于把一块完整网卡的骨架摆在你面前。但它的完整也是相对的。Corundum的RTL设计大量依赖Vivado的IP核PCIe用的是Xilinx的硬核IP100G MAC在UltraScale上也是调硬核CMACGTY收发器的参考时钟怎么给、引脚怎么约束都是按照Xilinx自家板卡的走线来的。换句话说你的板卡只要跟Xilinx参考板长得不一样移植工作就躲不掉。Bittware VV4就是典型——它用Virtex UltraScale资源够了但引脚分配、时钟拓扑、复位时序、PCIe lane走线全都不一样。1.2 为什么偏偏是Bittware VV4选VV4的原因其实很直白它有VU3P芯片逻辑资源够跑100G NIC板上带了QSFP28光口物理层不用外接转换板PCIe是Gen3 x16带宽对得上100G收发的压力。Bittware在板卡配套资料上做得也算认真原理图、引脚约束、参考工程都有这对移植来说太重要了。当然代价也有。Bittware的板卡设计思路偏HPC和加速卡它板上的时钟管理、供电时序、PCIe的PERST信号、各种上下拉电阻跟Xilinx评估板差异不小。而且它很多外围接口要靠BSP初始化和板卡控制脚本去配置不像VCU118那样插上电就什么时钟都有了。1.3 移植工作的自定义成功标准这种移植项目一开始就得把成功定义清楚否则后面全是无底洞。我给这个第一阶段定的标准是三条工程能在Vivado里用VV4对应器件完整综合、布局布线不报致命错误生成的bitstream烧进去后PCIe能被主机正确枚举DMA环回测试能通QSFP28的100G物理层能建链至少内部回环和外部回环都有信号。至于Linux驱动加载、iperf打流、多队列性能这些我放到第二阶段再搞。第一阶段的边界如果不划清楚很容易被各种时序问题拖死——毕竟你是在移一块板卡不是在调一个模块。2. 摸清两边底细Corundum工程结构与VV4板卡资料2.1 Corundum源码里哪些东西必须动拿到Corundum源码第一件事不是打开某个模块看代码而是先把整体结构捋一遍。它的fpga目录下几个关键部分RTL源码、IP核、约束文件、构建脚本。RTL里最核心的是顶层模块corundum_top所有的PCIe接口、时钟输入、串行收发器引脚最后都要汇总到这一层。构建流程主要靠Tcl脚本驱动脚本里指定了器件型号、参考板名称、约束文件路径。setup.tcl这类脚本会把整个Vivado工程搭起来然后调用IP的xci文件。移植的第一步就是把这些板卡相关变量全换成VV4的。另外要特别留意IP核。Corundum的PCIe IP和CMAC IP虽然是Xilinx标准核但它们和顶层RTL有参数约定比如AXI数据位宽、PCIe lane数、参考时钟频率。你在Vivado里重新生成这些IP的时候参数不能随便改否则顶层连线全部对不上。2.2 VV4板卡资料里哪些信息最关键Bittware会给VV4配套用户手册和一套引脚约束文件我拿到后直接打印了关键几页时钟树、PCIe引脚、QSFP28引脚、配置模式。这些信息在移植中的作用可以类比成地图时钟树决定哪些bank接了可编程时钟芯片哪些接的是固定频率晶振GT参考时钟从哪个引脚进来PCIe引脚PCIe的收发差分对编号、参考时钟引脚、PERST复位脚全都需要手写约束QSFP28引脚四路GTY差分对、I2C控制引脚、模块插拔检测引脚配置模式MIO、bank电压、JTAG链抽取确保Vivado能正确生成配置bitstream并对板卡编程。我把由Bittware提供的板级约束文件里的引脚信息和Corundum参考板XDC对比了一下很快就列出了一张差异清单。这一步建议别偷懒逐项比对我后面遇到的很多问题其实在对照阶段就已经埋下伏笔了。2.3 移植清单的制定做完前面两件事我给自己列了一个移植清单整个第一阶段的任务被拆成4条在Vivado里建立适配VU3P的工程替换所有器件和板卡相关设置拷贝Corundum参考XDC改成VV4的引脚与时钟约束先保住综合布线能过重新生成PCIe IP核核对lane配置和DMA接口参数适配QSFP28/GTY时钟与CMAC参考时钟完成回环测试。清单的好处是能把移植这种听起来很大的事拆成一个个可验证的小步。每过一步风险就少一分。3. 时钟与复位第一道坎3.1 Corundum与VV4时钟树的差异这是我在整个移植过程中踩得最深的一个坑拿出来单独说。Corundum的参考板卡时钟结构相对简单系统主时钟、PCIe参考时钟、GT参考时钟的引脚都是直接从板载晶振或者差分接口进来约束文件里写得明明白白。而VV4不一样它的时钟很多来自可编程时钟芯片比如Silicon Labs的时钟发生器这些芯片必须在上电后通过I2C或SPI写入配置才会输出正确频率的时钟。如果你忽略了时钟芯片的初始化整个板卡等于没有心跳PCIe枚举不上、GT没有参考时钟所有调试都无从谈起。VV4板卡资料里会说明它的时钟芯片默认配置和初始化方法一般有两种路径一种是靠板载CPLD/微控制器上电自动配置另一种是主机通过PCIe或者板卡管理接口去写。我当时的做法是先确认板卡有没有自动配置然后用示波器量关键时钟引脚确保系统时钟和GT参考时钟都出来了再往下走。3.2 系统时钟与GT参考时钟的约束写法在XDC里系统差分时钟的约束相对直接。假设VV4板的系统时钟是200MHz差分对连到某个bank约束大致长这样set_property PACKAGE_PIN pin_name [get_ports clk_p] set_property PACKAGE_PIN pin_name [get_ports clk_n] set_property IOSTANDARD LVDS [get_ports clk_p] set_property IOSTANDARD LVDS [get_ports clk_n]但这里有个细节Corundum顶层可能直接例化了一个IBUFDS或者时钟buf用来产生系统时钟域。如果你给顶层传入的是差分时钟就要确保Vivado综合时正确推断出IBUFDS原语。否则就会出现时钟信号没进全局时钟网络这种诡异问题。GT参考时钟更要注意。100G以太网通常需要156.25MHz的GT参考时钟而PCIe的参考时钟是100MHz。VV4板上可能会有独立的GT refclk引脚通向QSFP28所在的GTT bank。在约束里除了引脚位置还要显式声明这是GT参考时钟set_property PACKAGE_PIN pin_name [get_ports gt_clk_p] set_property PACKAGE_PIN pin_name [get_ports gt_clk_n] set_property IOSTANDARD LVDS [get_ports gt_clk_p]我曾经因为漏设GT参考时钟的IOSTANDARD导致布线阶段GTX/GTT跑不起来综合过了但生成bitstream的时候才炸出来白白多花了一个晚上。3.3 复位逻辑与时序检查Corundum默认的复位设计一般是上电复位加PCIe的PERST复位组合。VV4的PERST信号连接的是FPGA普通GPIO还是专用PCIe复位引脚需要看原理图确认。这里我建议查看Bittware参考工程的顶层约束他们的复位逻辑和信号极性都验证过直接借用比自己猜靠谱。复位还有一个容易忽略的问题异步复位同步释放。FPGA里复位释放如果和时钟不同步很容易引起亚稳态导致状态机跑飞。Corundum的复位逻辑本身是处理过的但如果你的顶层封装里对复位信号做了额外的缓冲或反相就要重新检查同步链。我见过有人为了满足时序报告直接在复位路径上连续打拍结果反而把复位拉长导致上电配置还没完成就复位了整个PCIe设备起不来。这一段做完之后我的建议是先用一个最小测试跑一下只做时钟约束和复位逻辑先把布出一版能跑的bitstream当目标。引脚和时序问题越早暴露越省时间。4. PCIe Gen3 x16通路和DMA验证4.1 PCIe IP核重新配置的正确姿势Corundum的PCIe通路核心是Xilinx的UltraScale PCIe硬核IP但它外面包了一层自定义逻辑用来做AXI DMA、队列描述符访问这些。移植时不能整个丢掉重新设计而是把IP核放到Vivado里重新生成保持参数一致。关键参数我逐个核对过Mode: 高级还是原生Corundum用的是原生的AXI接口模式Lane Width: x16Link Speed: Gen3Reference Clock: 100MHzAXI接口位宽和时钟频率这对DMA性能影响巨大。改完参数生成IP后务必检查顶层端口名。Vivado不同版本生成的PCIe IP端口命名偶尔会有细微差别导致例化编译报错。我的做法是把新生成的IP例化模板打开和Corundum顶层里例化PCIe的代码段做一次逐行比对。4.2 时钟和复位引脚在PCIe上的特殊性PCIe参考时钟在XDC里也有特殊写法。它不单是一个普通差分时钟引脚还要在器件上指定待用的GT参考时钟引脚组。Vivado里通常需要在XDC里添加类似这样的约束set_property PACKAGE_PIN pin_name [get_ports pcie_clk_p] set_property PACKAGE_PIN pin_name [get_ports pcie_clk_n] set_property IOSTANDARD LVDS [get_ports pcie_clk_p] set_property IOSTANDARD LVDS [get_ports pcie_clk_n]如果PCIe参考时钟没有正确约束到GT引脚上Vivado会报告Reference Clock not connected或者根本识别不出PCIe的GT通道。PERST也是一个关键信号。有些板卡的PERST#是低有效有些会通过电平转换芯片反相你直接用默认逻辑主机可能认为设备一直处于复位状态。检查方法很简单看Bittware参考工程里PERST的引脚和极性然后回头审视Corundum顶层里的复位处理逻辑。4.3 枚举失败的排查顺序PCIe能不能被主机枚举是第一道性能门槛。我这边的排查顺序是这样的查参考时钟示波器点PCIe refclk引脚确认100MHz信号在且摆幅和信号质量都正常查PERST测量PERST在主机上电后有没有正常释放高电平持续保持查GT引脚连接在Vivado里打开器件的IO规划确认PCIe TX/RX对应到VU3P的GTY通道和原理图一致查IP配置确认IP核里Link Speed、Lane Width和设备ID没有错误查顶层例化核对顶层里把PCIe IP的user reset和Corundum内部复位逻辑的接法。如果这些都没问题但主机lspci还是看不到设备我通常会做一个最原始的检测在Vivado里加一个ILA探测PCIe IP的复位状态和电源良好信号。用ILA看内部信号比你在外面瞎猜快得多。4.4 DMA环回验证是分水岭PCIe枚举成功还不算数DMA能搬运数据才是分水岭。Corundum自带一套Linux驱动加载成功后会出现网络接口设备。我当时的验证路径是先用驱动把设备带上然后跑DMA环回。Corundum的驱动加载后可以用它自带的测试脚本或者自定义小工具把主机的DMA缓冲区地址写到设备的描述符里让设备把数据搬到FPGA内部RAM再由设备DMA写回主机比对一致性。这一步我吃了不少苦头最终发现问题是描述符地址对齐要求被我忽略了。Corundum的DMA描述符对地址有对齐要求比如64字节对齐主机分配缓冲区的时候如果没对齐DMA传输就会异常中断。这个问题在Xilinx参考板上没暴露过因为参考板的驱动流程做了专门处理但到了自定义板卡上一开始的DMA地址分配走的是普通kmalloc路径很容易碰到不对齐。5. 100G物理层GTY、QSFP28与CMAC5.1 用硬核CMAC还是软核MAC100G以太网MAC在UltraScale上有两种选择一种是集成在器件里的硬核CMAC另一种是纯逻辑实现的软核MAC。Corundum默认用的是硬核CMAC因为性能和面积都划算移植时不需要也别换成软核。CMAC IP的重新生成和PCIe IP类似核心参数包括线速率100G、接口模式如64bit或512bit AXI4-Stream、流控使能等。Corundum顶层里例化CMAC时有自己的封装你要确保新生成的IP核端口和封装代码匹配。5.2 QSFP28引脚和GT通道映射QSFP28接到FPGA是4路25G高速串行信号每一路对应一个GTY收发器。VV4的4路GTY所在通道位置必须从原理图里逐个确认然后更新XDC。这里有一个很容易出问题的地方GTY的refclk路径。QSFP28的4个GTY通道通常是共享一个或两个参考时钟源这个参考时钟在原理图上有固定引脚。你把数据引脚约束对了但refclk引脚约束不对综合可能不报错实际跑起来就是一个通道都没有信号。用Vivado打开GTY的时钟连接图逐项检查比单纯看XDC可靠。5.3 MAC和PHY的回环测试路径100G以太网回环通常分好几层我的顺序是CMAC内部回环在CMAC IP里使能内部近端回环发送端数据从MAC直接回到接收端先验证MAC和DMA通路GTY串行回环通过GTY的loopback属性把并转串后的数据直接环回验证GT参考时钟和通道外部QSFP28回环用光模块或者QSFP28回环模块做物理层端到端验证。Corundum的控制软件里有时可以直接配CMAC和GTY的调试寄存器不需要重新综合bitstream。我强烈建议先用软件寄存器去切回环模式比反复改RTL重新布线高效一个量级。我印象最深的一次是CMAC内部回环正常GTY串行回环正常外部回环就是不通。最后用眼图工具去量QSFP28引脚发现TX信号的摆幅比预期低。原因不是逻辑问题而是GTY的输出预加重和后加重参数不匹配调整驱动强度后立刻好了。所以物理层的坑往往不是逻辑而是模拟参数。6. 约束收敛从时序报告里定位瓶颈6.1 移植后第一版bitstream能出不代表时序收敛第一版bitstream能生成绝大多数人会很兴奋但我要泼一盆冷水能跑和能稳定跑是两回事。移植中最难缠的不是功能逻辑而是时序约束。我看了第一版布线报告WNS是负的而且关键路径全在DMA描述符处理链路上。这说明Corundum的RTL本身没问题问题出在我的约束参考时钟频率和实际不匹配导致时序分析器用了错误的时序模型。6.2 从setup/hold报告里读有效信息时序报告不用全看重点看四类WNS和TNS全局数字一个看最坏余量一个看累计违例关键路径列表把负余量路径按slack排序先从最大的看时钟组报告确认所有时钟域都被正确约束没有被当成异步路径处理跨时钟域路径检查有没有因为约束缺失导致应该同步的跨时钟路径被错误地设成false path。如果你的系统时钟约束比实际偏低Vivado会认为时序很紧张把所有违例都放大了。先把create_clock频率改成和VV4晶振一致再去看违例才有意义。6.3 迭代收敛的几个技巧时序收敛的通用思路很朴素要么缩短路径延迟要么调整时钟相位和约束。在Corundum移植中比较常见的几个有效动作给DMA描述符RAM增加输出寄存器把路径切断把接收方向的关键路径上的组合逻辑往MAC侧挪一拍通过调整流控来容忍延迟调整GTY的参考时钟输入相位改善CDR锁定使用不同的综合策略比如性能优先模式。但也要提醒一句别为了一丝时序余量过度修改RTL。NIC路径上的逻辑往往和性能指标强相关你改了某个关键路径可能换来WNS转正但吞吐量掉一截。写约束的本质是如实反映硬件设计意图不是为了把所有报告数值刷得好看。这一阶段搞定后我感觉最难啃的部分基本已经过去了。接下来再做Linux驱动适配和100G吞吐性能调优心里就有底了。毕竟移植这种活真正折磨人的永远不是某一个模块有多复杂而是各个模块之间的接口、时钟和数据通路它们能不能在你的板卡上重新对齐。我这次至少在VV4上把对齐这件事做到了及格线以上。
拿到这块Bittware VV4之后我脑子里其实先转了好几圈Corundum这个开源100G NIC项目我盯了很久但官方参考设计大多绑在Xilinx自家VCU118、VCU1525这些板卡上想跑在第三方板卡上就得从头到尾动一遍工程。这篇先把移植第一阶段的东西记录下来——从摸清硬件到把PCIe、QSFP28、时钟复位这些通路在VV4上跑通给后面做驱动和性能调优留个底。这篇适合两类人看一类是手里正好有Bittware或者类似第三方UltraScale板卡、想把Corundum弄上去的另一类是虽然不搞NIC但遇到把开源FPGA工程移植到非参考板卡这种活想看看整个排查思路和坑在哪儿的。两类人应该都能从我这段经历里拿点东西走。1. 移植前必须想清楚的几件事为什么Corundum为什么VV4怎么算成功1.1 Corundum解决了什么问题又留下了什么问题Corundum说到底是一套完整的FPGA NIC实现。它不是那种只给你一个MAC核的demo而是把PCIe DMA、队列管理、收发路径、PTP、甚至Linux驱动全都做齐了。我见过不少从零搓100G网卡的团队光是驱动和DMA就够耗掉半年人力而Corundum把这些东西开放出来等于把一块完整网卡的骨架摆在你面前。但它的完整也是相对的。Corundum的RTL设计大量依赖Vivado的IP核PCIe用的是Xilinx的硬核IP100G MAC在UltraScale上也是调硬核CMACGTY收发器的参考时钟怎么给、引脚怎么约束都是按照Xilinx自家板卡的走线来的。换句话说你的板卡只要跟Xilinx参考板长得不一样移植工作就躲不掉。Bittware VV4就是典型——它用Virtex UltraScale资源够了但引脚分配、时钟拓扑、复位时序、PCIe lane走线全都不一样。1.2 为什么偏偏是Bittware VV4选VV4的原因其实很直白它有VU3P芯片逻辑资源够跑100G NIC板上带了QSFP28光口物理层不用外接转换板PCIe是Gen3 x16带宽对得上100G收发的压力。Bittware在板卡配套资料上做得也算认真原理图、引脚约束、参考工程都有这对移植来说太重要了。当然代价也有。Bittware的板卡设计思路偏HPC和加速卡它板上的时钟管理、供电时序、PCIe的PERST信号、各种上下拉电阻跟Xilinx评估板差异不小。而且它很多外围接口要靠BSP初始化和板卡控制脚本去配置不像VCU118那样插上电就什么时钟都有了。1.3 移植工作的自定义成功标准这种移植项目一开始就得把成功定义清楚否则后面全是无底洞。我给这个第一阶段定的标准是三条工程能在Vivado里用VV4对应器件完整综合、布局布线不报致命错误生成的bitstream烧进去后PCIe能被主机正确枚举DMA环回测试能通QSFP28的100G物理层能建链至少内部回环和外部回环都有信号。至于Linux驱动加载、iperf打流、多队列性能这些我放到第二阶段再搞。第一阶段的边界如果不划清楚很容易被各种时序问题拖死——毕竟你是在移一块板卡不是在调一个模块。2. 摸清两边底细Corundum工程结构与VV4板卡资料2.1 Corundum源码里哪些东西必须动拿到Corundum源码第一件事不是打开某个模块看代码而是先把整体结构捋一遍。它的fpga目录下几个关键部分RTL源码、IP核、约束文件、构建脚本。RTL里最核心的是顶层模块corundum_top所有的PCIe接口、时钟输入、串行收发器引脚最后都要汇总到这一层。构建流程主要靠Tcl脚本驱动脚本里指定了器件型号、参考板名称、约束文件路径。setup.tcl这类脚本会把整个Vivado工程搭起来然后调用IP的xci文件。移植的第一步就是把这些板卡相关变量全换成VV4的。另外要特别留意IP核。Corundum的PCIe IP和CMAC IP虽然是Xilinx标准核但它们和顶层RTL有参数约定比如AXI数据位宽、PCIe lane数、参考时钟频率。你在Vivado里重新生成这些IP的时候参数不能随便改否则顶层连线全部对不上。2.2 VV4板卡资料里哪些信息最关键Bittware会给VV4配套用户手册和一套引脚约束文件我拿到后直接打印了关键几页时钟树、PCIe引脚、QSFP28引脚、配置模式。这些信息在移植中的作用可以类比成地图时钟树决定哪些bank接了可编程时钟芯片哪些接的是固定频率晶振GT参考时钟从哪个引脚进来PCIe引脚PCIe的收发差分对编号、参考时钟引脚、PERST复位脚全都需要手写约束QSFP28引脚四路GTY差分对、I2C控制引脚、模块插拔检测引脚配置模式MIO、bank电压、JTAG链抽取确保Vivado能正确生成配置bitstream并对板卡编程。我把由Bittware提供的板级约束文件里的引脚信息和Corundum参考板XDC对比了一下很快就列出了一张差异清单。这一步建议别偷懒逐项比对我后面遇到的很多问题其实在对照阶段就已经埋下伏笔了。2.3 移植清单的制定做完前面两件事我给自己列了一个移植清单整个第一阶段的任务被拆成4条在Vivado里建立适配VU3P的工程替换所有器件和板卡相关设置拷贝Corundum参考XDC改成VV4的引脚与时钟约束先保住综合布线能过重新生成PCIe IP核核对lane配置和DMA接口参数适配QSFP28/GTY时钟与CMAC参考时钟完成回环测试。清单的好处是能把移植这种听起来很大的事拆成一个个可验证的小步。每过一步风险就少一分。3. 时钟与复位第一道坎3.1 Corundum与VV4时钟树的差异这是我在整个移植过程中踩得最深的一个坑拿出来单独说。Corundum的参考板卡时钟结构相对简单系统主时钟、PCIe参考时钟、GT参考时钟的引脚都是直接从板载晶振或者差分接口进来约束文件里写得明明白白。而VV4不一样它的时钟很多来自可编程时钟芯片比如Silicon Labs的时钟发生器这些芯片必须在上电后通过I2C或SPI写入配置才会输出正确频率的时钟。如果你忽略了时钟芯片的初始化整个板卡等于没有心跳PCIe枚举不上、GT没有参考时钟所有调试都无从谈起。VV4板卡资料里会说明它的时钟芯片默认配置和初始化方法一般有两种路径一种是靠板载CPLD/微控制器上电自动配置另一种是主机通过PCIe或者板卡管理接口去写。我当时的做法是先确认板卡有没有自动配置然后用示波器量关键时钟引脚确保系统时钟和GT参考时钟都出来了再往下走。3.2 系统时钟与GT参考时钟的约束写法在XDC里系统差分时钟的约束相对直接。假设VV4板的系统时钟是200MHz差分对连到某个bank约束大致长这样set_property PACKAGE_PIN pin_name [get_ports clk_p] set_property PACKAGE_PIN pin_name [get_ports clk_n] set_property IOSTANDARD LVDS [get_ports clk_p] set_property IOSTANDARD LVDS [get_ports clk_n]但这里有个细节Corundum顶层可能直接例化了一个IBUFDS或者时钟buf用来产生系统时钟域。如果你给顶层传入的是差分时钟就要确保Vivado综合时正确推断出IBUFDS原语。否则就会出现时钟信号没进全局时钟网络这种诡异问题。GT参考时钟更要注意。100G以太网通常需要156.25MHz的GT参考时钟而PCIe的参考时钟是100MHz。VV4板上可能会有独立的GT refclk引脚通向QSFP28所在的GTT bank。在约束里除了引脚位置还要显式声明这是GT参考时钟set_property PACKAGE_PIN pin_name [get_ports gt_clk_p] set_property PACKAGE_PIN pin_name [get_ports gt_clk_n] set_property IOSTANDARD LVDS [get_ports gt_clk_p]我曾经因为漏设GT参考时钟的IOSTANDARD导致布线阶段GTX/GTT跑不起来综合过了但生成bitstream的时候才炸出来白白多花了一个晚上。3.3 复位逻辑与时序检查Corundum默认的复位设计一般是上电复位加PCIe的PERST复位组合。VV4的PERST信号连接的是FPGA普通GPIO还是专用PCIe复位引脚需要看原理图确认。这里我建议查看Bittware参考工程的顶层约束他们的复位逻辑和信号极性都验证过直接借用比自己猜靠谱。复位还有一个容易忽略的问题异步复位同步释放。FPGA里复位释放如果和时钟不同步很容易引起亚稳态导致状态机跑飞。Corundum的复位逻辑本身是处理过的但如果你的顶层封装里对复位信号做了额外的缓冲或反相就要重新检查同步链。我见过有人为了满足时序报告直接在复位路径上连续打拍结果反而把复位拉长导致上电配置还没完成就复位了整个PCIe设备起不来。这一段做完之后我的建议是先用一个最小测试跑一下只做时钟约束和复位逻辑先把布出一版能跑的bitstream当目标。引脚和时序问题越早暴露越省时间。4. PCIe Gen3 x16通路和DMA验证4.1 PCIe IP核重新配置的正确姿势Corundum的PCIe通路核心是Xilinx的UltraScale PCIe硬核IP但它外面包了一层自定义逻辑用来做AXI DMA、队列描述符访问这些。移植时不能整个丢掉重新设计而是把IP核放到Vivado里重新生成保持参数一致。关键参数我逐个核对过Mode: 高级还是原生Corundum用的是原生的AXI接口模式Lane Width: x16Link Speed: Gen3Reference Clock: 100MHzAXI接口位宽和时钟频率这对DMA性能影响巨大。改完参数生成IP后务必检查顶层端口名。Vivado不同版本生成的PCIe IP端口命名偶尔会有细微差别导致例化编译报错。我的做法是把新生成的IP例化模板打开和Corundum顶层里例化PCIe的代码段做一次逐行比对。4.2 时钟和复位引脚在PCIe上的特殊性PCIe参考时钟在XDC里也有特殊写法。它不单是一个普通差分时钟引脚还要在器件上指定待用的GT参考时钟引脚组。Vivado里通常需要在XDC里添加类似这样的约束set_property PACKAGE_PIN pin_name [get_ports pcie_clk_p] set_property PACKAGE_PIN pin_name [get_ports pcie_clk_n] set_property IOSTANDARD LVDS [get_ports pcie_clk_p] set_property IOSTANDARD LVDS [get_ports pcie_clk_n]如果PCIe参考时钟没有正确约束到GT引脚上Vivado会报告Reference Clock not connected或者根本识别不出PCIe的GT通道。PERST也是一个关键信号。有些板卡的PERST#是低有效有些会通过电平转换芯片反相你直接用默认逻辑主机可能认为设备一直处于复位状态。检查方法很简单看Bittware参考工程里PERST的引脚和极性然后回头审视Corundum顶层里的复位处理逻辑。4.3 枚举失败的排查顺序PCIe能不能被主机枚举是第一道性能门槛。我这边的排查顺序是这样的查参考时钟示波器点PCIe refclk引脚确认100MHz信号在且摆幅和信号质量都正常查PERST测量PERST在主机上电后有没有正常释放高电平持续保持查GT引脚连接在Vivado里打开器件的IO规划确认PCIe TX/RX对应到VU3P的GTY通道和原理图一致查IP配置确认IP核里Link Speed、Lane Width和设备ID没有错误查顶层例化核对顶层里把PCIe IP的user reset和Corundum内部复位逻辑的接法。如果这些都没问题但主机lspci还是看不到设备我通常会做一个最原始的检测在Vivado里加一个ILA探测PCIe IP的复位状态和电源良好信号。用ILA看内部信号比你在外面瞎猜快得多。4.4 DMA环回验证是分水岭PCIe枚举成功还不算数DMA能搬运数据才是分水岭。Corundum自带一套Linux驱动加载成功后会出现网络接口设备。我当时的验证路径是先用驱动把设备带上然后跑DMA环回。Corundum的驱动加载后可以用它自带的测试脚本或者自定义小工具把主机的DMA缓冲区地址写到设备的描述符里让设备把数据搬到FPGA内部RAM再由设备DMA写回主机比对一致性。这一步我吃了不少苦头最终发现问题是描述符地址对齐要求被我忽略了。Corundum的DMA描述符对地址有对齐要求比如64字节对齐主机分配缓冲区的时候如果没对齐DMA传输就会异常中断。这个问题在Xilinx参考板上没暴露过因为参考板的驱动流程做了专门处理但到了自定义板卡上一开始的DMA地址分配走的是普通kmalloc路径很容易碰到不对齐。5. 100G物理层GTY、QSFP28与CMAC5.1 用硬核CMAC还是软核MAC100G以太网MAC在UltraScale上有两种选择一种是集成在器件里的硬核CMAC另一种是纯逻辑实现的软核MAC。Corundum默认用的是硬核CMAC因为性能和面积都划算移植时不需要也别换成软核。CMAC IP的重新生成和PCIe IP类似核心参数包括线速率100G、接口模式如64bit或512bit AXI4-Stream、流控使能等。Corundum顶层里例化CMAC时有自己的封装你要确保新生成的IP核端口和封装代码匹配。5.2 QSFP28引脚和GT通道映射QSFP28接到FPGA是4路25G高速串行信号每一路对应一个GTY收发器。VV4的4路GTY所在通道位置必须从原理图里逐个确认然后更新XDC。这里有一个很容易出问题的地方GTY的refclk路径。QSFP28的4个GTY通道通常是共享一个或两个参考时钟源这个参考时钟在原理图上有固定引脚。你把数据引脚约束对了但refclk引脚约束不对综合可能不报错实际跑起来就是一个通道都没有信号。用Vivado打开GTY的时钟连接图逐项检查比单纯看XDC可靠。5.3 MAC和PHY的回环测试路径100G以太网回环通常分好几层我的顺序是CMAC内部回环在CMAC IP里使能内部近端回环发送端数据从MAC直接回到接收端先验证MAC和DMA通路GTY串行回环通过GTY的loopback属性把并转串后的数据直接环回验证GT参考时钟和通道外部QSFP28回环用光模块或者QSFP28回环模块做物理层端到端验证。Corundum的控制软件里有时可以直接配CMAC和GTY的调试寄存器不需要重新综合bitstream。我强烈建议先用软件寄存器去切回环模式比反复改RTL重新布线高效一个量级。我印象最深的一次是CMAC内部回环正常GTY串行回环正常外部回环就是不通。最后用眼图工具去量QSFP28引脚发现TX信号的摆幅比预期低。原因不是逻辑问题而是GTY的输出预加重和后加重参数不匹配调整驱动强度后立刻好了。所以物理层的坑往往不是逻辑而是模拟参数。6. 约束收敛从时序报告里定位瓶颈6.1 移植后第一版bitstream能出不代表时序收敛第一版bitstream能生成绝大多数人会很兴奋但我要泼一盆冷水能跑和能稳定跑是两回事。移植中最难缠的不是功能逻辑而是时序约束。我看了第一版布线报告WNS是负的而且关键路径全在DMA描述符处理链路上。这说明Corundum的RTL本身没问题问题出在我的约束参考时钟频率和实际不匹配导致时序分析器用了错误的时序模型。6.2 从setup/hold报告里读有效信息时序报告不用全看重点看四类WNS和TNS全局数字一个看最坏余量一个看累计违例关键路径列表把负余量路径按slack排序先从最大的看时钟组报告确认所有时钟域都被正确约束没有被当成异步路径处理跨时钟域路径检查有没有因为约束缺失导致应该同步的跨时钟路径被错误地设成false path。如果你的系统时钟约束比实际偏低Vivado会认为时序很紧张把所有违例都放大了。先把create_clock频率改成和VV4晶振一致再去看违例才有意义。6.3 迭代收敛的几个技巧时序收敛的通用思路很朴素要么缩短路径延迟要么调整时钟相位和约束。在Corundum移植中比较常见的几个有效动作给DMA描述符RAM增加输出寄存器把路径切断把接收方向的关键路径上的组合逻辑往MAC侧挪一拍通过调整流控来容忍延迟调整GTY的参考时钟输入相位改善CDR锁定使用不同的综合策略比如性能优先模式。但也要提醒一句别为了一丝时序余量过度修改RTL。NIC路径上的逻辑往往和性能指标强相关你改了某个关键路径可能换来WNS转正但吞吐量掉一截。写约束的本质是如实反映硬件设计意图不是为了把所有报告数值刷得好看。这一阶段搞定后我感觉最难啃的部分基本已经过去了。接下来再做Linux驱动适配和100G吞吐性能调优心里就有底了。毕竟移植这种活真正折磨人的永远不是某一个模块有多复杂而是各个模块之间的接口、时钟和数据通路它们能不能在你的板卡上重新对齐。我这次至少在VV4上把对齐这件事做到了及格线以上。
