AI 异构计算机设计方案：902-基于6U VPX 高带宽PCIe的GPU AI 异构计算机

Hexiaoyan91 | 2024-04-07 16:10:45 阅读：234

902-01[1].gif 264-09[1].jpg

一、产品概述

基于6U 6槽 VPX 高带宽PCIe的GPU AI 异构计算机以PCIe总线为架构，通过高带宽的PCIe互联，实现主控计算板、GPU AI板卡，FPGA接口板，存储板的PCIe高带宽互联访问，PCIe支持3.0规范，X8或者X16带宽。主板对各槽以太网控制，背板同时支持同源同步CLK 、统一外触发、GPS B码、 1pps信号等。另外支持P4的 LVDS总线互联，实现低速数据交换，同步触发等功能。整机同时支持IPMI管理。
目前方案中用到物料为：

序号	商品名称	规格型号	数量	单价
1	6U VPX 6槽高带宽PCIe的GPU AI计算背板机箱	026UVPX0263	1
2	6U VPX i7 刀片计算机	03VPX0194	1
3	基于6U VPX MXM 规范单Telsa P6 GPU 卡	01VPXDMXM0470X	1
4	基于6U VPX的 XC7VX690T+C6678的双FMC接口雷达通信处理板	03MPCV709	1
5	基于6 U VPX M.2 高带宽加固存储板（含三星2T商业级硬盘3个）	01VPXS0326	1
		合计

902-01[1].gif

902-03[1].jpg

902-04[1].gif

二、基于6U VPX的 Xeon处理器计算型主控板

通用密集计算刀片是基于VPX标准设计开发的一款通用密集型计算板。Xeon-D系列CPU是Intel推出的服务器级处理器，最大16核，带有四个DDR4通道。

通用密集计算刀片尺寸紧凑——233mm×160mm，全加固、适用于商用服务器主板。主要配置包括单个Xeon处理器，板载32GB/64GB/128GB内存颗粒，硬件接口支持5个USB2.0接口，VGA，系统串口，BMC串口，5路千兆以太网等。

系统框图 902-05[1].gif

通用密集计算刀片电源接口采用了由背板供电的12V电源接口,根据对电源功耗的需求，在VPX的机箱里插入相应数量的电源模块。

实物图

740-01[1].jpg

图表2- 3 板卡主视图

系统槽信号说明

默认插入公司主控管理板194号板卡-第六代Intel i7四核八线程6U VPX主控板

● P0 为电源输入接口，+12V输入，支持同步时钟输入，I2C的IPMI管理

● P1支持4个PCIe x4（可配2个x8,1个x16）GEN3总线接，支持1路40G KR信号（可选）。

● P2支持4个PCIe x4（可配2个x8,1个x16）GEN3总线接口。

● P3支持：

● 3个PCIe x4（可配1个x8,1个x4）GEN3总线接口（可选）

● 2路1000 BASE-X(Serdes)接口（与P4 BASE-T 接口二选一）

● 2对100MHz HCSL PCIE差分时钟信号

● 4个GPIO信号

P4支持：

● 2路10/100/1000 BASE-T 接口

● 2路1000 BASE-X(Serdes)接口

● 2路串口信号，支持RS232/RS422/RS485模式

● 2路USB3.0接口信号（含USB2.0）

● 4对100MHz HCSL PCIE差分时钟信号

● 2个GPIO信号

P5支持：

● 2路串口信号，支持RS232/RS422/RS485模式。

● 1路VGA信号（与前面板DVI口切换，BIOS配置切换）。

● 2路DVI信号(DVI2与前面DP口切换；接上显示设备自动切换)

● 4路USB2.0信号

● 2路SFP+信号

P6支持：

● 3路SATA3.0接口信号。

● 1路USB3.0信号(含USB2.0接口信号)。

● 2路10/100/1000 BASE-T 接口（与P4 BASE-X 接口二选一）。

● 1路AUDIO信号

● 机架ID信号，风扇控制信号

三、基于6U VPX MXM 规范单Telsa P6 GPU 卡

902-06[1].jpg

3.1.板卡概述

板卡基于6U VPX 规范和MXM specification rev. 3.1 Type/B规范构建GPU的扩展卡，可扩展1个MXM模块。

470-02[1].jpg

470-03[1].jpg

板卡支持Telsa P6，M6

470-04[1].jpg

3.3.产品应用

特种设备上的深度学习，人工智能计算。

470-05[1].jpg

四.信号处理模块-基于C6678+XC7V690T的6U VPX信号处理卡

9-01[1].jpg

本板卡基于标准6U VPX 架构，为通用高性能信号处理平台，系我公司自主研发。板卡采用一片TI DSP TMS320C6678和一片Xilinx公司Virtex 7系列的FPGA XC7V690T-2FFG1761I作为主处理器，Xilinx 的Aritex XC7A200T作为辅助处理器。XC7A200T负责管理板卡的上电时序，时钟配置，系统及模块复位,程序重配等。为您提供了丰富的运算资源。如图 1所示：

902-07[1].gif

设计参考标准

VITA46.0 VPX Base Standard

VITA46.3 Serial RapidIO on VPX Fabric Connector

VITA46.4 PCI Express on VPX Fabric Connector

VITA46.7 Ethernet on VPX Fabric Connector

● P0 作为电源是输入接口，包括外部参考时钟输入，外部复位信号，及I2C总线。

● P1连接4组GTH x4信号至FPGA。

● P2连接1组GTH x4信号至FPGA。同时DSP的PCIe信号。

● P3连接LVDS x16信号至CFPGA。

● P4连接LVDS x16信号至FPGA，及CFPGA和DSP的千兆以太网,CFPGA的RS422。

● P5无信号连接

● P6无信号连接

● DSP外挂一簇DDR3，数据位宽64bit，容量2GB；

● DSP外挂NorFlash容量32MB；

● DSP采用EMIF16-NorFlash加载模式；

● DSP连接一路1000BASE-T千兆以太网至前面板；

● DSP连接一路1000BASE-T千兆以太网至VPX P4；

● DSP连接PCIe x2 至VPX P2；

● FPGA外挂两簇DDR3，每簇容量4GB,位宽64bit，总容量8GB；

● FPGA 外挂NorFlash容量128MB；

● FPGA的加载模式为BPI模式；

● FPGA外接2路FMC-HPC；

● FPGA 连接GTH x8至VPX P1；

● FPGA 连接GTH x4至VPX P2；

● DSP和FPGA通过 SRIO x4 @ 5.0Gbps /per Lnae互联；

● DSP和FPGA实现GPIO,UART，SPI ,I2C互联；

● DSP和CFPGA 实现GPIO，SPI互联；

● FPGA和CFPGA实现GPIO 互联；

● CFPGA 连接一路1000BASE-T千兆以太网至前面板。

● 板卡要求工业级芯片。结构满足抗震要求。

物理特性

● 工作温度：商业级 0℃ ~ +55℃，工业级-40℃~+85℃

● 工作湿度：10%～80%

供电要求

● 单电源供电，整板功耗：40W

● 电压：DC +12V，5A

● 纹波：≤10%

五、基于6 U VPX M.2 高带宽加固存储板

基于6 U VPX M.2 高带宽加固存储板是一款VPX接口遵循PCIE总线协议的存储卡，可以实现VPX接口的数据读写到PCI-E总线的NVME存储媒介上。采用PLX8732，上行链路提供带宽x16的PCI-E数据到VPX接口上；下行链路提供3路带宽x4的PCI-E接口给NVME存储媒介，（可选）外扩一路x4带宽的PCI-E。协议支持PCI-E2.0，最高可以实现8GT的传输速率。

特征如下：

1.PCI-E扩展

采用PLX8732桥片。

2.VPX接口

采用高密度、高可靠军工级刀片VPX接口。

3.PCI-E协议

上行链路支持PCI-E 16x Gen 3；可以调整成PCI-E 8x Gen 3，PCI-E 4x Gen 3。

下行链路支持PCI-E 4x Gen 3。

4.存储功能

支持3路PCIE 4x的NVME存储媒介。

5.产品外观

存储卡实物图：（加固版本）