

本申请涉及人工智能,特别涉及一种ai加速卡及其通信方法、装置、设备、介质及程序产品。
1、图形处理器(graphic process unit,gpu)卡间通信的带宽、时延决定了gpu的利用率及大模型训练的效率。目前,典型的gpu卡间通信主要依赖高速串行计算机扩展总线(peripheral component interconnect express,pcie)接口,然而如果采用pcie接口,电信号在电路板(printed circuit board,pcb)中传输会存在信号衰减,导致无法提升信号速率,而pcie协议最大支持x16通道,最新的pcie5.0版本x16最大支持64gb/s,所以pcie的带宽有限,远不能满足大模型分布式并行训练gpu卡间通信的需求,导致gpu利用率不高的问题。
1、本申请实施例提供一种ai加速卡、ai加速卡通信方法、装置、设备、介质及程序,以解决相关技术中gpu利用率不高的问题。
3、第一方面,本申请实施例提供一种人工智能ai加速卡,所述ai加速卡包括显存模块、内部总线、网络模块、至少一个光引擎oe模块和至少一个光纤接口,所述至少一个oe模块和所述至少一个光纤接口一一对应;
4、所述网络模块通过所述内部总线与所述显存模块连接,所述至少一个oe模块分别与所述网络模块连接,且所述至少一个oe模块分别与对应的光纤接口连接;
5、所述光纤接口上设置有光接口连接器,所述光接口连接器用于连接外部设备。
6、第二方面,本申请实施例提供一种ai加速卡通信方法,所述方法应用于第一加速卡,所述第一加速卡为第一方面所述的ai加速卡,所述方法包括:
7、基于所述第一加速卡的oe模块将第一电信号转换为第一光信号,所述第一电信号携带所述第一加速卡的显存模块的传输数据;
9、第三方面,本申请实施例提供一种ai加速卡通信装置,所述装置应用于第一加速卡,所述第一加速卡为第一方面所述的ai加速卡,所述装置包括:
10、第一转换模块,用于基于所述第一加速卡的oe模块将第一电信号转换为第一光信号,所述第一电信号携带所述第一加速卡的显存模块的传输数据;
12、第四方面,本申请实施例提供一种电子设备,所述电子设备为第一加速卡,所述第一加速卡为第一方面所述的ai加速卡,所述电子设备包括收发机和处理器,
13、所述处理器,用于基于所述第一加速卡的oe模块将第一电信号转换为第一光信号,所述第一电信号携带所述第一加速卡的显存模块的传输数据;
15、第五方面,本申请实施例提供一种电子设备,包括:处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序,所述程序被所述处理器执行时实现如第二方面所述的ai加速卡通信方法的步骤。
16、第六方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如第二方面所述的ai加速卡通信方法的步骤。
17、第七方面,本申请实施例提供一种计算机程序产品,包括计算机指令,所述计算机指令被处理器执行时实现如第二方面所述的ai加速卡通信方法的步骤。
18、本申请实施例中,上述ai加速卡包括显存模块、内部总线、网络模块、至少一个oe模块和至少一个光纤接口,所述至少一个oe模块和所述至少一个光纤接口一一对应,所述网络模块通过所述内部总线与所述显存模块连接,所述至少一个oe模块分别与所述网络模块连接,且所述至少一个oe模块分别与对应的光纤接口连接,所述光纤接口上设置有光接口连接器,所述光接口连接器用于连接外部设备,使得可以通过oe模块进行光信号和电信号之间的转换,通过光信号实现ai加速卡间高速数据通信,进而可以减少电信号在pcb中走线的长度,减少信号在pcb板中的衰减,避免出现误码,无需使用前向纠错等技术,能够降低延迟和功耗,方便提升信号速率,从而能够提高ai加速卡的凯云官网利用率。
1.一种人工智能ai加速卡,其特征在于,所述ai加速卡包括显存模块、内部总线、网络模块、至少一个光引擎oe模块和至少一个光纤接口,所述至少一个oe模块和所述至少一个光纤接口一一对应;
2.根据权利要求1所述的ai加速卡,其特征在于,所述oe模块包括光发射组件和光接收组件,所述光发射组件用于将电信号转换为光信号,所述光接收组件用于将光信号转换为电信号。
3.根据权利要求1-2任一项所述的ai加速卡,其特征在于,所述网络模块设有至少一条信号线,所述至少一条信号线中的每条信号线对应配置一个所述oe模块,所述至少一条信号线分别与对应的所述oe模块连接。
4.一种ai加速卡通信方法,其特征在于,所述方法应用于第一加速卡,所述第一加速卡为权利要求1-3中任一项所述的ai加速卡,所述方法包括:
5.根据权利要求4所述的方法,其特征在于,在基于oe模块将第一电信号转换为第一光信号之前,所述方法还包括:
7.一种ai加速卡通信装置,其特征在于,所述装置应用于第一加速卡,所述第一加速卡为权利要求1-3中任一项所述的ai加速卡,所述装置包括:
8.一种电子设备,其特征在于,所述电子设备为第一加速卡,所述第一加速卡为权利要求1-3中任一项所述的ai加速卡,所述电子设备包括收发机和处理器,
9.一种电子设备,其特征在于,包括:处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序,所述程序被所述处理器执行时实现如权利要求4至6中任一项所述的ai加速卡通信方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求4至6中任一项所述的ai加速卡通信方法的步骤。
11.一种计算机程序产品,其特征在于,包括计算机指令,所述计算机指令被处理器执行时实现如权利要求4至6中任一项所述的ai加速卡通信方法的步骤。
本申请提供一种AI加速卡及其通信方法、装置、设备、介质及程序产品,涉及人工智能技术领域,以解决相关技术中GPU利用率不高的问题。所述AI加速卡包括显存模块、内部总线、网络模块、至少一个光引擎OE模块和至少一个光纤接口,所述至少一个OE模块和所述至少一个光纤接口一一对应;所述网络模块通过所述内部总线与所述显存模块连接,所述至少一个OE模块分别与所述网络模块连接,且所述至少一个OE模块分别与对应的光纤接口连接;所述光纤接口上设置有光接口连接器,所述光接口连接器用于连接外部设备。本申请可以提高AI加速卡的利用率。
1.计算机网络安全 2.计算机仿线.网络安全;物联网安全 、大数据安全 2.安全态势感知、舆情分析和控制 3.区块链及应用