一家台湾公司宣布推出新款PCIe AI加速卡，能够在仅240W功耗下本地运行7000亿参数的大模型，摆脱对大型GPU集群的依赖。
台湾公司发布PCIe AI加速卡，单卡即可运行7000亿参数模型，削弱大规模AI部署价值
Skymizer是一家专注于AI软硬件的台湾企业，推出了全新解决方案HTX301。HTX301面向本地部署AI，采用PCIe插卡设计，在低于250W TDP的情况下提供大规模AI性能。
公司称HTX301 PCIe AI加速卡是首款基于HyperThought平台构建的推理芯片，平台搭载下一代LPU IP，专为大语言模型设计，兼顾性能与功耗效率。
HTX301外观类似标准PCIe卡，单芯片周围分布有存储。每块板卡配备六颗HTX301芯片，虽采用较旧的28nm工艺，却实现了出色的表现，例如在100GB/s带宽下仅0.5 KaiyunTOPS即可达到每秒30个token。LPU具备高度可扩展性，提供多种设计方案。
该八核LPU在Llama2 7B预填充阶段可达每秒240个token，且可将多芯片串联，实现同一模型最高每秒1200个token，并支持最高7000亿参数模型。
Skymizer宣称的这些数据将在今年的Computex上进行预览，我们计划前往展位实测其真实性。总体来看，这是一款Kaiyun在纸面上相当出色的AI解决方案，可能促使入门级企业选择本地服务器而非云服务来满足AI需求。
