动态资讯 分类
NVIDIA、AMD还在堆料!一家小公司用28nm+DDR4单卡跑7000亿大模型 发布日期:2026-05-13 03:02:10 浏览次数:

  

NVIDIA、AMD还在堆料!一家小公司用28nm+DDR4单卡跑7000亿大模型(图1)

  快科技5月11日消息,当英伟达、AMD还在不断堆高制程、堆砌HBM显存推出高端AI加速卡时,一家小公司却用老旧技术走出了不同路线。

  HTX301单张PCIe卡集成6颗自研芯片协同工作,总内存容量凯云官网最高可达384GB,整卡功耗仅为240W,全程未使用行业主流的HBM或 GDDR显存方案。

  该加速器基于Skymizer HyperThought平台打造,搭载专为大语言模型工作负载设计的下一代LPU IP核,核心优化方向为大模型推理效率。

  通过对权重和KV缓存采用专属高效压缩技术,HTX301的推理性能比开源框架llama.cpp 提升9%至17.8%,官方标称带宽可达100GB/s。

  HTX301采用标准PCIe卡外形尺寸,可直接安装在普通风冷服务器中,无需对数据中心的电力和冷却系统进行任何改造。

  该方案同时解决了云端部署的两大核心痛点,既避免了数据上传带来的隐私泄露风险,也实现了基础设施成本的可预测性。

  目前HTX301所宣称的全部性能数据均来自Skymizer官方,尚未经第三方独立测试验证。

  不过,Skymizer将于今年台北国际电脑展上首次提供实机演示,并开放给独立第三方机构对其性能参数进行全面验证。