推理，这一让训练好的模型真正“工作”的环节，正在成为AI芯片市场的新焦点。
市场研究机构IDC中国副总裁周震刚指出，2024年，中国数据中心加速卡有57.6%是推理卡，33%是训练卡。而在DeepSeek出现后，一些小型公司的算力从训练转到推理。腾讯、百度这类平台接入DeepSeek也大大推动了推理芯片的增长，因此预计2025年推理芯片占比还会进一步大幅增加。
《2025-2030年人工智能芯片行业市场调研及投资前景预测报告》显示，中国AI推理芯片相关产品及服务行业市场规模正以惊人的94.9%复合年增长率扩张，从2020年的113亿元增至2024年的1626亿元。预计到2025年，这一市场规模将达到3106亿元。
生成式AI的Kaiyun官方入口普及 彻底改变了需求结构。开源且性能出众的大模型如DeepSeek-R1面世后，更多人开始真正将大模型用起来，促使推理需求大幅增长。
腾讯管理层在近期业绩交流会上明确指出，公司看到对GPU更大的需求是在推理侧，用户推理需求逐渐增长，AI需求已超过现有GPU资源所能提供的算力。
2024年12月，香港规模最大的数码港人工智能超算中心投入服务，香港为申请使用者提供资助。数码港行政总裁郑松岩表示，该超算中心第二阶段规划算力是1700PFLOPS，2025年10月该超算中心算力将提升到3000PFLOPS。
中国AI推理芯片市场的快速扩张也与政策环境密切相关。国家政策正在加快智慧城市发展与数字政府芯片相关的产品及服务。
这些大型项目需要大量运算基础设施，使得运营成本控制成为关键考量，而具备卓越能效比的AI推理芯片相关产品及服务正能满足这一需求。
周震刚提供的数据显示，2024年中国数据中心加速卡市场中，国产算力占比已达到34.6%。相比2022年和2023年英伟达占Kaiyun官方入口据85%-90%市场份额的格局，这一变化意义重大。
推理任务的特点为国产芯片提供了切入市场的机会。与训练任务不同，推理环节对AI芯片的兼容性要求更为灵活，可以将不同应用的推理负载分配到不同的芯片上。
一些观察人士指出，过去客户会询问国产芯片与英伟达H100相比的优势、性价比和生态兼容性，“现在这些问题已经没有太大影响了”。
有业界人士直言：“国产芯片通过极致的性能优化，可以在特定领域实现超越英伟达4090的极致性价比。”
随着边缘设备上运行的大模型越来越智能，从智能手表到工业机器人，推理芯片的市场边界正不断扩展。
这块小小的推理芯片，不再只是技术的附属品，而是决定AI能否真正融入千行百业的关键变量。
