上证报中国证券网讯（记者 郑维汉）近日，上海人工智能实验室推出DeepLink多元算力混合推理加速方案（简称“DeepLink混推方案”），并携手海光DCU开展混合调度与协同推理等相关测试，为全面迈向AGI筑牢国产算力基座。 据悉，在传统大模型推理凯云官网架构中，单一芯片集群的PD分离（预填充-解码分离）推理策略，已成为业界主流推理优化应用方向。然而，面向国产异构芯片的协同推理，仍是当前行业亟待攻克的关键难题。 而得益于上海人工智能实验室发布的DeepLink混推方案，海光DCU等多款国产AI加速卡有望首次实现深度协同，从而具备精准匹配算力密集型、访存密集型硬件的能力，同时兼顾推理时延与吞吐性能，实现异构算力效能最大化。 此外，该方案还具备良好的可扩展性，能有效地应用于Attention-FFN（AF）分离等其他场景。 公开信息显示，海光拥有中国唯一的“C86+GPGPU”自研产品矩阵，完全兼容全球主流生态，持续携手上海人工智能实验室助力各类客户敏捷落地AI创新。 此前，海光DCU团队已与OpenDataLab团队、DeepLink团队深度协同，完成与智能文档语料解析引擎MinerU的全栈适配，依托“自研AI软件栈+开放生态”，助力MinerU实现非结构化文档向AI-Ready数据的高效、低成本转化。 此次与DeepLink混推方案的联合推进，既是双方合作的进一步深化，更是国产异构算力协同领域的重要突破。未来，双方将更大力度推进异构混推技术优化与标准共建，为我国打造新质生产力增添“芯”动能。
上证报中国证券网讯（记者 郑维汉）近日，上海人工智能实验室推出DeepLink多元算力混合推理加速方案（简称“DeepLink混推方案”），并携手海光DCU开展混合调度与协同推理等相关测试，为全面迈向AGI筑牢国产算力基座。
据悉，在传统大模型推理架构中，单一芯片集群的PD分离（预填充-解码分离）推理策略，已成为业界主流推理优化应用方向。然而，面向国产异构芯片的协同推理，仍是当前行业亟待攻克的关键难题。
而得益于上海人工智能实验室发布的DeepLink混推方案，海光DCU等多款国产AI加速卡有望首次实现深度协同，从而具备精准匹配算力密集型、访存密集型硬件的能力，同时兼顾推理时延与吞吐性能，实现异构算力效能最大化。
此外，该方案还具备良好的可扩展性，能有效地应用于Attention-FFN（AF）分离等其他场景。
公开信息显示，海光拥有中国唯一的“C86+GPGPU”自研产品矩阵，完全兼容全球主流生态，持续携手上海人工智能实验室助力各类客户敏捷落地AI创新。
此前，海光DCU团队已与OpenDataLab团队、DeepLink团队深度协同，完成与智能文档语料解析引擎MinerU的全栈适配，依托“自研AI软件栈+开放生态”，助力MinerU实现非结构化文档向AI-Ready数据的高效、低成本转化。
此次与DeepLink混推方案的联合推进，既是双方合作的进一步深化，更是国产异构算力协同领域的重要突破。未来，双方将更大力度推进异构混推技术优化与标准共建，为我国打造新质生产力增添“芯”动能。返回搜狐，查看更多
