股票配资平台官网平台网址海光联手图灵量子，开始细算Token账海光和图灵量子这次合作，我最

海光联手图灵量子，开始细算Token账

海光和图灵量子这次合作，我最关注的目标是：让每个Token少花一点能量，少付一点数据搬运的代价。

这个方向，挺贴近大模型推理的现实。

推理过程中，有些任务计算量很大，DCU适合扛；有些任务却是搬了大量数据，真正做的运算相对有限。尤其部分解码负载，计算单元可能一直等数据，账面性能再漂亮，也很难充分发挥。

双方探索的方案，就是让海光DCU承担大规模矩阵运算，CPU负责调度控制，再由光子算力单元参与适合的低算术强度任务。同时从互联和数据传输入手，研究怎么减少系统内部的消耗。

这里能看出海光双芯的一个优势：不同任务有不同去处，主力计算与调度控制都有自己的产品承接，再往外引入专用能力，整个分工更容易展开讨论。

资料还提到了权重复用、大矩阵摊薄转换开销、4—8bit量化。这些细节很实在，说明光子计算接入系统，也需要认真算投入产出，不能只看某个环节跑得快。

我觉得推理产业往后会越来越关注这类事情。调用量上去以后，一次请求省下一点，长期运行就可能拉开差距。海光参与这条路线，瞄准的是更有效率地使用算力，这笔账值得提前算。

#海光信息# #AI推理# #大模型# #光子计算#股票配资平台官网平台网址

凯丰资本提示：文章来自网络，不代表本站观点。

炒股配资开户东芯股份：Q2利基存储产品涨价态势延续预计下半年价格仍将上行