郑纬民院士指出，当前AI算力需求旺盛，尤其是推理需求正在快速增长。过去两年，算力资源主要服务于大模型训练；而今天，越来越多的算力被用于推理，也就是用户真正使用大模型时发生的计算过程。从论文阅读、代码生成，到法律、金融、工业设计等场景，用户每一次提问、每一次多轮交互，本质上都在消耗推理算力和 Token。

围绕推理基础设施，郑纬民院士将当前路径概括为三类。

第一类是云上大并发推理。大型云端集群能够集中部署满血版大模型，服务大量用户，但即便投入巨大，也仍会遇到并发高峰下响应变慢、排队、限流等问题。郑纬民院士以日常使用大模型阅读论文为例提到，当用户连续追问多个问题时，系统可能因为访问量过高而提示稍后再试。这说明，云端大规模推理虽然是重要形态，但并不能单独解决所有使用场景中的推理需求。

第二类是单位级私有化部署。对于几十人规模的机构，可以采购多卡服务器，在本地部署大模型。这样能够避免公网服务的拥堵，也更适合对数据安全、业务连续性有要求的组织。但这一路径的成本、噪音、散热和机房条件要求较高，通常更适合企业、科研机构和行业单位，而不是普通个人用户。

第三类是个人推理机。郑纬民院士重点介绍了趋境科技的 KTransformers 项目，“一颗 CPU 加一块 GPU 卡”运行满血版大模型。其关键思路在于，大模型中的参数并不是对显存和带宽有完全相同的要求：Attention 相关部分对内存性能要求较高，适合放在 GPU 上；而占比较大的 MoE 参数对带宽要求相对较低，可以放在 CPU 内存中。通过 CPU 与 GPU 协同，原本需要多块高端 GPU 才能运行的模型，有机会在一台成本更低、噪音和功耗更可控的机器上运行。

郑纬民院士认为，这一变化意味着 AI PC 正在从概念走向现实。过去，PC 是个人计算能力普及的基础；未来，增加 GPU 并部署本地大模型后的个人电脑，可能成为个人推理能力的载体。它不只是“能聊天”的电脑，而是能够在本地支撑代码生成、专业知识问答、文档处理、司法辅助、集成电路设计等复杂任务的个人智能工作站。

演讲中，郑纬民院士也提到，趋境科技的端侧推理方案已经在金融、集成电路设计、司法辅助等场景开展应用探索。从趋境科技的视角看，低门槛推理的意义不只是把模型装进一台机器，而是重新思考推理系统的成本结构：哪些计算必须放在昂贵的 GPU 上，哪些数据可以通过更合理的系统设计转移到 CPU 内存或分布式存储中，哪些场景适合本地部署，哪些场景需要集中式 Token 服务。

因此，趋境科技的工作并不止于 KTransformers。KTransformers 更接近个人和组织端低成本推理的技术路径；在分布式推理方向，趋境科技也是 Mooncake 等以 KV Cache 为中心的分布式推理框架的深度参与方，关注的是大规模推理服务中 KV Cache 的管理、调度与复用问题。面向企业和平台客户，趋境科技的高效能 Token 生产服务平台——ATaaS，具备日均万亿级别的高品质 Token 服务能力，服务高并发、长上下文、多智能体和批量推理等需求。前者是系统技术，后者是面向产业场景的服务形态，二者共同指向同一个问题：如何更低成本、更稳定地生产 Token。

郑纬民院士在演讲最后用计算机发展史作类比：几十年前，计算机从大型机、小型机走向个人电脑，推动了个人计算产业的形成。今天，大模型推理系统也可能经历类似过程。云端超大规模集群可以看作“大型推理机”，单位级私有化部署类似“小型推理机”，而一颗 CPU 加一块 GPU 卡支撑的本地大模型，则可能成为面向个人的“推理机”。

在他看来，随着大模型具备更强的软件编写和知识处理能力，未来越来越多专业人群都会在工作中频繁调用推理能力。推理不再只是少数平台背后的技术服务，而会成为个人、组织和产业日常生产的一部分。