汤雄超：训推一体机并非AI基础设施未来方向

在超算领域，清华大学高性能计算研究中心长期致力于解决大规模算力软件难题。如今，这支团队正将其深厚的技术积累应用于AI算力这一新兴战场。

清程极智CEO汤雄超博士表示：“目前国内AI基础设施领域的厂商中，只有我们团队具备十万台服务器级别的超大规模国产算力集群使用与调优经验。”他指出，“大规模”是当前算力发展的核心挑战。业内热议的不同品牌GPU异构混训，更多是芯片产能不足时期的过渡方案。从长远看，智算中心很可能回归采用同一型号GPU的同构架构，以追求极致效率。AI大模型训练的根本挑战，最终将落回到大规模算力系统本身。

基于这一判断，去年年底，这支源自清华大学计算机系的团队创立了清程极智，由汤雄超博士出任CEO，翟季冬教授担任首席科学家。

除了训练侧的挑战，创业初期，团队也敏锐地洞察到推理市场的机遇。尽管训推一体机曾一度流行，但汤雄超认为，这种产品形态难以满足未来AI业务的全部需求。“训练和推理对算力系统的需求差异显著，一个较小规模的一体机很难承载当今动辄万卡起步的大模型预训练任务。”因此，清程极智选择为推理业务量身定制软硬一体化的算力系统。同时，通过云端算力提供MaaS（模型即服务）大模型推理服务，也是其重要的业务方向。

这条路径会与通用大模型公司形成竞争吗？汤雄超认为，大模型应用市场必将爆发，一个足够庞大的市场完全容得下多家细分领域的厂商。他透露，公司成立半年多来，在商业化方面已与多家芯片厂商、算力中心、AI应用开发商及基座模型预训练厂商达成合作。

值得一提的是，云厂商也位列其合作名单之中。汤雄超分析，云厂商过去擅长资源池化与共享，而当前AI大模型需要解决的是分布式资源合并的问题——这方面的经验在市场上尤为稀缺，而这恰好是清程极智团队的强项。

谈及国产芯片生态，汤雄超近期感触颇深。从智能手机和新能源汽车行业的发展规律来看，他判断国产芯片市场未来会有所收敛，但不会完全集中到一家。并且，国产芯片在性价比上超越海外产品，或许只是时间问题。

核心壁垒：超大规模集群调优能力

问：团队为何在去年底选择AI基础设施赛道创业？有何契机？

汤雄超：选择这个赛道，是基于对其广阔前景和恰当时机的判断。契机源于我们的团队背景。目前公司40多人中，80%是研发人员，核心技术骨干几乎都来自清华计算机系。清华大学高性能计算研究中心长期深耕超算领域，专攻天气预报、气候模拟、石油勘探等需要巨大算力的科学计算课题。

随着人工智能发展，我们发现AI面临的许多问题同样需要超大规模计算来解决，而我们积累的超算经验恰好可以迁移。我们长期看好AI将对社会产生的深远影响，因此从商业角度看，这件事想象空间很大，也与我们的技术背景高度契合。此外，恰逢美国对华芯片制裁，从社会价值出发，作为清华团队，投身于国产算力系统建设也意义非凡。

总而言之，我们进入这个赛道，是基于对市场机会的坚定看好。核心逻辑在于：AI对算力的需求持续暴涨已是行业共识；国内智能算力从英伟达转向国产化也是明确趋势。在这个“需求增长”与“技术转换”叠加的过程中，国产算力生态必然需要大量建设，这中间蕴藏着巨大的商业机会。

汤雄超在清程极智办公室 受访者供图

问：目前国内已有不少厂商布局AI基础设施，清程极智的壁垒体现在哪里？

汤雄超：赛道上有众多玩家，对我们而言并非坏事。首先，市场足够大；其次，这么多人入局，恰恰说明行业对这个方向的认可。

我们一个显著的技术壁垒在于超大规模集群的调优能力。这在现实中直接关系到算力中心能否真正把硬件“用起来”。我们团队在大规模集群上经验丰富，这是区别于其他厂商的核心优势，而这件事本身难度极高。

据我所知，目前国内AI基础设施厂商中，除了我们，没有团队具备十万台服务器级别的超大规模国产算力集群使用和调优经验。即便是万卡、十万卡规模的超大规模训练，现在能做的团队也屈指可数。因此，这构成了我们非常重要的技术优势。实际上，除了各家都在做的推理优化，我们还能做训练，而且是超大规模的训练。

问：清程目前主要与哪些类型的厂商合作？

汤雄超：我们聚焦于AI基础设施，即算力基础软件系统。常有人把基础设施比作桥梁，一端连接硬件，一端连接上层应用。我们的工作就是连接这两端，让大模型更高效地运行在各类芯片上。

客户也主要来自这两端。一方面是算力侧，包括芯片厂商，以及算力中心的建设方和运营方。总体而言，国产算力系统的软件生态与国外成熟体系相比仍有差距，我们的价值就是帮助芯片厂商补齐短板，充分释放硬件性能。

算力中心的情况类似。如今大模型所需的算力规模巨大，真正将万卡甚至十万卡规模的集群高效利用起来并非易事。我们帮助算力中心盘活超大规模集群，从商业上能提升其市场竞争力，从社会角度看则提高了算力资产的整体利用率，减少了闲置。

对于AI应用侧，我们提供的价值概括起来就是“提速降本”。目前用大模型回答问题或生成图片，耗时仍然较长，这阻碍了AI应用落地。我们通过高性能的大模型推理引擎，在同等硬件上让模型运行得更快，某些场景下响应速度甚至有近百倍的提升。这不仅能缩短模型运行时间、改善用户体验，还能降低算力消耗与成本。

此外，我们也有基座大模型预训练客户。模型预训练本身算力消耗巨大、周期漫长，通常训练一个模型需要数月时间和数千万预算。我们能将训练性能提升百分之几十，从而节省数百万乃至上千万的算力开销。一方面，训练周期缩短能加快模型迭代速度；另一方面，对于千万级算力费用而言，节省50%的成本是一个巨大的数字。目前，我们的客户主要包括芯片厂商、算力中心、上层AI应用公司以及模型预训练厂商。

问：与云厂商是合作还是竞争关系？

汤雄超：我们与云厂商相比有自身优势。在一些传统文本类大模型的预训练上，我们已与国内云厂商展开合作。

云厂商自身也有团队，他们选择与我们合作，根本原因在于过去要解决的问题与现在截然不同。以往他们维护大规模集群，更多是从资源池化和共享的角度出发，相当于将一块GPU切割成多份，同时服务众多请求和用户。

而现在我们需要做的恰恰是“合并”——让一万块甚至十万块GPU共同为一个用户、解决同一个问题服务。这方面的经验即便在大厂内部也相当稀缺，因为国内原本从事大集群并行计算的人才就少，再叠加国产芯片的变量，相关储备就更为紧缺。

问：公司目前的融资情况如何？

汤雄超：今年初我们完成了首轮融资，预计年内会完成新一轮融资。

聚焦推理引擎的核心产品布局

问：模型推理是清程的重点之一，你们的MaaS平台具体有何布局？

汤雄超：我们MaaS平台首期推出了文本对话服务。除了像一般平台提供百亿参数以内的模型，我们还免费提供了720亿参数的国产中文大模型供试用。该模型运行在国产算力平台上，我们将成本控制到了较低水平，比使用英伟达算力便宜很多，因此能够提供免费服务。

近期我们还上线了文生图功能，完全兼容国际上流行的ComfyUI界面，适合设计师等专业群体使用。

后续我们会持续增加其他大模型服务能力。随着AI应用市场快速发展，多模态需求日益增长，未来计划上架视频生成等服务。

清程极智 MaaS平台

问：这种通过MaaS平台提供大模型API的方式，是否意味着在与通用大模型公司竞争？

汤雄超：目前大模型行业内的业务边界确实不那么清晰，存在竞争是正常的。行业参与者众多，恰恰说明大家都认为这件事值得做，也证明了赛道的重要性获得了玩家及背后投资人的认可。我个人坚信大模型应用必将起量，在一个足够庞大的市场里，同一个细分领域完全容得下多家厂商。

对我们而言，MaaS平台能让更多有需求的用户体验到清程的推理加速能力。并且，我们并非要在MaaS模式上击败通用大模型巨头。清程的能力也不局限于MaaS平台，我们的产品交付形式多样，包括一体机、推理引擎软件以及其他定制化解决方案。

问：您提到的一体机是指训推一体机吗？

汤雄超：我们做的是推理一体机，而非训推一体机。训练业务本质上不适合一体机这种产品形态。

训练和推理的业务区别很大。很难想象一个规模有限的一体机能承载当今动辄万卡起步的大模型预训练任务，这目前只能在大规模的智算集群上完成。

我们提供的是推理一体机。当客户有需求时，我们可以帮助他们选配高性价比的硬件。由于我们与多家国产芯片厂商有合作，有时比客户更清楚不同的大模型推理需求更适合哪款芯片。我们也发现不少客户存在算力使用不合理的情况，例如有些客户购买了更适合训练的A100显卡来跑推理，导致其优势无法发挥。

问：你们MaaS平台上能选择英伟达和国产两种算力加速Qwen2-72B-Instruct推理，具体是哪些卡？

汤雄超：英伟达方面我们选用常规的推理卡，国产卡则选用与英伟达推理卡对标的型号，实际使用下来表现不错。

虽然目前平台上标注了英伟达和国产算力选项，但根据后续规划，我们会将这部分信息隐藏。因为实测数据显示，经过清程系统优化后，国产算力的性能已接近英伟达，某些场景下甚至更优。因此，未来我们无需特意区分算力平台，这也符合我们公司兼容并赋能多样化算力基座的理念。

问：清程官网上还有几个与推理引擎相关的服务显示暂未上线？

汤雄超：公司目前仍处于初创期，主要精力集中在研发和商业化落地，官网内容更新略有滞后。推理引擎是我们的核心产品，它是一个完全自研的高性能系统软件，能够降低模型推理延迟或提高吞吐率，从而提升整体性能，并且支持包括英伟达和国产芯片在内的多种硬件。

由于市面上大部分开源框架都基于英伟达生态构建，用户若想使用国产芯片，要么自行移植，要么放弃使用，体验并不友好。我们提供的正是能够兼容多款国产芯片的自研推理引擎。基于这个软件，我们衍生出MaaS平台和推理一体机两种产品形态。

具体而言，如果客户已有硬件设备，只需购买我们的软件即可；如果没有硬件，则有两种选择：一是直接使用我们的MaaS平台服务；二是需要私有化部署的，我们提供推理一体机解决方案。

智算中心的未来：回归同构架构

问：当前国产芯片厂商众多，异构混训概念也很热，你们有涉足这方面的计划吗？

汤雄超：我们也在进行异构混训的相关工作。但根据我们过去的观察，采用不同品牌、不同型号加速卡的GPU异构集群，其整体效率和性价比通常不如采用单一型号GPU的同构集群。混合训练很难充分发挥底层硬件的算力性能。

从商业角度看，异构混训更像是当前国产芯片产能不足背景下的一种妥协。回顾HPC（高性能计算）行业，超算中心发展这么多年，我们并未观察到哪个超算集群内部会混用不同型号的加速卡。当然，全球有成百上千个超算集群，各自采用不同的卡是可行的，但每个集群内部通常是统一的。

因此，随着国产芯片产能提升，我认为智算中心最终也会回归到以往更偏向同构的基础架构，因为单一架构可能是最高效的解决方案。总体而言，在当前大规模并行训练的课题下，异构混训相对容易解决，更难的挑战仍然在于“大规模”本身。举个例子，让10张英伟达卡和10张其他品牌卡混合训练，与让10万张英伟达卡协同训练相比，无疑是后者实现难度更大。

问：所以您认为国内GPU芯片厂商未来会从分散走向整合？

汤雄超：我们与沐曦、燧原、天数、摩尔线程等多家国内芯片厂商都有合作。每家都有相对优势，迭代速度也很快。从长期看，市场可能会出现一定程度的集中和收敛，但国内恐怕不会出现美国市场那种一家独大的局面。

因为中美市场确实不同。从智能手机和新能源汽车等行业的历史来看，美国的手机和汽车市场主要被少数几家主导，而国内市场则呈现多家并存的格局。中国市场规模更大，需求也更多样化。未来芯片厂商可能会有所收敛，但不一定会收敛到只剩一家，最终很可能仍会保留数家主要玩家。

问：现阶段您在国内有比较看好的芯片厂商吗？

汤雄超：目前有两三家表现不错，但国内芯片迭代速度很快，未来哪家性能会脱颖而出还不好说。

问：您认为GPU是目前算力的最优解吗？

汤雄超：这取决于如何定义“最优解”。GPU已经发展到当前阶段，沿着它开辟的道路继续前进是顺理成章的，没必要另起炉灶。但归根结底，还是要看上层应用的需求以及未来AI算法的发展。如果AI算法发生重大变革，以至于GPU架构不再适应其算力需求，那么可能会有新的芯片架构脱颖而出，成为新的标准。

以前人们认为手机等嵌入式设备的处理器是一个很小的市场，但随着移动设备爆发，曾经主流的x86架构逐渐被Arm架构赶超。算力硬件本质上是为上层应用服务的，如果应用发生巨变，底层算力格局也会随之改变。不过，就当前大模型的发展形态而言，我认可GPU或类GPU架构是较好的选择。

问：海外涌现出不少做专用芯片（ASIC）的厂商，但国内仍以瞄准GPU为主，专用芯片厂商较少。您认为对国内而言，专用芯片会是机会吗？

汤雄超：我认为在专用芯片与通用芯片的抉择上，国内外逻辑是一致的。当某一类上层应用变得至关重要时，业界很自然的想法就是为其设计专用芯片，从而在特定应用上获得卓越的性能和功耗优势。但由于上层应用迭代迅速，大家同时也希望有通用芯片能保证现在和未来都能适用。这两条路线很难说谁会完全取代谁。总体来看，我认为国内将会呈现专用芯片与通用芯片并存的局面。

问：CUDA被视为英伟达的护城河，也有观点认为它其实是“泥潭式”的。您认为国内应如何构建自己的护城河？

汤雄超：“泥潭式”护城河这个形容很准确。我认为国内要找到自己的护城河，还是得从国产算力的实际需求出发寻找突破点。完全复制一套CUDA，打造“CUDA 2.0”非常困难，而且是否有必要这样做也要打一个问号。我们建设算力系统的根本目的是支撑上层应用，如果为了复制而复制，可能收益不明。但若根据上层应用的需求进行针对性的补全和提升，我们无需照搬整个CUDA生态，这样目标更明确，要做的事情也少得多，国产算力系统反而更容易找到突破机会。

目前国内很多厂商在做CUDA兼容工作。如果这样做能将CUDA生态中已有的成果导入国产算力生态，大家当然都愿意推进。至于未来是否会出现兼容CUDA生态反而反过来强化了CUDA生态的情况，目前还难以判断。