ICLR 2025：顶尖科学家关注的AI趋势解读

自GPT-4发布至今已两年有余，人工智能领域并未停下脚步，我们依然身处一个技术突破不断涌现的时代。从Anthropic在2024年11月发布MCP，为AI生态互联架起桥梁，到GPT-4o与GPT-4.1在短短一个月内相继亮相，将上下文处理能力提升了八倍，再到国内DeepSeek凭借FP8混合精度训练引发行业震动，以及Manus推出号称全球首款通用Agent……技术迭代的节奏，几乎是以月为单位在推进。

前沿方向尚未收敛，新概念与新模型接踵而至。在这股“狂飙”的浪潮中，如何才能看清行业真正的趋势与挑战？

近期，一场以“顶尖科学家聊2025 ICLR最新趋势”为主题的线上圆桌沙龙，汇集了多位学界专家的智慧。南洋理工大学安波教授、浙江大学赵俊博研究员、清华大学赵昊助理教授以及埃默里大学刘菲副教授，围绕大模型决策系统、Agent前沿、Scaling Law的命运、以及新模型架构的可能性等核心议题，展开了一场深度对话。

讨论中一个无法回避的焦点是：推动大模型进化的“Scaling Law”（缩放定律），是否已经走到了尽头？

Scaling Law：终点已至，还是新起点？

随着GPT-4开启的“巨量参数+海量数据”范式走向成熟，一个隐忧逐渐浮现：人类产出的高质量数据正在枯竭。不久前，两位顶尖AI专家David Silver和Richard S. Sutton联合发表论文指出，从人类数据中提取的知识正迅速接近极限。

对此，赵俊博研究员给出了一个量化的判断：高质量数据的耗尽几乎是定局。“人类最高质量的一批文本数据（token）加起来大约在10到15万亿（T）之间。像DeepSeek-V3已经用掉了14.8T。如果在此基础上，我们接受一部分高质量的合成数据，再把数据质量的门槛稍微放宽一点，或许能扩展到25T到30T。但再往上，就很难有更多数据可用了。”

这或许意味着，单纯依靠堆叠算力和数据来建造AGI“通天塔”的路径，已经触及了第一层天花板。当这条“明线”动力减弱，技术层面的创新就成了迈向下一台阶的关键。

刘菲副教授提出了一个有趣的思考角度：数据的分配策略。“目前，大家做基础模型时，几乎是将能获取的所有文本或多模态信息一股脑儿塞进预训练。而后训练阶段，才会针对特定领域使用专门数据。我们是否可以重新思考，有没有更好的方法，在预训练和后训练之间更合理地分配数据，从而最大化模型的能力？”

此外，任务本身的创新也潜力巨大。大语言模型一直以“预测下一个词”为核心训练目标。刘菲提出：“我们能否通过任务创新，设计出新的训练目标，来专门提升模型的后训练效果，或在特定领域的能力？”

以下是此次圆桌讨论的精华内容整理。

技术迭代，AI“狂飙”下的ICLR见闻

今年的ICLR大会给与会者们最直观的感受是：规模更大了，人气更旺了。

赵俊博研究员感慨，这个从他们纽约大学实验室分拆出去的会议，十一年间已从几百篇论文发展到如今的盛况。“最直接的感受就是人多、论文多、会场大。现在的海报展示环节已经被压缩到两小时，非常紧凑。”

安波教授也印证了这一点：“今年注册排队就要花一个小时，会场通道都显得拥挤。这当然证明会议质量高，吸引了众多优秀研究者。”刘菲副教授则注意到，今年有大量金融领域的公司成为赞助商，这或许预示着大模型在金融等垂直领域的落地应用将成为下一个热点。

谈及会上令人印象深刻的研究，赵昊助理教授提到了获得满分的论文“IC light”。“这个工作非常有意思，它在扩散模型中实现了出色的光照控制。要知道，当前的图像或视频生成在几何和物理可控性上普遍较弱，而IC light能做好光照，令人惊喜。它已经成了一个好用的‘轮子’，很多同行都在用它做相关研究。”

刘菲教授分享了她关注的决策系统方向。“一个简单的例子是，用大模型帮你挑选咖啡机。但更复杂的是像子女升学择校这样的多因素决策。目前，针对单一事件的决策，大模型已经可以做得不错，但复杂的序列决策系统仍是一个黑盒。”她特别提到安波教授团队的“Agent Studio”工作，这是一个便于开发者构建和评估智能体的工具平台。

安波教授则关注大模型在复杂现实场景中的推理能力。他分享了一个测试案例：向GPT展示新加坡一处火灾现场的照片，让其制定应急规划。结果发现，模型虽然能给出方案，却忽略了附近就有专业儿科医院的关键信息。“如何让模型整合视频、图片、音频、建筑平面图等多模态信息进行复杂推理，以解决真实世界的问题，还有很长的路要走。”

赵俊博研究员则指出了学术研究节奏与产业飞速发展之间的张力。“ICLR的论文从投稿到发表约有半年周期。但去年10月截稿至今，行业已经发生了太多事：GPT-4.5、MCP、GPT-4o、DeepSeek……会议的传统周期，似乎有点赶不上技术变化的速度了。”

模型架构尚未收敛，Diffusion未来可期

除了数据与算法，模型架构本身远未定型。当前，自回归（Autoregressive）架构与扩散（Diffusion）模型在生成任务上各有拥趸，未来谁主浮沉？

赵俊博研究员表达了对扩散模型的看好。“我看好的不单是用于图像生成的Diffusion Model，而是‘扩散’这个概念本身。它可以扩散很多东西。”他举例说明了扩散模型与自回归模型结合的可能性，例如在坐标空间进行扩散来完成推理任务。“扩散模型打破了自回归的序列限制，擅长拟合高维、多模态分布。虽然Diffusion LLM还未展现出明确的Scaling Law，但它未来可期。”

安波教授的态度则相对保守。“如果它真的那么厉害，大公司恐怕早就全面转向了。短期内取代Transformer的可能性不大。”

刘菲教授从自然语言处理的角度分析道：“对于文本这类强序列数据，自回归模型目前仍是主流。但它存在推理阶段无法并行的问题。因此，结合扩散模型与自回归模型，或者探索RNN等变体架构，都是值得考虑的方向。”

赵昊助理教授认为，这个问题需要分视角看待。“如果只做纯视觉任务（如图像、视频生成），未来一两年可能会更偏向自回归思路，因为它在推理速度上有优势。但对于多模态大模型，如何将不同尺度的视觉信息映射到语言空间，仍是一个未解之谜。这两条路径可能会并行发展。”

Agent的机遇与挑战：从概念走向现实

智能体（Agent）无疑是当前最炙手可热的方向之一，但通往实用化的道路布满荆棘。

赵昊助理教授介绍了一个新颖的交叉方向：将区块链技术与多智能体通信结合。“我们正在探索基于区块链的Merkle-Tree数据结构，为机器人集群构建一个可信的加密协同框架。这能保证智能体在协同工作时，既能完成任务，又无需知晓全局信息，增强了系统的抗破坏性。”

刘菲教授分享了她团队的两个代表性工作。一是“HARBOR”，一个考虑个性化与竞争关系的多智能体系统。“设想未来每人都有一个专属AI助手。在竞争场景下（如求职），如何让智能体在理解个人偏好的同时，做出最具竞争力的决策？”二是对现有规划系统的综述研究“PlanGenLLMs”，旨在建立更统一的智能体能力评估体系。

她特别指出了Agent落地面临的两大挑战：鲁棒性与安全性。“很多系统的任务成功率远未达到实用门槛（如90%-95%）。安全性方面，例如在代码生成中，模型可能因‘幻觉’调用不存在的库，若该库名被恶意注册并植入代码，将导致严重安全漏洞。”

安波教授从更宏观的决策角度审视Agent。“要实现真正能解决复杂现实任务的智能体，强化学习与大模型的结合至关重要。当前的模型决策多基于模仿学习，而要适应动态、未知的环境，必须引入能与环境交互、持续学习的强化学习机制。”他回顾了多智能体系统从传感器网络、分布式规划到深度学习、大模型驱动的演进史，指出动态环境下的高效协同仍是核心难题。

对于火热的“通用Agent”概念，安波教授认为这无疑是AI发展的终极方向之一，但道路漫长。“即便今天AI已在某些领域（如数学）取得突破，但要实现真正的通用智能体，十年时间可能都远远不够。”

赵俊博研究员则观察到市场的泡沫与活力。“相关创业公司今年会越来越多。像Manus这样的产品，虽然在功能上尚有局限，但在交互体验上确实带来了惊喜。这个领域肯定有泡沫，但大家向此方向的努力是真实的，版图今年还会扩大。”

下一步，AI如何变得更“聪明”？

圆桌的最后，展望了提升AI智力的可能路径。

赵昊助理教授聚焦于机器人领域。“我认为通过生成更可控的内容来训练更聪明的机器人，是一个重要方向。当前机器人的主要瓶颈可能不是‘大脑’的智力，而是‘小脑’的灵敏性——在物理世界中的操控和反应能力还远远不够。”

刘菲教授强调了基础模型（Pretraining Model）的持续核心地位。“一个稳健强大的基础模型，是后续一切长上下文、强化学习微调、多模态扩展的基石。未来一个重要方向，就是在适中的模型规模（比如70B参数）上，将预训练做到极致。”此外，她认为模型安全性研究以及AI在科学、教育、金融等交叉领域的突破性应用，将是未来半年的重点。

安波教授再次回归其核心关切：决策与推理。“无论是推理阶段的技术，还是多智能体协同，要让系统在未知场景中保持鲁棒性，是极其困难的。我们还有很长的路要走。”

赵俊博研究员用“一半乐观，一半悲观”来总结。乐观在于，大模型的后训练技术路径已逐渐清晰，今年在数据多样性、算法和底层基础设施方面仍有挖掘空间。悲观或说挑战在于，诸如长文本处理等系统性问题仍需攻克。“一切变化太快，最终要到今年年底，我们才能看清新的格局究竟如何。”

技术的浪潮奔涌不息，关于Scaling Law、架构创新与Agent未来的讨论，仍将持续。唯一可以确定的是，追求更高效、更智能、更实用的AI，这场远征才刚刚进入最精彩的章节。

参考文档：

1.https://arxiv.org/pdf/2502.12149

2.https://arxiv.org/pdf/2502.11221