财跃星辰联合上海交大发布金融智能体评测新框架
上海交大与财跃星辰等联合发布金融智能体评测新框架,提出以“资本-资产匹配”替代传统文本生成评测。实验显示,模型在匹配任务中能力短板明显。新框架围绕六大维度评测三项核心能力,并已上线配套实践平台。
在2026世界人工智能大会的“上海交通大学·AI未来发展论坛”上,一个全新的金融智能体评测框架正式亮相。这个由上海交通大学计算机学院可扩展计算所宋涛团队,联合财跃星辰、阶跃星辰、睿远基金等机构共同推出的成果,并不仅仅是一套技术方案,更是对行业评测逻辑的一次根本性反思。同步发布的84页立场论文《Rethinking Financial AI Benchmarks》,更是将这种反思推向了理论层面。

打破“以研报相似度论能力”的误区
长期以来,金融AI的评测标准停留在“以研报相似度论能力”的层面——只要AI写出的研报、备忘录像模像样,就被认为具备了金融分析能力。但此次发布的框架首次提出以“资本-资产匹配”为核心的评测理念,试图打破这一误区,为金融智能体从辅助工具迈向真实决策,提供一把真正可信的标尺。
这场发布是本届WAIC产学研融合的一个代表性成果。论坛以“产学研深度融合”为主题,图灵奖得主Richard Sutton、中国科学院院士鄂维南等顶尖学者,与宁德时代、阶跃星辰等产业代表齐聚一堂,聚焦AI与实体产业的结合。而金融智能体评测框架的诞生,正是学术界与产业界联手,试图破解金融AI落地核心难题的一次重要实践。
金融AI评测的本质缺陷:从“像人类分析师”到“匹配资金与资产”
问题的核心在于:金融大模型和智能体普及的速度很快,但行业对AI能力的评估方式,却始终没有跳出“产出像不像人类分析师”的框架。研究团队在立场论文中指出,这种评测逻辑存在根本性缺陷——研报、决策备忘录这些工作产物,本质上是人类在有限认知带宽下,处理海量信息、协调组织决策而形成的历史性工作方式,而不是金融活动要解决的核心经济问题。
研究团队一针见血地指出:“金融的本质是资金和资产的匹配。写研报只是过程,不是终点。”当智能体的信息处理能力远超人类认知带宽后,再用“复现人类工作产物”作为评测标准,不仅无法真实衡量AI的金融决策能力,还会误导产品研发方向,让模型停留在“写得好不好看”的表层,无法触及真正的决策核心。
对照实验揭示:文本生成高分,匹配能力却显著短板
为了验证这一判断,研究团队设计了一个预注册的配对对照实验,选取了四款前沿金融大模型进行同题测试。结果相当有说服力:在“撰写行业研报”“生成投资备忘录”等文本生成类任务中,四款模型得分普遍较高;但在“判断某类资产品种是否适配特定资金属性”这种匹配类核心任务上,模型整体成绩出现了显著下滑,配对效应量d_z达到了1.33,统计显著性极强。
需要强调的是,团队明确表示这并不是一个模型排行榜,而是一个探针性质的对照研究。它的核心价值在于戳破了行业“重文本、轻决策”的评测幻象——很多看似表现出色的金融AI,在真正触及决策本质的任务上,能力短板其实相当明显。这恰恰是当前很多金融AI“看着好用、真用不行”的根本原因。
全新评测框架:从“文本生成质量”转向“资金-资产匹配能力”
基于这一发现,联合团队提出了全新的评测框架,从底层逻辑上彻底重构了评测方向:从考察“文本生成质量”转向考察“资金-资产匹配能力”。
具体来说,新框架围绕收益、风险、期限、流动性、收益结构与约束六大核心维度设计评测任务,分层考察智能体的三项核心能力:一是理解资金侧诉求,准确识别资金的风险偏好、期限要求、流动性约束等属性;二是基于经济实质分析资产,穿透产品表象判断其底层风险收益特征;三是输出可审计的决策结论,明确给出匹配、不匹配、信息不足暂缓判断三类结果。
值得一提的是,框架将“主动拒答”与“判断不匹配”均视为合格答案。这种做法是在引导智能体建立审慎的决策逻辑,避免为了生成答案而强行输出错误结论,反而更贴合金融场景对合规与风控的要求。
配套实践平台:五大环节串联可迭代评测流水线
与评测框架同步上线的还有配套实践平台。这个平台将任务设计、资产覆盖、评分引擎、人机双轨评审、持续观测五大环节串联成可迭代的评测流水线,从正确性、适配性、鲁棒性、合规性四个维度进行全方位评分,并输出针对性的弱项诊断报告。目前平台已支持金融大模型、研究助手、投资顾问、资产配置系统四类产品同台对比,基本覆盖了不同类型金融AI产品的评测需求。
上海交通大学计算机学院副研究员宋涛表示,过去的评测体系默认复现人类工作产物就等于具备金融能力,但当智能体不再受限于人类认知带宽时,这个前提已经不成立了。真正应该被评测的,是不随工作流程变化的经济功能——资金与资产的匹配效率,而这恰恰是过往评测体系最缺失的一环。
财跃星辰CTO白祚博士则点出了行业当下的关键转折点:金融智能体正从辅助写材料走向参与真实决策。这个阶段,行业最需要的不是再多一个写得像分析师的模型,而是一套可验证、可信任的评测基础设施,让金融机构在把资金决策交给智能体之前,能够有据可依。谁能率先建立资金与资产匹配的能力标准,谁就掌握了智能体从实验室走向真实资金决策的主动权。
