清华大学AI虚拟人：实时生成，语音控制，永不崩坏

由清华大学与生数科技联合完成的研究，于2026年7月3日以预印本形式发布在arXiv平台，编号为arXiv:2607.03118v1。对该方向感兴趣的读者可通过该编号查询完整论文。

想象一下，你对着手机屏幕里的虚拟主播说“举起右手”，它立刻举起右手；你说“坐下”，它就乖乖坐下。这一切发生在话音刚落的瞬间，没有等待，没有卡顿，画面始终流畅清晰。这不是科幻场景，而是清华大学和生数科技研究团队实现的系统——Vidu S1。

现有技术的困境：等一分钟，换来一段视频

在理解Vidu S1之前，先感受一下现有视频生成技术的“慢”。当前主流的AI视频生成模型，如Sora、Veo、Wan和Seedance，工作方式类似老式照相馆冲洗胶卷——你提交需求，然后等待十几分钟甚至更久，期间无法参与或修改。这被称为“离线生成”，AI将整段视频从头到尾计算完成后才交付。

这种方式在制作预制内容时可行，但人类对视觉互动的需求远不止于此。面对面聊天、直播连麦、打游戏、与虚拟助手实时对话——这些场景的核心是“立刻回应”，而非“等会儿给你”。研究团队估算：假设每个用户对实时互动视频和预制视频的需求各占一半，由于预制视频可被反复观看，每段只需生成一次；而实时互动视频每次交互都要重新生成，需求量是预制视频的数百倍。这意味着实时互动视频生成是一个远大于预制视频的市场，也是团队认为最重要的未来方向之一。

现有尝试存在明显短板。有些系统将视频生成改为“一帧一帧计算”，但用户仍无法在过程中干预。更多系统不支持语音指令，用户只能在生成前写好所有指令，生成开始后只能旁观。最棘手的问题是“漂移”：AI一帧一帧自动续写时，每帧的微小错误会像滚雪球般累积，画面逐渐模糊、走样，最终彻底崩坏。因此，大多数系统只能生成几十秒或几分钟的视频，无法持续生成。

Vidu S1的四张王牌

Vidu S1是清华大学和生数科技团队针对上述问题的整体解决方案，核心能力可概括为四点：

其一，用户可在视频生成的任意时刻发出语音指令，系统实时响应并改变后续生成内容，而非只能在开始前预设条件。其二，用户声音被作为直接控制信号，虚拟人物听到什么动作就做什么动作，语音与行为之间具有清晰因果关系。其三，视频可无限长度持续生成，不会因时间积累出现画面漂移、崩坏或视觉失真。其四，整个系统在普通消费级显卡上即可运行，输出540p分辨率、每秒42帧的实时视频，流畅度远超普通播放所需的30帧门槛。

一、让AI学会“表演”的数据工厂

要训练一个能实时听指令动起来的虚拟人，需要先为AI提供大量高质量“表演样本”，让它学习人如何说话、动作、表情和嘴型如何配合声音。但原始视频素材如同混杂残次品的货物，直接训练会让AI学到错误模式。因此，研究团队搭建了一条六道工序的流水线，将原始视频逐步精炼成可用训练素材。

流水线起点是“预筛选”。团队收集两类原始视频：一类是直播视频和说话人正对镜头的视频，用于让AI学习面部表情、身体动作和嘴型同步；另一类是影视剧中的高质量镜头，用于让AI学习不同角度、场景、画风下的稳定性。进入流水线前，所有素材先按帧率、分辨率、音视频完整性、音画同步等硬指标粗筛，淘汰明显不合格的。

通过粗筛后，视频被切割成连续的单镜头片段，切割点不落在说话中途，确保每段素材是完整的一句话配一个完整动作。每段时长在三秒到六十秒之间。

接下来是六个维度的精细过滤。首先检查画面是否只有一个主角且占据合理比例，避免AI混淆群体场景。其次检查画面干净程度，去除字幕、水印、广告浮层等无关内容。第三关检查视觉质量，通过审美评分和技术评分筛选清晰、完整、好看的片段，排除模糊、抖动、闪烁的镜头。第四关是内容安全审核，剔除不适当内容。第五关检查镜头稳定性，优先保留静止或慢速运动的镜头，降低生成长视频时镜头漂移风险。第六关检查“互动性”，要求画面主角有清晰可见的动作或行为，让AI学到有意义的运动信息，而非静止画面。

在这六道过滤之外，团队还面临一个技术挑战：传统人脸检测模型遇到夸张的卡通形象或高度风格化的2D动画角色时，常无法识别；且许多判断模型基于单帧图片，缺乏视频整体信息，易产生错误评估。为此，团队引入一个能理解完整视频语义的“全能模型”作为补充，从编辑、主体、动作、情绪、面部、语音、场景、镜头、色调等维度生成语义标签，与传统专家模型联手构成既有全局视野又有局部敏感度的联合过滤系统。

过滤完成后，还需处理声音。AI要学习嘴型与声音同步，必须知道每帧声音的来源。研究团队对音频进行说话人分离标注，标记每段音频中每个说话时间段对应的人。每段音频被分为三类：说话人与画面中的人一致（在画面中）、说话人不在画面中（画外音）、以及多个声音重叠（重叠段）。含有重叠段的片段直接丢弃，因为AI无法从中学习清晰的嘴型对应关系。此外，团队注意到，在歌唱或强烈背景音乐场景中，说话人分离模型会将歌声错误归类为说话声，为此专门添加规则：当说话能量占总音频能量比例过低时，该片段也被丢弃。

最后一步是为每段视频生成文字描述（字幕）。描述分两个层次：一是覆盖整段视频的全局描述，提供完整语义背景；二是与时间段对齐的细粒度描述，精确到每个时间窗口内发生的事件。描述内容涵盖人物外貌、动作、运动、情绪、场景、摄影语言、光线风格、画面内文字、对话内容、音效和背景音乐等。为减少视觉与听觉信息的相互干扰，团队采用“双路策略”：视觉属性仅从视频帧推断，听觉属性仅从音频轨道推断，两路独立，最后合并。

二、三段式训练：从全知到实时，从慢速到极速

拥有精心准备的训练数据后，接下来是让AI学会生成视频。研究团队设计三个递进训练阶段，就像培养一名演员：先让他看完整剧本彩排，再学会即兴续演，最后将演出速度提升到极致。

第一阶段：全知视角下的打基础

第一阶段训练的是一个“双向模型”。所谓双向，是指模型在学习时能看到一段视频的所有帧，从第一帧到最后一帧全部可见，如同一个人坐在剪辑台前反复观看整部电影，学习整体影像规律。这种全局视角让模型建立高质量的生成基础，知道“好视频”应是什么样，声音与画面如何配合。这一阶段产出的模型是后续两个阶段的起点。

第二阶段：学会“接着演”，适应实时场景

第二阶段将第一阶段训练好的模型改造成“因果模型”。在真实实时生成场景中，AI无法“看到未来”，只能根据已发生的历史画面和当前指令，预测下一帧。这就像演员在台上即兴表演，只记得之前的情节，不知剧本后续，必须自己想象并自然续演。

为了让模型在训练时的表现与实际使用一致，研究团队采用混合训练策略，结合两种学习方式。一种是“教师强制”，即给模型看真实历史帧作为上下文，相当于告诉演员“之前真实发生的故事是这样，你接着演”，有助于学习准确的动作和表情衔接。另一种是“扩散强制”，给模型看的历史帧带有噪声，相当于告诉演员“记忆有点模糊，凑合着演”，迫使模型学会在面对不完美历史信息时仍能稳定续写，而非一遇偏差就崩坏。

第三阶段：从慢速到极速，用蒸馏提升推理效率

经过前两个阶段，模型已能稳定一帧一帧续写视频，但速度不够快。传统扩散模型每生成一帧需几十次甚至上百次去噪计算，延迟过高，无法支持实时应用。第三阶段的目标是将这个复杂的多步过程压缩到只需几步。

压缩方法称为“分布匹配蒸馏”，即让一个“学生模型”用更少的步骤产出与“教师模型”几乎相同质量的结果。可以类比烹饪：原本做一道菜需要十道工序，蒸馏后学生模型只用三道关键工序就能做出味道相近的菜，大幅节省时间。

但仅靠分布匹配蒸馏还不够。研究团队发现，这种训练方法容易让模型“走极端”，出现画面漂移、内容退化、时间不连贯等问题。为防止这种现象，团队引入“相位一致性模型”作为额外约束，让学生模型在追求速度的同时，保证生成结果在感知上与教师模型的结果相近，通过基于图像感知特征的距离函数来衡量差异，从而兼顾效率与质量。

三、无限续写而不崩坏：滑窗推理与双缓存

模型训练好后，实际运行时还有一个工程挑战：视频无限长度生成，而计算机内存和算力有限。如果每生成一帧都要保存和处理所有历史帧，内存会被撑爆，延迟也会越来越高。

研究团队的解决方案称为“滑动窗口解码”，原理类似于用固定大小的放大镜在无限长的画轴上滑动——放大镜始终只看局部一段，画轴可无限延伸。具体来说，每次生成新帧时，模型只关注三类信息：一是“永久参考上下文”，即用户上传的第一帧图片和最早生成的第一个视频段，这个参考永远不会被遗忘，如同演员始终记得角色基本设定；二是滑动窗口内保留的近期历史帧；三是当前正在生成的这一帧。通过这种方式，推理时计算量固定，不会随视频长度增加而增长，从而支持无限时长生成。

但仅靠滑动窗口还不够，还需解决“漂移”问题。研究团队为此发明了“TwinCache（双缓存）”策略。每一帧生成后，系统为其保存两个版本：一个是带有少量噪声的“嘈杂版”，一个是完全干净的“清晰版”。在生成新帧的中间步骤中，历史帧使用“嘈杂版”提供参考——带噪声的记忆如同粗略轮廓，能传递大致动态信息，又不会将历史帧的每个细节强行复制到新帧上，即使之前帧有微小错误，也不会被精确放大传递。只在生成过程的最后一步，系统才切换到“清晰版”历史帧，补回精细外观细节和身份特征。这个过程类似于先用铅笔轻轻勾出大致姿势，等位置确定后再用钢笔画出五官和细节，既保证了动作连贯性，又避免因过于依赖历史细节而将错误代代传递。

此外，研究团队还对位置编码进行了优化。AI模型需要知道每一帧在整段视频中的位置，就像书上的页码，但当视频无限延伸时，页码会越来越大，超出训练时见过的范围，导致模型困惑。团队采用的策略是将历史帧的位置信息缓存起来，每次滑动窗口前进时重新计算相对位置，使所有可见帧的位置编号始终处于模型训练时见过的合理范围内，避免“页码越界”。

四、让计算快到飞起：硬件与软件的联合提速

再好的模型如果跑得太慢也是空谈。Vidu S1能在普通消费级显卡上达到每秒42帧，背后是一整套软硬件协同加速的工程设计，研究团队将其称为TurboDiffusion和TurboServe。

注意力机制是扩散模型中最耗时的计算环节，可理解为AI在生成每一帧时需要“同时关注”画面中所有位置之间的关系，计算量随画面大小呈平方级增长。团队引入三种互补的注意力加速方法：SageAttention利用8位整数精度做快速近似计算；SpargeAttention发现注意力矩阵中大部分数值很小，可跳过不计算，只专注于重要位置；Sparse-Linear Attention则进一步将部分注意力计算替换为更轻量的线性近似。三者联手大幅削减了注意力环节的延迟。

除了注意力，模型中大量的矩阵乘法运算（即“线性层计算”）也是耗时大户。量化是常见加速手段，原理是用更低精度的数字格式存储和计算模型参数，如同将精确到小数点后十位的数字四舍五入到小数点后两位，运算更快但可能损失精度。然而，团队发现通常使用的“按整个矩阵”或“按每一行”量化的方式，容易受到少数极端值的干扰——就像班级平均分被几个满分学生拉高，导致其他人分数被压缩。为此，团队专门实现了一种更细粒度的“按块”量化方案，将矩阵分成小块，每块独立量化，有效避免了极端值的污染，在保持精度的同时显著减少了内存占用和计算时间。

运算符融合是另一个加速手段。AI推理过程中有大量细小的计算步骤需要逐一调度执行，每次调度都有开销，如同工厂流水线上每道工序之间都有搬运时间。团队将多个相邻的小步骤合并成一个大步骤，减少调度次数，也避免了中间结果反复写入和读出内存。

针对推理过程结构固定、重复执行的特点，团队还使用了CUDA图技术，将一次推理涉及的所有GPU计算步骤预先“录制”成一个固定执行剧本，后续每次推理只需“重放”该剧本，省去了每次重新排列调度的开销，让GPU始终保持高负载运行。

当单张显卡算力不足时，系统将计算分散到多张显卡上并行处理。采用一种称为“Ulysses风格上下文并行”的方案，每张显卡只处理一部分序列切片，处理完毕后通过显卡间的集合通信汇总和重新分配，实现算力的横向扩展。

五、实验结果：各项指标均达最优

研究团队在两个基准上验证了Vidu S1的性能。一个是公认的标准公开测试集HDTF，另一个是团队自行构建的Vidu-StreamBench，后者包含500个测试样本，每个样本由一条动作指令、一张参考图片和一段音频组成，覆盖多种动作类型、图像风格、说话人属性、情绪状态和应用场景，专门用于测试模型在实时互动场景下的综合表现。

对比的竞品包括三个主流商业系统HeyGen、LemonSlice和Kling Avatar 2.0，以及多个开源研究模型，包括OmniAvatar-1.3B、StableAvatar-1.3B、Hallo3、Wan2.2-S2V-14B和LiveAvatar。评价指标主要有三个：CSIM衡量生成视频与参考图片中人物的身份相似度，数值越高越好；Sync-D衡量音频和嘴型的同步误差，数值越低越好；DOVER衡量视频的整体感知质量，数值越高越好。

在HDTF上，Vidu S1在所有三个指标上均达到最优：CSIM为0.9192（身份保持最好），Sync-D为7.847（音画同步误差最小），DOVER为0.5660（视觉质量最高）。与此同时，Vidu S1是所有对比系统中唯一既支持实时生成又支持指令控制的系统，在分辨率（960×540）和帧率（42 FPS）上也远超其他所有竞品。

在Vidu-StreamBench上进行的人类偏好对比测试结果同样突出。与HeyGen相比，人类评测者在总体偏好、动作流畅度、身份一致性、音画同步和动作可控性五个维度中，有四个维度更倾向于Vidu S1，其中在“动作可控性”这个维度，Vidu S1获得了100%的偏好率，没有一位评测者在这个维度上选择HeyGen，这说明当任务要求虚拟人物准确执行用户发出的具体动作指令时，Vidu S1的表现碾压性地优于竞品。与LemonSlice的对比中，Vidu S1同样在动作可控性上取得100%偏好率，动作流畅度和音画同步方面也有明显优势。与更注重指令控制的Kling Avatar 2.0相比，Vidu S1在动作可控性、动作流畅度和音画同步三个维度均胜出。

从定性的视觉对比来看，给定同一张参考图片和同一个动作指令“抬起头，做出若有所思的姿势”，Kling Avatar 2.0生成的结果中人物头部没有明显抬起，背景还出现了可见的伪影；Vidu S1则准确地完成了抬头动作，背景保持稳定，画面整洁。另一个指令“举起一只手，做出竖大拇指的手势”，Kling Avatar 2.0的生成结果中手势动作不正确，而Vidu S1成功且自然地完成了竖大拇指的动作。

这些结果共同说明，Vidu S1不只是“更快”的视频生成系统，而是在保持高质量的前提下，真正实现了用户可以随时发话、画面随时响应的实时互动体验。

说到底，这意味着什么

归根结底，Vidu S1解决的是一个很真实的需求：人们希望和屏幕里的虚拟形象进行真正的双向交流，而不是单方面地观看一段预先生成好的视频。这项技术一旦成熟，虚拟主播可以实时响应观众的语音互动，在线教育中的AI老师可以根据学生的口头提问即时变换表情和手势，游戏中的NPC（非玩家角色）可以像真人一样听从玩家的口头指令做出动作，个人化虚拟助手可以以一张你自己上传的照片为原型，用你选定的声音风格，24小时不间断地与你实时互动。

当然，目前Vidu S1仍处于研究阶段，现阶段主要面向单人正面视角的虚拟角色，应对的场景也集中在语音驱动的肢体动作和表情变化，距离全场景的通用实时虚拟人还有一定距离。但它已经证明了一件事：实时互动视频生成不是遥不可及的未来概念，而是现在就能在普通消费级硬件上跑起来的现实。

对该方向感兴趣的读者可通过arXiv编号arXiv:2607.03118查阅完整论文，也可访问团队提供的在线演示地址体验实际效果。

Q&A

Q1：Vidu S1和普通的AI视频生成模型有什么本质区别？
A：普通的AI视频生成模型采用“离线生成”模式，用户提交指令后需等待几分钟甚至更长时间才能拿到完整视频，过程中无法干预。Vidu S1则支持实时互动，用户在视频生成过程中的任意时刻都可以用语音发出新指令，虚拟人物会立刻做出对应动作，整个过程没有等待，就像和真人面对面交流一样。此外，Vidu S1还能无限续写视频而不会出现画面崩坏，这是大多数现有模型做不到的。

Q2：Vidu S1是怎么防止长视频越来越模糊、越来越崩坏的？
A：Vidu S1采用了两个关键设计。第一是“滑动窗口解码”，让模型每次只看固定长度的历史信息，计算量不随视频变长而增加。第二是“TwinCache双缓存”策略，为每一帧同时保留带噪声的粗略版本和完全清晰的精细版本，生成中间步骤时用粗略版本引导大致动态，避免历史错误被精确复制放大，只在最后一步才用清晰版本补回细节，从而兼顾连贯性和视觉质量。

Q3：Vidu S1支持哪些类型的虚拟角色和控制指令？
A：Vidu S1支持多种风格的虚拟角色，包括真实人物形象、动漫风格角色和宠物形象，用户可以上传自己的图片作为参考来创建个性化虚拟人，还可选择不同的声音风格。在控制指令方面，系统支持通过语音发出具体的肢体动作指令，如挥手、比心、竖大拇指、抬腿、坐下等，虚拟人物会实时响应并执行这些动作，同时保持与用户提供音频的嘴型同步。