红杉YC投资，AI视频电话几乎无延迟，Her形象成真

最近，Ta vus推出了一款新型对话视频AI，许多用户认为这比单纯阅读文档或文字聊天更具趣味性，甚至有人用“恐怖”来形容其实时响应速度。

不少用户将这款产品视为一种全新的人机交互界面，体验过的用户更是直呼“上瘾”。

可在网页端试玩2分钟

了解到这一消息后，我们第一时间访问了Ta vus官网。

官网提供了2分钟的在线体验机会，让用户感受这款“史上最快对话视频”的实际效果。

体验过程中，对话对象是Ta vus预设的一个虚拟角色——卡特。该角色设定为Ta vus公司的一名AI视频研究员，风格幽默且乐于助人。

如下所示：

虽然卡特是虚拟人物，但与他进行视频通话的感觉如同与朋友聊天一般自然。

官方建议，体验时最好选择安静的房间，并授权摄像头与麦克风。

卡特在聊天中透露，用户最喜欢与他讨论的话题包括Ta vus背后的AI技术、分享个人日常心路历程，以及讲笑话。说到兴头上，他当场讲了一个冷笑话，讲完后还自己捧场笑了两声。

实际体验2分钟后的总体感受如下：

首先，响应速度确实惊人，完全符合官方宣称的“一秒以内”。即便用户在他说话时突然打断，他也能立刻停止并认真倾听最新发言。

其次，虽然官方称支持30多种语言，但无论用中文还是英文提问，他均无法用中文回答。当询问“Can you speak Chinese”时，卡特会礼貌地拒绝：“我更愿意用英文对话呢！”

第三，Ta vus的AI确实具备“视觉”能力。体验过程中一度冷场，不知该问什么，只能傻笑。卡特立刻捕捉到这一情况，主动开口寻找话题。

第四，在试玩版本中，卡特的口型与说话内容几乎完全同步，几乎没有延迟感。这也难怪有网友体验后直呼“有点吓人”。

目前，注册后即可直接使用Ta vus的对话视频AI。正式版中，可选择的AI形象不止卡特一个，有男有女，身份设定覆盖销售、生活指导等多种角色。聊天背景也可根据用户喜好更换，不再局限于办公室场景。同时，用户还能手动输入对话上下文，个性化定制程度相当高。

目前提供免费和收费两种形式，对应不同的生成权益。

基于自研模型开发

支撑这一切的背后，是Ta vus团队自研的Phoenix-2模型。

该模型结合了音频与文本驱动的3D模型以及2D GANs，能够生成1-2分钟的逼真短视频。生成过程大致分为四步：TTS（文本转语音）、头部和肩部的3D重建、提示词脚本驱动的面部动画、高保真渲染。

为了让AI形象更逼真，团队在构建渲染pipeline时，创新性地将GAN与3D高斯泼溅相结合。传统GAN受限于图像分辨率，而体积模型在时间一致性上存在不足。因此，Ta vus将两者结合——以3D模型作为“中间体”，实现了超过100 FPS的渲染效率，同时由于动态物体周围的物理感知约束，可控性和通用性也更强。

相比初代Phoenix模型，Phoenix-2最大的改进是替换掉了NeRF，转而利用3D高斯泼溅来学习驱动3D空间中的面部动态变形，并根据不可见的音频渲染视图。从实际表现来看，3D高斯泼溅在数据、内存、计算复杂度、流程和渲染效率上均明显优于NeRF。基于3D高斯泼溅的Phoenix-2，训练速度比初代快70%，渲染速度达到60+ FPS。

Ta vus表示，对话中加入了回合结束检测与可中断性，使互动过程更真实。此外，由于面部信息非常敏感，团队还配备了安全检查、安全协议、自动内容审核和反幻觉检查，以保护信息安全。

值得一提的是，Phoenix系列模型还支撑了Ta vus的另一款产品——生成用户数字孪生形象的对话视频。只需提供2分钟素材、花费1美元（起），即可调用API生成视频内容。

官方提示，这是一个端到端的解决方案，具备以下能力：

• 使用API，构建安全、真实的数字孪生或AI Agent
• 定制LLM、对话的人物角色和背景
• 在嵌入式会议室中流式传输、转录并分享对话记录
• 通过生产级可扩展性处理高流量

“不<1s，就不是人了”

Ta vus是一家成立四年的AI视频初创公司，规模不大。团队成员大多来自Amazon、Descript、Google和Apple。公开资料显示，截至今年3月，公司已获得红杉、Scale VC、YC的A轮投资，融资额约1800万美元。

Ta vus的联合创始人兼CEO是Hassaan Raza，曾在谷歌和苹果工作。

联合创始人兼COO在Producthunt上留言表示，这款对话视频AI耗费了数千小时的研究、工程与建造。至于为何追求1秒或更短的延迟，官方的答案很简单：为了尽可能模拟真实人类之间的视频对话——因为如果反应速度不低于1秒，那么与你聊天的就不是人了。

参考链接

[1]https://www.ta vus.io/careers

[2]https://x.com/heyta vus/status/1824075891271749903

[3]https://www.producthunt.com/posts/conversational-replicas-by-ta vus