2026-07-09 15:51:04 作者：狼叫兽

人与 AI 的沟通正在变得越来越像人与人之间的沟通。

一位店员用 AI 制作门店宣传视频时，不再把需求列成一段非常细致的 Prompt 发给 AI，然后等待它返回结果；

而是直接开启一个与 AI 的对话，告诉它“帮我剪一条今天新品上架的视频”，然后通过连续对话敲定任务的具体细节，就像与人类剪辑师一样。

同样的情况已经发生在很多具体场景中。

一些程序员在通勤或散步时会用语音和 Agent 讨论一个功能该怎么设计，如何实现；

有用户在玩游戏时，会不断与 AI 游戏助手沟通现在应该做哪些任务，当前的关卡还有哪些道具没有收集……

进入 Agent 时代，AI 不再只是输入框另一端的响应系统，而是开始进入需求讨论、方案判断和任务执行的全过程。

这种角色变化，也让音视频对话成为越来越多人与 Agent 交互的主要方式。

数据显示，豆包 App 在今年一季度的音频用量环比增长约200%，视频用量增长约350%；

近一年来的音视频模型日均 Token 消耗已经达到千亿级别。

联想天禧 AI 看世界功能从2025年8月上线到2026年5月，人均对话轮次提升至刚上线时的1.65倍，是传统一问一答主对话的3倍。

当越来越多的人把与 Agent 的主要沟通方式从打字切换到视频或语音，多模态对话就很可能会成为人与 Agent 协作的主要交互界面。

语音、视频、屏幕共享和环境信息都会成为这个界面的一部分。

用户不再只是“输入问题”，而是在一个持续的上下文中，让 Agent 理解任务、补充信息、调用工具并参与执行。

但要真正实现这一点，对多模态交互能力的要求就不能只是“能听见声音”或“能看见画面”，而是要具备接近人的沟通能力，同时做好听觉、视觉、记忆和意图四项能力。

只有当这些能力同时成立，多模态对话才会从一种输入方式，升级为支撑任务判断、方案形成和执行推进的协作机制，支持 Agent 完成从工具到伙伴的进化。

一、从等待指令到参与讨论

多模态交互真正改变的，不只是用户向 Agent 发出指令的方式，而是 Agent 进入任务的时间点。

在人与人的协作中，很多需求和答案并不是一开始就完整存在。

往往先是有一个模糊的想法，然后在大家讨论中不断被追问细节，结合场景、资源和目标不断补充信息，最终才被沉淀成一个清晰的执行方案。

现在，人与 Agent 的沟通也开始从一次性发出指令，转向在多轮交流中澄清需求、形成方案。

这是多模态交互改变协作方式的关键。

首先，它降低了人与 Agent 沟通的门槛。

对很多人来说，用一段文字向 AI 提需求是一个看似简单、实际上很难的问题。

用户需要知道如何描述背景、目标、限制条件和期望结果，也需要提前预判模型可能会误解的地方。

Prompt 写得不完整，结果就会偏差；

想把 Prompt 写清晰，又需要付出一定的时间和精力进行思考、学习。

多模态交互让用户可以用自己最习惯的方式表达需求，不需要学习如何写好 Prompt，甚至也不需要掌握专业工具和术语。

在开头提到的用 AI 制作门店宣传视频的场景中，店员与 Agent 协作时，就只需要想明白自己要什么样的成果，不必再变成一个既懂技术又懂业务的多面手。

其次，在人与 Agent 的充分讨论中，问题的上下文能被更完整地还原。

当前很多任务的挑战不在执行，而在没有充分向 Agent 澄清需求。

尤其是编程、设计、办公、内容生产等场景，用户一开始往往只有一个方向，而不是一份完整需求文档。

如果 Agent 只接收一个静态 Prompt，它只能基于有限信息直接执行；

如果能通过多模态交互和用户反复讨论，它就可以追问关键条件、澄清模糊表达、补全上下文，在理解目标、约束和实现路径的基础上，进入执行环节。

例如，在 Vibe Coding 场景中，Agent 的价值不只发生在写代码这一刻，而是更多体现在需求讨论和方案澄清阶段。

TRAE Work “语音讨论”功能的数据显示，用户平均每通对话与 Agent 交互17轮；

60%的对话属于探索发散型；

70%的对话用于方案讨论，只有30%用于代码生成。

最后，多模态交互也符合人类工作重心从执行到监督的转移趋势。

随着 Agent 能力继续增强，用户会越来越少地亲自执行具体步骤，而是转向监督和保障 Agent 执行任务的效果。

未来很多工作甚至不再需要人一直守在屏幕前，而是由 Agent 持续推进，在遇到不确定、需要判断或需要授权的环节时，再提醒人介入。

这样的工作状态下，语音和视频会成为更自然的监督和介入方式。

人在通勤路上，可以用语音和 Agent 讨论方案；

可以通过屏幕随时观察 Agent 的执行状态和结果；

也可以打开摄像头，让 Agent 结合现场画面给出新的判断。

因此，多模态对话的价值不只是让用户少打字，而是改变了 Agent 进入任务的阶段：它从结果生成环节前移到需求形成、方案讨论和执行监督环节。

二、类人沟通，迈向人与Agent协作的关键进化

Agent 的多模态交互能力让人不必始终待在传统操作界面里，也能配合其完成工作。

这需要在四个方面进行增强：

第一是听觉，目标是在真实环境中保证 Agent 能与人进行顺畅、高效的沟通。

真实世界的声音环境远比实验室复杂。

用户可能在地铁、咖啡厅、办公室、户外环境中和 Agent 对话，环境里往往有回声、噪音；

还可能面对多人沟通场景。

对人来说，我们可以自然区分“谁在跟我说话”“哪句话与我有关”；

但对 Agent 来说，这需要依赖声学和语义系统实现。

火山引擎为提升 Agent 的多模态交互能力，会面向 Agent 优化回声消除、基于声纹识别的降噪，以及声学和语义的联合理解。

传统回声消除会更关注人耳的听感，但 Agent 更在意语音识别的完整性，因此需要在压制回声的同时，保护主讲人的声音频谱。

声纹识别则可以帮助 Agent 锁定主讲人，减少旁人说话带来的干扰。

声学和语义的联合理解，可以让 Agent 知道这句话是不是对它说的。

只有 Agent 能稳定听清用户、理解用户，用户才会愿意用自然语言持续和它交流。

这对终端场景尤其重要。

联想天禧 AI 看世界的使用场景包括了办公、户外、看球、健身、通勤等真实环境。

借助火山引擎的听觉能力，联想将自由打断、低延迟响应和高拟真音色打造成了 AI 看世界的体验亮点。

第二是视觉，可以让 Agent 和用户共享同一个问题现场。

联想天禧 AI 看世界打通了实时对话、屏幕共享和摄像头共享三种模式。

用户可以在 Excel 里问“这几个单元格怎么合并”，也可以让 AI 评价自己今天的穿搭，让 AI 陪自己看剧、估算食物热量。

实现这种视频理解体验的难点不是让 Agent 看到更多画面，而是让它看到更有效的画面。

连续视频里有大量重复帧、模糊帧和低价值信息，如果全部送入模型，会带来成本和延迟压力，也会影响理解效率。

因此，服务 Agent 的多模态交互需要在端侧提升采集质量，在云端具备关键帧优选、智能抽帧能力，并能具备选择性注意力。

其中，选择性注意力是火山引擎推出的让 Agent 能进行类人沟通的关键能力之一。

它能让 Agent 在处理连续画面前，先根据用户的意图去创建一个实时视觉理解任务，带着目标去看视频。

比如，在服务球赛场景时，Agent 应该能通过球衣号码辨别出对应的球员，进而确认需要追踪哪位球员的场上动作。

第三是记忆，决定了 Agent 与人能否跨越单次会话，实现真正的合作。

真正的类人沟通不是只理解当前一句话，而是能记住过去发生了什么，和用户之间发生过什么。

比如用户问“刚才午饭热量高吗”，Agent 需要回忆起此前看到的食物画面。

这样的交流才会更接近人与人之间的相处状态。

火山引擎为多模态交互构建了三层记忆体系：第一层是增强上下文，负责将多模态解析出来的画面核心主体类型、时空位置、行为动作等信息结构化，作为上下文提供给 Agent；

第二层是短期记忆，记录几分钟前看到的画面或听到的声音；

第三层是长期记忆，抽象和记录用户长期交互中的关键行为、习惯特征和重要事件。

具体实践中，联想天禧 AI 会据此搭建跨端、跨会话、跨场景的记忆体系。

这套记忆系统不只服务于主对话，也会接入 AI 看世界，并覆盖 PC、Phone、Pad 多端。

用户无论通过文字、语音还是视频交互，记忆都可以被沉淀下来，并在下一次会话中被调用。

这会让 Agent 不再只处理单次请求，而是开始沿着用户的生活和任务脉络持续积累上下文。

第四是意图，解决 Agent 能否参与任务定义的问题。

人类沟通中，大量信息并不会被明确说出。

用户说“帮我做一个权限管理系统”，真正重要的问题可能是：权限按角色分配还是按部门分配？是否需要审批？是否有管理员层级？是否要和现有系统打通？

一个只会执行的 Agent 会立刻开始生成结果；

而一个更接近协作者的 Agent，则会主动追问关键约束，把模糊需求变成可执行方案。

听觉解决“听见谁”，视觉解决“看见什么”，记忆解决“记得哪些上下文”，意图解决“到底要完成什么任务”。

四项能力共同构成了 Agent 从对话走向协作的基础。

这也是火山引擎的多模态交互能力区别于传统问答的地方。

它能在连续沟通中理解用户真正想完成什么，并达成协作共识。

三、当多模态对话成为通用协作界面

多模态交互最终不会只是某个 App 里的一个功能模块，而会变成通用的 Agent 任务界面。

过去，语音、视频、拍照识别、屏幕共享往往是分散功能。

用户需要在不同入口之间切换：想语音就打开语音模式，想识别图片就上传图片，想让 AI 理解屏幕就截图。

未来，这些能力会融合成一个持续感知、持续协作的 Agent 入口，用户可以随时切换模态与 Agent 沟通，依靠 Agent 调用工具完成协作任务。

联想天禧 AI 看世界已经在终端侧展示了这种趋势。

它不是单独增加了一个视频通话功能，而是把火山引擎提供的 RTC/AgentRTC、端到端语音、TTS、ASR、Seed 大模型、视觉理解、多模态传输等能力，与联想天禧 AI 自身的会话管理、记忆管理、跨端同步、人设管理、场景编排、上下文路由结合起来，再呈现在 PC、Phone、Pad 等设备上。

这意味着，实时对话正在从“打电话模式”变得更加通用，逐渐嵌入到工具、内容和现实场景中。

AI 眼镜之所以被认为是未来的关键硬件产品之一，就是因为它天然接近人的视角，可以持续接收声音、画面和环境信息，是为“随时可见、随时可说、随时可协作”的 Agent 准备的理想载体。

当 Agent 能听、能看、能记住、能理解意图，用户就可以通过 AI 眼镜这样的伴身硬件与其建立更自然的联系，利用自然语言和视觉信息操控其完成现实中的任务。

比如看到一台设备，可以直接询问异常原因；

在陌生环境中，也可以让 Agent 结合眼前画面进行解释，提供行动建议。

这种交互闭环本身就是一个适配 Agent 的通用操作界面，承载着未来人与物理世界的互动。

它会非常接近人们在影视作品中看到的钢铁侠的贾维斯，或者高智能方程式赛车里的车载电脑。

它们并不是被动等待指令的工具，而是持续理解环境、记住用户、适时介入、协助执行任务的伙伴。

这种协作方式也会进一步抬高多模态交互技术的天花板。

过去 AI 产品比的是模型能力和任务效率，未来还会比谁更接近用户的真实使用现场，谁能让用户更自然地持续交流、持续信任、持续协作。

对 Agent 来说，下一代入口可能不只是一个应用，也不只是一个硬件，而是一套围绕多模态对话建立起来的协作系统。

声明：本文内容仅代表作者个人观点，与本站立场无关。

如有内容侵犯您的合法权益，请及时与我们联系，我们将第一时间安排处理。