AI不光得会说，还不能乱插嘴，Omni AI变革实时交互
AI如今已具备听、看、回答的能力。
然而，在持续变化的对话中，它如何在回应时依旧维持理解与推理？
当你指示AI分析屏幕上的图表，随即又补充道“等一下，注意右侧那条曲线”，系统必须终止原有回答，更新目标，并核实后台计算是否仍然有效。
实时交互的挑战，正蕴含于这些瞬间。
来自伊利诺伊大学厄巴纳—香槟分校、卡内基梅隆大学、哥伦比亚大学等机构的研究人员，近期发表了一篇综述，提出了一个统一概念框架，用于连接全模态智能与交互能力。该框架系统梳理了从流式表征、模型架构、训练方法，到实时部署与评测的完整技术链路，并总结了智能与交互之间的关键权衡及未来研究方向。
论文地址： https://doi.org/10.13140/RG.2.2.20245.69602 项目地址： https://github.com/ShenYifanS/Awesome-Interactive-Omni
图1｜该综述汇总了349篇相关研究，提出了统一概念框架，将全模态智能与交互能力视为两个相互关联的组成部分，串联起表示、架构、训练、部署与评测环节。来源：论文 Figure 1。
实时交互全模态智能
Omni AI（全模态智能）致力于实现对文本、图像、音频和视频等多种模态的统一理解、推理与生成。然而，具备多模态能力，并不等同于具备自然的交互能力。
该综述将实时交互式全模态智能划分为两个相互关联的部分：
Omni Intelligence（全模态智能）：聚焦于跨模态的理解、推理与生成。
Omni Interactivity（全模态交互）：关注回应时机、轮次管理、打断处理以及动态调整。
论文进一步归纳了三个关键特征：流式输入、持续演进的内部状态，以及在线响应控制。这意味着模型需持续接收信息、更新判断，并动态决定何时回应、等待或修正输出。
图2｜全双工交互支持同时听说，并需处理附和、语音重叠与打断。“原生”则强调时间对齐、增量处理及交互控制被整合到模型架构与训练中。单纯降低回答延迟，并不足以满足这些要求。来源：论文 Figure 2。
两条技术路线
在统一概念框架下，该综述总结了两条主要技术路径。
其一，基于现有模型进行适配。通过流式处理、模态模块、后训练和外部编排，为预训练语言模型或全模态模型增添实时交互能力。其优势在于复用已有能力，挑战则在于延迟、状态同步与打断控制。
其二，构建原生交互模型。将连续多模态处理、时间结构和交互控制融入模型架构与训练，以实现更紧密的感知与交互协同，但这给训练数据和能力保留提出了更高要求。
何时开口，如何应对打断？
实时交互要求模型准确判断何时回应、等待，以及如何处理中途打断。
围绕这些议题，该综述系统梳理了响应时机控制、轮次管理与打断恢复机制，分析了现有方法如何结合语音、视觉、语义和任务状态，来实现动态交互决策。
在训练层面，文章总结了如何利用停顿、附和、语音重叠、纠正与沉默等交互信号，让模型不仅学会回答什么，也学会何时回答。
针对打断后的交互恢复，该综述进一步归纳了六个关键环节：
检测（Detect）：识别用户是否真正发起打断，区分有效指令与背景噪音。
让出话语权（Yield）：及时停止或降低当前语音输出。
回退（Rollback）：对齐用户实际听到的内容。
取消（Cancel）：中止过时的任务。
修订（Revise）：根据新指令更新意图和任务。
恢复（Resume）：基于更新后的状态继续交互。
兼顾智能与交互
面对复杂推理和工具调用，模型过早回答可能导致信息不足，而等待计算完成又会拖累交互体验。
该综述将这一问题概括为智能与交互之间的权衡（Intelligence–Interactivity Trade-off）：训练阶段关注交互适配对原有能力的影响，运行阶段则需平衡响应速度与答案质量。
图3｜智能与交互之间的权衡：训练阶段关注能力保留，运行阶段关注响应时机与任务完成质量。来源：论文 Figure 14。
为应对这一权衡，该综述进一步讨论了多时间尺度交互智能（Multi-Rate Interactive Intelligence），通过协调快速响应与较慢的推理、检索和工具调用，兼顾交互实时性与复杂任务处理能力。
一种实现思路是前后台协同：前台负责持续感知和快速响应，后台异步执行复杂推理与工具任务，并通过状态同步避免使用过时的计算结果。
图4｜前台维持低延迟交互，后台异步执行检索、工具调用、推理和记忆操作。来源：论文 Figure 6。
评测与展望
针对现有评测难以同时衡量回答质量与交互行为的问题，该综述从延迟、时机质量、内容质量、鲁棒性、长会话质量和修复能力六个维度，系统整理了现有评测方法，强调需在可比较的交互场景与资源预算下，同时衡量智能水平与交互表现。
该综述进一步总结了四个值得关注的未来方向：
多时间尺度协同：协调不同时间尺度下的感知、推理与交互。
持续状态与长期记忆：维护长时间交互中的任务状态与记忆。
主动与社会性交互：判断主动回应时机，理解多人交互中的角色与权限。
开放环境中的安全与效率：兼顾安全、计算成本与系统可靠性。
从“能听、能看、能说”，到持续理解、适时回应并动态调整行动，是实时交互式全模态智能下一阶段的重要研究方向。
参考资料：
https://doi.org/10.13140/RG.2.2.20245.69602
本文来自微信公众号“新智元”，作者：LRST，36氪经授权发布。若您对此领域感兴趣，可通过开云新版App下载了解更多前沿技术动态。