导语

近年来，视觉—语言—动作模型、世界模型、通用机器人和多模态基础模型快速发展，机器人已经能够理解复杂指令，并在越来越多的操作任务中生成连续动作。然而，从“识别场景”到“真正与物理世界交互”之间，仍然存在一个关键问题：机器人不仅需要知道眼前是什么，还需要理解什么可以被操作、应该在哪里操作，以及如何将这种理解转化为可执行动作。

可供性（Affordance）正是连接视觉理解与物理交互的重要概念。它描述环境、任务与智能体之间的行动可能性：杯柄可以被抓取，按钮可以被按压，空闲桌面可以用于放置物体，而这些可能性又会随着任务目标、环境状态和机器人本体能力发生变化。

因此，可供性正在成为连接场景理解、任务推理与机器人行动的重要接口。如何从统一视角理解其在具身智能中的作用，也变得越来越重要。

近期，南洋理工大学、香港科技大学（广州）、上海交通大学、伊利诺伊大学厄巴纳—香槟分校、悉尼大学、利物浦大学、爱丁堡大学、清华大学、MBZUAI、苏黎世联邦理工的研究者联合撰写综述《From Passive Perception to Active Interaction: A Survey of Affordance Learning for Embodied AI》，系统梳理了可供性学习在具身智能中的角色与发展脉络。

论文标题：From Passive Perception to Active Interaction: A Survey of Affordance Learning for Embodied AI论文链接：https://www.preprints.org/manuscript/202610.0392项目主页：https://jingliangli.com/affordance-surveyGitHub：https://github.com/hq-King/Awesome-Affordance-Learning

1、从分散研究到统一视角

现有可供性综述大多从计算机视觉或机器人学习的单一视角展开：一类关注功能理解、识别、分割与定位，另一类则更多讨论认知基础、发展式学习、可供性关系、强化学习和机器人操作。

随着三维感知、基础模型、LLM / MLLM、VLA 和大规模机器人学习的发展，这些研究方向正在快速汇合。但已有综述较少系统讨论可供性如何从感知进一步进入任务推理，并最终作用于机器人行动。

针对这一缺口，该综述从完整的具身智能视角出发，以感知—推理—行动为主线，将长期相对分散的视觉可供性感知、任务推理与机器人交互研究纳入统一体系，并进一步梳理相关方法、数据集、评测体系与未来挑战。

2、统一框架：感知—推理—行动

该综述将可供性学习组织为三个相互关联的角色，分别对应从发现行动机会、判断任务相关性，到最终支持机器人执行的不同阶段。

从统一问题表述来看，可供性可以进一步从三个互补维度理解：

What：能做什么Where：在哪里交互How：如何进一步支持执行

这种组织方式将“发现行动机会—判断任务相关性—转化为可执行行为”串联起来，也构成了全文后续分类与讨论的基础。

 3、领域演进：五个关键范式转变

过去十年，可供性学习逐渐从监督式视觉预测走向更加面向真实行动的具身学习。综述从监督来源、空间表征、输出形式、泛化能力以及与机器人行动的融合五个方面，总结了五个相互关联的范式转变。

1. 从密集标注 → 多样化证据从像素级 mask 扩展到稀疏标注、人—物交互、模型先验和物理仿真等多来源证据。

2. 从 2D 图像平面 → 3D 度量空间从 heatmap、mask 和关键点扩展到点云、Mesh、3D 高斯等三维表征。

3. 从静态区域预测 → 可执行交互表征从“哪里可以交互”进一步扩展到接触点、运动参数、抓取位姿和交互轨迹。

4. 从闭集识别 → 开放集泛化从预定义类别扩展到未见物体、未见可供性和开放词汇任务。

5. 从模块化管线 → 策略学习融合可供性不再是独立前置视觉模块，开始作为显式条件、隐式表征或优化信号融入扩散策略、VLA 等动作模型。

下图按照时间梳理了 2016—2026 年间代表性工作的演进，可以看到研究重点逐渐从视觉定位扩展到交互驱动、三维空间、开放集、推理、智能体工作流和策略学习。

      图注：可供性研究演进时间线

除了具体方法的演进，论文还从整体统计上观察了研究趋势。可供性定位正在明显从 2D 走向 3D，开放集泛化方法快速增加，同时越来越多工作开始进入真实机器人执行。

      图注：可供性演进时间线与份额占比

4、可供性感知：哪里可以交互？

可供性感知关注的是：环境中存在哪些潜在行动机会，以及相应的对象、部件或区域在哪里。

综述从四个互补且非互斥的视角组织现有研究：

视觉可供性感知：在二维图像中定位功能区域；空间可供性感知：在三维物体和场景中定位可供性；交互驱动的可供性感知：从人—物交互图像、视频和示范中学习功能知识；可泛化的可供性感知：向未见物体、未见可供性和开放词汇任务迁移。

      可供性感知四大范式

5、可供性推理：当前任务该选哪一种？

找到多个可交互区域，并不意味着机器人已经知道当前任务应该利用哪一个。

例如，同一个杯子既可以抓杯柄，也可以抓杯身；最终选择取决于任务目标、对象关系、场景上下文和机器人自身能力。

综述按照主要推理机制，将可供性推理划分为三个互补范式：

关系式可供性推理：通过对象、部件、动作和场景之间的结构关系进行推理；语言中心的可供性推理：利用 LLM / MLLM 理解指令、任务和隐式意图；智能体式可供性推理：通过工具调用、证据获取、验证和重新规划完成动态推理。

      可供推理三大范式：从分析关系到以语言为中心到智能体范式

这里的重要变化是：可供性不再只是一个静态预测结果，而逐渐成为随任务、上下文和证据动态变化的决策依据。

6、可供性引导行动：如何真正转化为机器人行为？

可供性的最终价值在于：它能否真正支持机器人动作生成与执行。

综述将现有方法归纳为两类主要范式。

6.1 分层式“可供性到行动”

这类方法将可供性作为显式中间接口，再交给下游模块生成动作，主要包括：

动作基元执行：根据可供性选择或参数化抓取、推动、旋转等技能；检索式迁移：从历史人类或机器人交互中检索相似经验并迁移到当前任务；基于规划的执行：将可供性作为空间目标、约束或优化目标，进一步生成机器人可执行动作。

6.2 可供性融合的策略学习

另一类方法直接将可供性融入策略或动作模型，主要包括：

显式输入：将 mask、heatmap 或接触点等作为策略输入；隐式表征：在模型内部学习与可供性相关的功能特征；优化信号：通过动作筛选、奖励或目标设计引导策略学习。

      可供引导行动两大技术路线对比

7、数据集与评测

随着研究范围扩展，可供性数据集已经从早期二维掩码标注，逐渐扩展到三维几何、人类交互、自然语言推理和机器人执行。

综述将代表性数据集归纳为五类：

物体中心数据集：关注单个物体上的功能部件与可供性区域，包含 2D 和 3D；场景级数据集：在智能体所处完整环境中评估与上下文相关的可供性；交互驱动数据集：从人—物交互图像、视频或示范中获取功能与交互信息；语言与推理数据集：结合语言指令、问题或人类意图，评估任务相关的可供性理解与推理；行动导向数据集：面向抓取、操作和机器人执行等任务，强调可供性与真实行动之间的联系。

      代表性 Affordance 数据汇总

这些类别并非严格互斥，同一个 benchmark 可能同时覆盖多个维度。

在评测方面，IoU、mAP、aIoU、heatmap similarity 等指标能够衡量预测结果与标注之间的一致性，但视觉预测准确并不等同于机器人能够成功执行。

因此，未来评测还需要进一步纳入机器人本体约束、空间与物理可行性，以及真实任务中的执行结果，从“预测是否准确”进一步走向“是否真正可执行”。

8、未来方向与关键挑战

在梳理现有研究的基础上，综述进一步总结了五个值得重点关注的问题。

1. 可供性表征与机器人行动如何有效融合

不同形式的可供性表征如何真正改善机器人策略，仍缺少统一、可控的系统比较。

2. 可扩展学习与开放世界泛化

核心不只是获得更多数据，而是如何在扩大规模的同时保留可迁移的功能知识。

3. 可靠且自主的可供性定位

未来系统需要从人工拼接的流水线，走向自主工具调度、证据验证和失败后自动重试。

4. 闭环可供性建模与规划  

可供性应随着观测、动作和执行反馈持续更新，而不是停留在一次性静态预测。

5. 具身评测、安全与可信性

评价目标需要从“能不能做”进一步扩展到“是否可行、是否安全、是否应该这样做”。

9、小结

近年来，视觉语言模型、三维表示、VLA、机器人数据和策略学习正在快速融合，但从场景理解到真实行动之间，仍然需要一种能够表达功能与交互关系的桥梁。

可供性的价值正在于此：它比物体类别更接近行动，又比底层控制更容易被理解和验证。

这篇综述的核心并不只是整理已有方法，而是以感知—推理—行动为主线，重新审视可供性学习在具身智能中的作用：

从发现行动可能性，到根据任务判断相关可供性，再到将其真正转化为机器人行动。

未来的问题，也不再只是“哪里可以抓得更准”，而是如何让机器人在陌生环境中**主动发现、判断、验证并安全利用新的行动可能性**。

声明:此文版权归原作者所有，若有来源错误或者侵犯您的合法权益，您可通过邮箱与我们取得联系，我们将及时进行处理。邮箱地址:zhaobozhi@jnexpert.com