多模态感知与传感器选型

一句话定义

机器人感知是把物理世界的光、力、位置变化转成算法可用信号的过程；工程第一步是按任务选择传感器组合，在分辨率、延迟、鲁棒性与成本之间做权衡。

为什么重要

• 感知质量是整个闭环的地基：下游策略再好，喂进去的是坏观测也无济于事（garbage in, garbage out）。
• VLA 时代感知看似"退化成给模型喂图"，但选型与标定仍然决定成败：视野盲区、深度噪声、延迟抖动都是真实失败的第一大来源。

前置知识

kp-003 闭环（感知是闭环输入端）。

核心概念

外感受（exteroception）——感知外部世界：

本体感受（proprioception）——感知自身：编码器（关节角度）、IMU（姿态/加速度）、电流环（力矩估计）、温度（电机过热）。详见 kp-105。

选型四要素：① 需要什么信息（位姿？接触？纹理？）② 频率与延迟预算 ③ 环境鲁棒性（光照、粉尘、反光物体）④ 成本与维护（触觉皮肤是耗材）。黄金组合：外部相机（全局视野）+ 腕部相机（局部遮挡解决）+ 力/触觉（接触时刻）+ 编码器/IMU（自身状态）。

原理与机制

• 多模态融合：不同传感器互补。视觉全局但怕遮挡；触觉局部但接触瞬间最可靠；本体感知高频无盲区。融合可在原始层（早期融合）、特征层或决策层（晚期融合）进行；学习式方法让网络自己学融合权重。
• 标定（calibration）是感知的前提：相机内参（焦距、畸变）、手眼标定（相机与机械臂坐标系关系，eye-in-hand / eye-to-hand）、多传感器时间同步（硬件触发或时间戳对齐）。时间不同步是数据采集系统最常见的隐性 bug——视觉与动作差 50ms，学出的策略就有系统性偏差。
• 延迟预算：从曝光到策略收到观测的总延迟（采集 + 传输 + 推理）决定可执行动作的速度；遥操作系统会显式建模这条链路（UMI 的 latency-aware 推理）。

公式与图示

物理世界 ──► 传感器 ──► 驱动/采集 ──► 时间戳对齐 ──► 标定(坐标变换) ──► 特征/原始张量 ──► 策略
              ▲                                                        │
              └────────── 故障检测：离群值、丢帧、漂移监测 ─────────────┘

手眼标定的核心方程 $AX = XB$：$A$ 为机械臂两次位姿变化的相对变换，$B$ 为相机观测到的同一变化，$X$ 为待求的手眼变换。经典解法 Tsai-Lenz（1989），现代用优化库一次解出。

直观类比

• 人类开车的感知配置：眼睛=相机（全局），手脚的本体感=编码器（你在哪），握方向盘的压感=力觉，耳朵=补充信息源。闭上一只眼深度感下降——就像单目深度不如深度相机可靠。
• 黑暗中找钥匙：视觉失效时，指尖触觉接管——多模态是冗余与互补，不是堆料。

实例与案例

• 抓取系统标准配置：1 个全局 RGB-D（定位物体）+ 腕部相机（接近时精修）+ 腕部 6 轴力传感器（接触判定）。AnyGrasp 等开源抓取流水线即此结构。
• ALOHA 数据采集：4 个 USB 相机（双臂各 2 视角）+ 关节编码器——刻意不用深度相机，靠多视角 RGB 降低成本与延迟，证明"够用的感知"也能训出精细策略。
• 反光/透明物体难题：吸盘分拣行业长期痛点；工业方案常用结构光 + 偏振滤光，或绕过视觉直接吸（无视觉抓取策略）。

常见误区

• 误区一：传感器越多越好。每一路都是延迟、标定负担与故障面；先用最少的传感器覆盖信息需求。
• 误区二：忽略时间同步。相机 30fps + 控制 1000Hz 的系统，若不对齐时间戳，策略学到的是"过去"。
• 误区三：把深度相机的 z 值当真值。消费级深度相机误差厘米级且边缘飞点；关键精度场景需标定、滤波或多帧融合。

自测题

1. 为"分拣混装箱中反光金属件"设计传感器方案，说明每件传感器解决什么失败模式。
2. eye-in-hand 与 eye-to-hand 各适合什么任务？
3. 为什么说时间同步是数据质量的隐形地基？

与其他知识点的关系

• kp-102 3D 视觉与 kp-103 SLAM：视觉模态的深入。
• kp-104 触觉力觉：接触时刻的感知深潜。
• kp-105 本体感知：自身状态估计。
• kp-403 遥操作采集：感知配置直接决定数据形态。

延伸阅读

• Siciliano et al., Robotics: Modelling, Planning and Control, 2009，第 3 章（传感）。
• Tsai & Lenz, A New Technique for Fully Autonomous and Efficient 3D Robotics Hand/Eye Calibration, 1989。