第4章 感知 (Perception)#

包含感知(1) 传感器 + 感知(2) 测距与视觉 + 感知(3) 特征提取

---

4.1 传感器分类 ⭐#

按测量对象分#

按工作方式分#

传感器分类总表#

---

4.2 传感器性能特征#

基本额定值#

现场性能#

误差类型#

---

4.3 测距基本原理#

4.3.1 飞越时间法 (Time of Flight)#

基本公式: $d = c \cdot t / 2$

超声波特点:

• 频率: $40 \sim 180\ \mathrm{kHz}$
• 锥形波传播，开角 $20^\circ \sim 40^\circ$
• 测量圆弧段（非点），镜面反射问题
• 声速公式: $c = \sqrt{\gamma \cdot R \cdot T}$

激光测距三种方式:

1. 脉冲式: 直接测量往返时间（分辨皮秒级）
2. 差频法: 调频连续波与反射波差频
3. 相移法: $D = (\lambda / 4\pi) \cdot \theta$，其中 $\lambda = c / f$

4.3.2 三角测量法#

利用几何性质确定物体距离:

• 激光三角测量 (1D): $D = f \cdot L / x$，距离与 $1/x$ 成正比
• 基线 $b$ 越大 → 分辨率越高
• 焦距 $f$ 越长 → 分辨率越高（但体积大）

4.3.3 结构光 (Structured Light)#

• 将已知光模式投影到环境
• 摄像机捕获反射光
• 简单三角测量确定距离
• 例: Microsoft Kinect (IR projector + IR camera)

4.3.4 毫米波雷达#

• 频率 $30 \sim 100\ \mathrm{GHz}$，波长 $1 \sim 10\ \mathrm{mm}$
• 测距范围大（可达 $200\mathrm{m}$ 以上）
• $24\ \mathrm{GHz}$ (中短距/BSD) vs $77\ \mathrm{GHz}$ (长距/ACC)

传感器对比#

---

4.4 里程表法与编码器#

编码器类型#

• 增量式编码器: 测量相对转动，典型分辨率 2000 脉冲/转
• 绝对式编码器: 每位置有唯一编码（格雷码），断电不丢失

里程表法#

• 积分编码器数据 → 位置估计
• 优点: 直观简单
• 缺点: 误差累积无界
• 三类误差: 路程误差、转动误差、漂移误差

---

4.5 导向传感器#

---

4.6 计算机视觉基础#

4.6.1 成像原理#

透视投影模型:

• 3D 景象 → 2D 平面（丢失长度、角度信息）
• 保留: 直线仍然是直线
• 消失点 (vanishing point): 平行线在图像中汇聚点

4.6.2 摄像机内参矩阵 $K$#

$$\begin{bmatrix} u \\ v \\ 1 \end{bmatrix} = \begin{bmatrix} f_u & -f_u \cot\theta & u_0 \\ 0 & f_v / \sin\theta & v_0 \\ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} X_c \\ Y_c \\ 1 \end{bmatrix}$$

4.6.3 镜头畸变#

• 径向畸变: 桶形畸变 / 枕形畸变
• 还包括切向畸变和法向畸变

4.6.4 张正友标定法#

1. 打印模板贴平面
2. 从不同角度拍摄
3. 检测特征点
4. 求内外参数
5. 求畸变系数
6. 优化求精

---

4.7 图像预处理与滤波#

处理流程#

图像 → 预处理（阈值化/滤波） → 边缘检测 → 聚类/分割 → 直线提取（霍夫变换） → 特征提取 → 匹配

高斯平滑#

去除高频噪声，图像 $I$ 与高斯函数 $G$ 求卷积:

$$I_{\text{filtered}} = G * I$$

---

4.8 边缘检测 ⭐常考#

Canny 边缘检测#

核心思想: 将平滑和求导结合在一个操作中

步骤:

1. 图像 $I$ 与 $G'$ (高斯一阶导数) 卷积: $R = G' * I$
2. 对 $R$ 取绝对值
3. 超过阈值 $T$ 的 $|R|$ 局部极值做标记
4. 非最大抑制 → 单像素宽度的轮廓

常用梯度算子 ⭐重要#

Roberts (2×2):

$$G_x = \begin{bmatrix} 1 & 0 \\ 0 & -1 \end{bmatrix} \qquad G_y = \begin{bmatrix} 0 & 1 \\ -1 & 0 \end{bmatrix}$$

Prewitt (3×3):

$$G_x = \begin{bmatrix} -1 & 0 & 1 \\ -1 & 0 & 1 \\ -1 & 0 & 1 \end{bmatrix} \qquad G_y = \begin{bmatrix} -1 & -1 & -1 \\ 0 & 0 & 0 \\ 1 & 1 & 1 \end{bmatrix}$$

Sobel (3×3):

$$G_x = \begin{bmatrix} -1 & 0 & 1 \\ -2 & 0 & 2 \\ -1 & 0 & 1 \end{bmatrix} \qquad G_y = \begin{bmatrix} -1 & -2 & -1 \\ 0 & 0 & 0 \\ 1 & 2 & 1 \end{bmatrix}$$

Sobel 中心行/列权重为 2，对噪声更鲁棒。

---

4.9 霍夫变换 (Hough Transform) ⭐#

用途#

从边缘图像中提取直线。

原理#

图像空间中的直线 $y = mx + b$ → 参数空间中的点 $(m, b)$。 共线点在参数空间中交于同一点 → 投票机制。

步骤#

1. 产生 2D 阵列 $A[m,b]$，初始化为 $0$
2. 对每个边缘像素 $(x_p, y_p)$，遍历所有 $m, b$:
   • 若 $y_p = m \cdot x_p + b$，则 $A[m,b] \mathrel{+}= 1$（投票）
3. 搜索 $A$ 中最大值 → 对应最显著的直线

---

4.10 双目立体视觉 ⭐重要#

理想对齐情况#

两摄像机水平放置，基线 $b$，焦距 $f$，光轴平行。

$$\frac{x_l}{f} = \frac{X}{Z}, \qquad \frac{x_r}{f} = \frac{X - b}{Z}$$

视差: $d = x_l - x_r$

深度公式:

$$Z = \frac{b \cdot f}{d}$$

关键结论#

1. 深度与视差成反比 → 近物体更准确
2. 视差与基线 $b$ 成正比 → $b$ 大精度高（但公共视场小）
3. 共轭对处于表偏振线 (epipolar line) 上

一般情况#

两摄像机间存在旋转 $R$ (3×3) 和平移 $r_0$:

$$r'_r = R \cdot r'_l + r_0$$

• 完全校准需 $\geq 4$ 个共轭对（12 未知数，12 方程）
• $N > 4$ 时最小二乘: $r = (\Phi^{\mathsf{T}} \Phi)^{-1} \Phi^{\mathsf{T}} Y$

深度恢复（校准后）#

已知 $(x_l, y_l)$, $(x_r, y_r)$ 和 $R$, $r_0$, $f$:

1. 构造三个方程
2. 任意两个解出 $z'_l$ 和 $z'_r$
3. 得到 3D 位置

对应性问题#

• 双目视觉的关键挑战：左右图像中匹配同一物点
• ZLoG（高斯的拉普拉斯零相交）：辨别特征点
• 灰度级别匹配：沿表偏振线匹配灰度波形

立体视觉实例（课件）#

• 竖直边缘滤波器: $[1\; 2\; 4\; {-2}\; {-10}\; {-2}\; 4\; 2\; 1]$
• 深度图像: 亮 = 近，暗 = 远

---

4.11 景深测距#

• 锐度比较: 比较不同焦距下的子图像梯度 → 最大锐度 = 正确聚焦
• 3 台摄像机分别聚焦远/中/近，提高搜索效率

---

4.12 光流法#

光流约束方程:

$$u \frac{\partial E}{\partial x} + v \frac{\partial E}{\partial y} + \frac{\partial E}{\partial t} = 0$$

• $u = dx/dt,\; v = dy/dt$: 光流分量
• 仅能得到方向，$u$ 和 $v$ 不唯一 → 需附加约束（光流平滑性）

---

4.13 误差传播#

输出协方差矩阵:

$$C_Y = F_X \cdot C_X \cdot F_X^{\mathsf{T}}$$

其中 $F_X$ 是雅可比矩阵（$f(X)$ 梯度阵的转置）。

---

4.14 特征提取#

环境建模层次#

直线提取方法#

• 最小二乘
• 加权最小二乘（误差与 $r^2$ 成正比时用）

---

考前速记#