· 机器学习 / 逻辑回归 / SVM / 决策树 / K-means / PCA / 地形感知
人工智能导论 Day5:经典机器学习算法与地形感知
RedMoon · 2026-10-13 · 课堂笔记
这节课把统计学习中的几条经典路线串了起来:逻辑回归把线性分数变成概率,SVM 用最大间隔寻找更稳健的分类面,决策树用信息增益递归切分样本,K-means 在无标签数据中寻找簇中心,PCA 则沿方差最大的方向压缩高维表示。最后的 U2F 地形感知论文分享,把这些方法放回移动机器人场景:当训练环境与部署环境发生变化、端侧又无法现场重训时,如何利用不确定性估计和代价地图让路径规划更稳。
《第3章 机器学习基础》课件将内容分为经典统计学习、深度学习和强化学习三部分。本节对应经典统计学习部分;深度学习的具体结构与强化学习算法留待后续课堂展开。
一、三种学习范式与经典算法的位置
机器学习可以从三个维度理解:
| 维度 | 核心问题 | 典型方法 |
|---|---|---|
| 数据 | 是否有标签,反馈从哪里来 | 监督学习、无监督学习、强化学习 |
| 模型 | 用什么函数表示规律 | 线性模型、树模型、神经网络 |
| 目标 | 怎样定义“做得好” | 损失函数、准确率、累计回报、泛化能力 |
1. 监督、无监督与强化学习
- 监督学习:训练数据包含输入 $X$ 和目标 $Y$,模型学习从 $X$ 到 $Y$ 的映射。分类输出离散类别,回归输出连续数值。
- 无监督学习:只有输入数据,没有人工提供的标签,模型从数据内部寻找结构,例如聚类和降维。
- 强化学习:智能体与环境交互,依据奖励或惩罚学习策略。它关心的不只是静态样本,而是动作、状态转移和长期回报。
深度学习通常仍属于机器学习,只是更强调表示学习:模型从图像、文本、语音等原始数据中自动提取特征,再用这些特征完成预测。强化学习的重点则是环境交互和策略优化。三种范式并不是互相排斥的模型名称,而是在说明监督信号、数据组织方式和学习目标的差异。
2. 从有限样本学习规律
经典统计学习关注两个问题:
- 模型在已有样本上的损失是否足够低;
- 模型面对新样本时能否保持表现,也就是泛化能力。
一个抽象写法是
\[Y=f(W,X),\]其中 $X$ 是输入,$Y$ 是目标,$W$ 是训练阶段学习到的参数。训练时调整 $W$,推理时固定 $W$,把新的 $X$ 输入模型得到预测结果。这个框架能统一描述线性模型、神经网络等方法,但不能把所有规则式程序都硬说成“学习了参数”。
二、逻辑回归:把线性分数变成概率
逻辑回归虽然名字里有“回归”,主要用于二分类。它与线性回归的任务和输出不同:
| 比较项 | 线性回归 | 二分类逻辑回归 |
|---|---|---|
| 输出 | 连续数值 | 属于正类的概率 |
| 典型任务 | 预测房价等数值 | 判断样本属于哪一类 |
| 常用损失 | 均方误差 | 二元交叉熵 |
两者都可以从线性分数出发:
\[z=w^\mathsf{T}x+b,\]再通过 Sigmoid 函数把任意有限实数映射到 $(0,1)$:
\[\sigma(z)=\frac{1}{1+e^{-z}}.\]于是可以把
\[\hat{p}(y=1\mid x)=\sigma(w^\mathsf{T}x+b)\]解释为样本属于正类的概率。$z$ 越大,预测概率越接近 1;$z$ 越小,预测概率越接近 0。常用的分类阈值是 0.5,因为
\[\sigma(z)\geq 0.5\quad\Longleftrightarrow\quad z\geq 0.\]因此,逻辑回归的决策边界是
\[w^\mathsf{T}x+b=0.\]在二维输入中它是一条直线,在更高维输入中是一个超平面。需要区分两件事:Sigmoid 输出的是连续概率,阈值化之后才得到离散类别。概率输出便于排序、调节阈值和计算交叉熵损失,最终是否判为正类不必永远固定使用 0.5。
对 $y_i\in{0,1}$,常用的二元交叉熵为
\[L=-\frac{1}{n}\sum_{i=1}^{n} \left[y_i\log\hat p_i+(1-y_i)\log(1-\hat p_i)\right].\]真实标签为 1 时,损失鼓励 $\hat p_i$ 接近 1;真实标签为 0 时,损失鼓励它接近 0。这把课件中的“线性组合 → Sigmoid 映射 → 概率输出”补成了可训练的模型。
逻辑回归体现了一个重要的建模习惯:先用简单的线性结构表达样本关系,再用合适的非线性函数把分数转换成任务需要的形式。它的边界仍然是线性的,Sigmoid 并没有把输入空间中的直线边界变成任意复杂的曲线。
三、SVM:最大间隔与支持向量
1. 为什么不只追求“分对”
如果两类样本可以被很多条直线分开,只要求训练集零错误,得到的分类面可能贴近某些样本,面对新数据时不稳定。SVM 的核心思想是:在正确分类的前提下,让分类面到最近样本的距离尽可能大。
这个距离称为间隔。距离分类面最近、对边界位置起决定作用的样本称为支持向量。远离边界的样本通常不会直接决定最终的分界面,这也是 SVM 在小样本场景中仍有吸引力的原因之一。
对标签 $y_i\in{-1,+1}$ 的线性 SVM,硬间隔形式可以写成
\[\min_{w,b}\frac{1}{2}\lVert w\rVert^2 \quad \text{s.t.}\quad y_i(w^\mathsf{T}x_i+b)\geq 1.\]对任意点 $x$,它到分类超平面的几何距离为
\[d(x)=\frac{\lvert w^\mathsf{T}x+b\rvert}{\lVert w\rVert}.\]规范化后,两侧间隔边界分别是 $w^\mathsf{T}x+b=+1$ 和 $w^\mathsf{T}x+b=-1$。每一侧到分类面的距离为 $1/\lVert w\rVert$,两侧之间的总宽度为 $2/\lVert w\rVert$,因此最大化间隔等价于最小化 $\lVert w\rVert^2$。优化改变的是分类面的位置和方向,训练样本的位置保持不变。
线性 SVM 用 $\operatorname{sign}(w^\mathsf{T}x+b)$ 判断类别;分数恰为 0 时需要约定边界上的类别处理方式。
2. 软间隔:允许少量违例
真实数据常常含噪声、异常点或类别重叠,硬间隔要求每个样本都严格分对,可能导致模型被少数异常样本牵着走。软间隔引入松弛变量 $\xi_i\geq 0$:
\[\min_{w,b,\xi} \frac{1}{2}\lVert w\rVert^2 +C\sum_i\xi_i\]并满足
\[y_i(w^\mathsf{T}x_i+b)\geq 1-\xi_i.\]惩罚参数 $C$ 控制“间隔宽度”和“训练违例”之间的权衡:
- $C$ 较大时,更重视减少训练样本的违例;
- $C$ 较小时,更允许部分样本落入间隔甚至被误分类,以换取更宽、更平滑的间隔。
3. 核技巧:不显式构造高维特征
当原始空间中的样本线性不可分时,可以设想把样本映射到更高维的特征空间,在那里寻找线性分界面。核技巧的关键是:不必显式计算高维映射 $\phi(x)$,只需计算样本在该空间中的内积
\[K(x,z)=\phi(x)^\mathsf{T}\phi(z).\]核化后的预测可以写成
\[f(x)=\operatorname{sign}\left( \sum_{i\in\mathcal S}\alpha_i y_i K(x_i,x)+b \right),\]其中 $\mathcal S$ 是支持向量集合,$\alpha_i$ 是训练得到的系数。非支持向量的系数为 0,预测时只需计算新样本与支持向量之间的核值。在线性核下,$w=\sum_{i\in\mathcal S}\alpha_i y_i x_i$,就回到了线性决策形式。
课堂与课件涉及的核函数包括:
- 线性核:$K(x,z)=x^\mathsf{T}z$;
- 多项式核:$K(x,z)=(x^\mathsf{T}z+c)^d$,其中 $d$ 为正整数、$c\geq0$,把原始特征的组合关系扩展到多项式空间;
- 高斯/RBF 核:用样本间的距离定义相似性,常见形式为 \(K(x,z)=\exp\left(-\frac{\lVert x-z\rVert^2}{2\sigma^2}\right).\)
- Sigmoid 形式:$K(x,z)=\tanh(\kappa x^\mathsf{T}z+c)$,形状类似神经网络激活函数。它并非在任意参数和输入域下都满足正半定核的条件,使用时需要检查具体设置。
课件表格中高斯核与 Sigmoid 核的名称和公式对调了:指数距离形式对应高斯/RBF 核,$\tanh$ 形式对应 Sigmoid。核函数中的 Sigmoid 命名也应与逻辑回归的 Logistic 函数 $\sigma(z)$ 区分。
核方法和注意力机制都要计算样本或向量之间的关系,课堂用 $QK^\mathsf{T}$ 的内积作了类比。但两者不能直接等同:SVM 的核函数服务于核化分类器,注意力中的相似度计算还要经过缩放、归一化和加权求和。更准确的说法是,它们共享“通过关系计算组织信息”的结构性思路。
四、决策树:用信息增益递归切分空间
1. 从条件判断到分段边界
决策树把分类过程写成一串条件判断,例如“某个特征是否小于阈值”。每次划分都把当前样本集合分成更小的子集,递归进行后得到一组叶节点。几何上,常见的轴对齐决策树在输入空间中形成分段的、阶梯状的决策边界,因此能够逼近复杂的非线性分类区域。
读一棵树时,可以沿着“根节点 → 内部节点 → 分支 → 叶节点”理解:根节点接收初始样本集合,内部节点检查特征条件,分支表示不同判断结果,叶节点输出最终类别。训练负责选择这些条件与划分顺序,推理则让新样本按条件沿树向下走。
2. 熵与信息增益
熵衡量一个样本集合的不确定性。对类别比例为 $p_1,\ldots,p_K$ 的集合 $S$:
\[H(S)=-\sum_{k=1}^{K}p_k\log p_k.\]如果一个节点中的样本几乎都属于同一类,熵较低;如果各类比例接近,熵较高。用特征 $A$ 划分后,子集的加权平均熵为
\[H(S\mid A)=\sum_{v\in\mathrm{Values}(A)} \frac{\lvert S_v\rvert}{\lvert S\rvert}H(S_v).\]信息增益定义为
\[\operatorname{Gain}(S,A)=H(S)-H(S\mid A).\]增益越大,说明这次划分让样本集合的混乱程度下降得越多。ID3 等算法会选择信息增益较大的特征继续分裂,直到满足停止条件。
信息增益与交叉熵都来自信息论中的不确定性度量,但用途不同:决策树用它选择划分,分类模型的交叉熵通常用来度量预测概率分布与真实标签之间的差异。
五、K-means:无标签数据中的簇中心
K-means 不使用人工类别标签,而是把样本划分为 $K$ 个簇,使每个样本尽可能靠近所属簇的中心。给定样本 $x_1,\ldots,x_n$、簇中心 $\mu_1,\ldots,\mu_K$ 和分配变量 $c_i$,典型目标是最小化簇内平方误差:
\[\min_{\{c_i\},\{\mu_k\}} \sum_{i=1}^{n}\left\lVert x_i-\mu_{c_i}\right\rVert^2.\]基本流程是:
- 初始化 $K$ 个中心;
- 把每个样本分配给距离最近的中心;
- 对每个簇重新计算均值,更新中心;
- 重复分配和更新,直到中心或目标函数基本不再变化。
它的优点是流程清楚、计算速度较快、结果容易解释;局限性也很明确:
- 必须事先给定 $K$;
- 结果对初始化敏感,可能落入不同的局部最优;
- 平方距离会放大异常点影响;
- 更适合近似球形、尺度相近的簇,对细长、环形或密度差异很大的结构不自然。
课堂中特别区分了“簇”和“类别”:簇是算法从无标签数据中发现的组织结构,类别则通常意味着已有 ground truth。可视化时可以用不同颜色标记真实类别来评价聚类,但聚类算法训练时并不知道这些标签。
怎样选择簇数:肘部法
课件用簇内平方误差 SSE 随 $K$ 变化的曲线说明肘部法。分别尝试若干个 $K$,记录聚类后的 SSE:簇数增加时,最佳可达的簇内误差不会上升,但改善幅度可能逐渐变小。曲线由陡降转为平缓的位置像手臂的“肘部”,可作为簇数的候选值。课件示意图把转折点放在 $K=4$。
肘部法给出的是选择线索。有些数据没有清楚的转折点,实际迭代也可能受局部最优影响;需要结合多次初始化、簇的结构和任务用途判断。这里的 $K$ 表示簇数,PCA 中的 $K$ 则表示保留的主成分数。
六、PCA:沿最大方差方向压缩表示
1. 为什么需要降维
图像、人脸和传感器数据往往具有很高的维度。高维空间不仅计算成本高,样本也可能因为噪声、光照或姿态变化而挤在一起。PCA 的目标不是直接完成分类,而是用较少的正交方向保留数据中变化最大的部分。
2. 计算主成分
设 $X\in\mathbb R^{n\times d}$,每行是一条样本、每列是一个特征。先求均值向量 $\bar x=\frac1n\sum_i x_i$,对每条样本做中心化,得到 $X_c$。课件采用的协方差矩阵为
\[\Sigma=\frac{1}{n}X_c^\mathsf{T}X_c \in\mathbb R^{d\times d}.\]采用样本协方差时也常用 $1/(n-1)$;这只改变特征值的整体尺度,不改变主成分方向和解释方差比例。随后进行特征值分解:
\[\Sigma v_j=\lambda_j v_j.\]特征向量 $v_j$ 给出一个方向,特征值 $\lambda_j$ 表示数据沿该方向的方差大小。将特征值按从大到小排列,取前 $K$ 个特征向量组成投影矩阵
\[W_K=[v_1,v_2,\ldots,v_K],\]就可以把原始样本投影为
\[z=W_K^\mathsf{T}(x-\bar{x}).\]第一主成分保留数据变化最大的方向,第二主成分在与第一主成分正交的条件下保留剩余变化中最大的一部分,后续主成分依次类推。
3. 方差保留与重构误差
将前 $K$ 个单位正交特征向量组成 $W_K\in\mathbb R^{d\times K}$,全部样本的低维表示为 $Z=X_cW_K$。把它投影回原空间,得到
\[\hat X_c=ZW_K^\mathsf{T} =X_cW_KW_K^\mathsf{T}.\]还原原始坐标时,再加回均值向量。对于固定维数 $K$ 的线性正交投影,PCA 同时最大化保留方差、最小化平方重构误差:
\[\min_{W_K^\mathsf{T}W_K=I_K} \lVert X_c-X_cW_KW_K^\mathsf{T}\rVert_F^2.\]这里的“保留信息”有具体含义:保留数据的方差结构,并尽量减小原数据与重构数据之间的平方差。主成分彼此正交;课件个别位置写成“相交”,应结合这一正交条件理解。
4. 用累计解释方差选择维数
将特征值排序为 $\lambda_1\geq\cdots\geq\lambda_d\geq0$,在总方差非零时,第 $j$ 个主成分的解释方差比例与前 $K$ 个的累计比例分别为
\[r_j=\frac{\lambda_j}{\sum_{\ell=1}^{d}\lambda_\ell}, \qquad R_K=\frac{\sum_{j=1}^{K}\lambda_j} {\sum_{\ell=1}^{d}\lambda_\ell}.\]可以选择满足 $R_K\geq\tau$ 的最小 $K$,其中 $\tau$ 是预先设定的保留方差阈值。课件示例中,前四个主成分累计解释 89.4% 的方差,前五个为 93.9%;当阈值设为 90% 时,选择前五个主成分。93.9% 是该示意数据的数值,具体任务需要从自身训练数据重新计算。
5. PCA 的边界
PCA 优先保留方差,而不是类别可分性。方差最大的方向可能主要反映光照、背景或测量噪声,不一定是区分不同类别最有用的方向。因此,PCA 可以作为压缩、可视化和预处理方法,但不能直接等同于分类器。
课堂提到的 Eigenface 是人脸识别早期的代表性思路:把高维人脸图像投影到由主成分构成的低维空间,再在这个表示上进行比较或分类。它说明经典线性代数方法曾经在算力有限的条件下发挥重要作用,也说明降维与分类是两个不同阶段。
七、模型评估:从混淆矩阵读懂分类结果
二分类的混淆矩阵包含四种结果:
| 实际为正 | 实际为负 | |
|---|---|---|
| 预测为正 | TP:真正例 | FP:假正例 |
| 预测为负 | FN:假负例 | TN:真负例 |
由此得到常用指标:
\[\operatorname{Accuracy} =\frac{TP+TN}{TP+TN+FP+FN},\] \[\operatorname{Precision} =\frac{TP}{TP+FP},\] \[\operatorname{Recall} =\frac{TP}{TP+FN},\] \[F_1 =\frac{2\cdot\operatorname{Precision}\cdot\operatorname{Recall}} {\operatorname{Precision}+\operatorname{Recall}}.\]- 准确率回答“全部样本中有多少预测正确”;
- 精确率回答“预测为正的样本中有多少确实为正”;
- 召回率回答“实际为正的样本中有多少被找出来”;
- F1 用调和平均综合精确率和召回率。
当类别严重不平衡时,只看准确率可能产生误导。例如正类很少时,全部预测为负也可能得到很高的准确率,却几乎没有召回能力。此时应结合任务代价选择精确率、召回率、F1 或其他指标。
课堂还提到几类常见的误差或分布差异度量:
- MSE:$\frac{1}{n}\sum_i(y_i-\hat{y}_i)^2$,对较大的误差惩罚更强;
- MAE:$\frac{1}{n}\sum_i\lvert y_i-\hat{y}_i\rvert$,对异常值相对不那么敏感;
- KL 散度:衡量两个概率分布之间的相对差异;
- Wasserstein 距离:从“搬运概率质量”的角度衡量分布之间的距离。
MSE、MAE 比较成对的真实数值与预测数值,KL 和 Wasserstein 比较概率分布;选择指标时应先确定评价对象。KL 散度通常不对称,不满足距离度量的全部条件。课件将它们并列展示,是在介绍不同的误差工具,不能把它们当作可互换的普通回归误差。
数据划分与交叉验证
训练集用于拟合参数,验证集用于选择超参数和模型方案,测试集用于在最终确定方案后估计泛化表现。测试集不应被反复用来调参,否则它就不再是独立的最终检验。
数据较少时,可以在用于开发模型的数据内做 $k$ 折交叉验证。课件以 $k=5$ 为例:
- 把开发数据划成五个大小接近的子集;
- 每轮用其中四折训练,用剩下一折验证;
- 轮换五次,使每一折都恰好承担一次验证;
- 汇总五轮指标的平均值与离散程度,用于比较模型和超参数。
每一轮都需要重新拟合模型;标准化、缺失值处理和 PCA 等从数据学习参数的预处理,也必须只在该轮训练折上拟合,再应用到验证折。先对全量数据做 PCA、再切折,会把验证数据的统计信息带入训练流程。
普通随机分折适合近似独立同分布的样本;同一对象的重复观测应按组划分,时间序列应保持时间边界。完成模型选择后,在全部开发数据上重新拟合确定的方案,再用保留的测试集评价。课件中的“测试集最后使用一次”强调的是保持独立性;预先固定的重复评估可以用于估计随机波动,测试结果不能再反过来指导调参。
八、U2F 地形感知论文分享
1. 问题背景
移动机器人通常在一个或若干训练环境中学习地形感知模型,但部署时会遇到新的道路、光照、材质和视角。训练环境与实际环境之间的差异称为域偏移。如果机器人只能把图像送入一个在旧环境上训练好的模型,语义分割结果可能出现不确定区域。
端侧设备还受到算力、存储和能耗约束,现场重新训练并不方便。因此,分享中介绍的 U2F 方法关注的是:在不重新训练主模型的情况下,利用推理时的不确定性信息调整地形代价,再交给已有的路径规划器。
2. 从语义分割到代价地图
课堂分享中的处理链条可以概括为:
- 使用 PSPNet 对输入图像进行语义分割;
- 将像素分成 9 类地形;
- 再把 9 类归并为 3 组通行代价,例如可通行、优先通行和不可通行;
- 结合深度或几何信息,构造反映地形风险的代价地图;
- 将代价地图交给已有的全局规划器和局部规划器,生成机器人路径。
这样,感知模型不直接替代规划器,而是把“这里有多适合通行”转换成规划器可以使用的数值。
3. 自适应噪声与不确定性反馈
分享中采用原图和加噪图分别推理,通过两次输出之间的差异估计模型对当前区域的敏感程度。噪声强度不是固定不变,而是根据不确定性反馈自适应调节;马氏距离被用来描述当前特征与参考分布之间的关系。
直观地说:
- 输出在扰动前后仍然稳定的区域,可视为更确定;
- 输出对扰动敏感的区域,更可能处于域偏移或边界状态;
- 对不确定区域不能简单地沿用确定区域的通行代价,而应在语义代价和几何代价之间进行更谨慎的组合。
这里的重点不是“加噪声本身能提升分割精度”,而是把受控扰动当成一种测试模型稳定性的工具,再把稳定性信息传递给后续路径规划。
扰动稳定性衡量的是预测的一致性。一个区域可能在加噪前后都被稳定地分错,因此“更确定”还需要与几何约束、校准数据和实际通行结果共同解释。
4. 实验结论与边界
课堂展示的仿真与实地对比表明,自适应噪声方案相比固定的低噪声或高噪声设置,在不同场景下表现更稳定,规划路径也更接近分享中设定的偏好路线。由于当天资料没有附带论文原文,笔记不记录具体数据表、作者信息或精确提升百分比;这里保留的是课堂能够确认的机制和方向。
分享同时指出了几个需要继续处理的边界:
- 用来校准不确定性的参考数据不一定覆盖所有部署环境;
- 将不确定性压成二值的“确定/不确定”标签,可能粗化真实风险;
- 对不可通行地形的代价估计可能偏低,从而影响安全性;
- 周期性重新校准、连续不确定性输出和更完整的不确定性量化,可能比简单二值化更细致。
因此,U2F 的价值可以概括为一种面向资源受限机器人的轻量级域偏移处理路径:保持已有分割与规划模块不变,在两者之间增加不确定性估计和代价重整。
九、把经典算法放回今天的模型体系
这节课的算法虽然年代不同,却共享几条主线:
- 先定义关系,再定义目标:逻辑回归用线性分数,SVM 用间隔,决策树用熵下降,K-means 用簇内距离,PCA 用方差保留。
- 把复杂问题变成可优化的数:概率、间隔、熵、距离和方差,都是把“模型好不好”落成可计算的目标。
- 结构选择决定先验:SVM 的核函数、决策树的轴对齐切分、K-means 的欧氏距离、PCA 的线性正交方向,都把人对数据结构的假设写进了算法。
- 现代方法仍在处理关系与表示:核方法通过相似度组织样本,注意力通过内积组织上下文;PCA 寻找高方差表示,深度网络则学习更复杂的表示变换。它们不是同一个算法,但可以放在“如何表示关系、如何保留信息”的连续谱上理解。
- 部署目标不只是分类分数:U2F 案例说明,机器人最终需要的是安全、稳定、可规划的行为。感知模型的输出必须转化为代价地图,并与下游系统的约束共同决定结果。
经典机器学习的意义不只是复习几个历史算法。它们把“数据、表示、目标、评估和部署”这条链路讲得足够清楚;理解这条链路,再去看神经网络、注意力和大模型,会更容易判断一个新方法究竟改变了什么,又保留了哪些旧思想。