1.3. SSL 的核心假设

所有半监督学习方法都依赖于对数据分布的某种假设。这些假设是 SSL 能够工作的根本前提。当假设不满足时，引入无标签数据**可能降低**模型性能。

1.3.1. 平滑性假设

平滑性假设

在高密度区域中距离较近的点，应该具有相似的类标签。

\[\text{若 } \|x_i - x_j\| \text{ 很小，且 } x_i, x_j \text{ 位于高密度区域，则 } y_i \approx y_j\]

示例：
两个靠近的数据点 x₁ 和 x₂（都在数据密集区）
→ 它们的类标签应该相同

违反情况：
决策边界穿过高密度区域（标签在密集区域剧烈变化）

小技巧

平滑性假设是**一致性正则化**（consistency regularization）方法的基础—— 鼓励模型对相近的输入给出相近的预测。

聚类假设

处于同一个簇（cluster）的数据点很可能属于同一个类别。

聚类假设可以看作平滑性假设的一种特例——同一个簇天然是高密度区域。不同之处在于，聚类假设更强调数据的**离散结构**。

数据分布：两个明显的簇
● ● ● ● ●   ▲ ▲ ▲ ▲ ▲

聚类假设预测：
左边的 ● 属于同一类
右边的 ▲ 属于另一类

决策边界应位于簇之间的低密度区域

低密度分离假设

分类决策边界应位于特征空间的低密度区域。

这其实是聚类假设的另一种表述形式——如果数据形成聚类结构，那么类之间的自然边界正好位于簇间的低密度区域。

好的决策边界（低密度区域）：
● ● ● ● ● | ▲ ▲ ▲ ▲ ▲
            ↑ 决策边界在空白区域

不好的决策边界（穿过高密度区域）：
● ● | ● ● ● ▲ ▲ ▲ ▲ ▲
     ↑ 决策边界切断了簇

参见

熵正则化 (Entropy Regularization) 方法正是基于这一假设：它通过最小化无标签数据的预测熵，强制模型做出"自信"的预测，从而将决策边界推离数据点聚集的区域。

流形假设

高维数据大致位于一个低维流形（manifold）上。

流形假设是许多现代 SSL 方法的理论基础：

\[\mathbb{R}^D \supset \mathcal{M} \ni x_i \quad (\dim(\mathcal{M}) = d \ll D)\]

其中 \(\mathcal{M}\) 是一个嵌入在 \(\mathbb{R}^D\) 中的 \(d\) 维流形。

虽然图像是 1024 维的像素空间，
但自然图像实际上位于一个低维流形上。
沿着流形的移动改变语义内容，
垂直于流形的移动产生噪声。

小技巧

流形假设的两个重要推论：

基于图的 SSL 方法显式建模了流形结构——每个样本是图上的节点，边的权重反映流形上的相似性。

Mey & Loog (2019) 给出了不同假设强度下的理论学习率：

假设强度	典型假设	学习率（上界）	说明
无假设	（无）	SSL 不提供改进	无标签数据可能降低性能
弱假设	平滑性、Lipschitz 条件	\(O(1/\sqrt{n})\)	与监督学习同速率，常数因子提升
中等假设	聚类假设、低密度分离	\(O(n^{-1/2} \cdot \text{常数})\)	取决于聚类结构的清晰度
强假设	流形假设 + 正确维数	\(O(e^{-n})\) 指数级	在流形上的有效样本量远大于 n

警告

假设越强，SSL 的潜在收益越大，但假设错误的代价也越大。当数据不满足流形假设时，强行使用基于流形的方法**会损害性能**。