==================================
SSL 的核心假设
==================================

所有半监督学习方法都依赖于对数据分布的某种假设。这些假设是 SSL 能够工作的根本前提。
当假设不满足时，引入无标签数据**可能降低**模型性能。

平滑性假设
============

.. admonition:: 平滑性假设
   :class: note

   在高密度区域中距离较近的点，应该具有相似的类标签。

.. math::

   \text{若 } \|x_i - x_j\| \text{ 很小，且 } x_i, x_j \text{ 位于高密度区域，则 } y_i \approx y_j

.. code-block:: text

   示例：
   两个靠近的数据点 x₁ 和 x₂（都在数据密集区）
   → 它们的类标签应该相同

   违反情况：
   决策边界穿过高密度区域（标签在密集区域剧烈变化）

.. tip::
   平滑性假设是**一致性正则化**（consistency regularization）方法的基础——
   鼓励模型对相近的输入给出相近的预测。

聚类假设
=========

.. admonition:: 聚类假设
   :class: note

   处于同一个簇（cluster）的数据点很可能属于同一个类别。

聚类假设可以看作平滑性假设的一种特例——同一个簇天然是高密度区域。
不同之处在于，聚类假设更强调数据的**离散结构**。

.. code-block:: text

   数据分布：两个明显的簇
   ● ● ● ● ●   ▲ ▲ ▲ ▲ ▲

   聚类假设预测：
   左边的 ● 属于同一类
   右边的 ▲ 属于另一类

   决策边界应位于簇之间的低密度区域

低密度分离假设
===============

.. admonition:: 低密度分离假设
   :class: note

   分类决策边界应位于特征空间的低密度区域。

这其实是聚类假设的另一种表述形式——如果数据形成聚类结构，
那么类之间的自然边界正好位于簇间的低密度区域。

.. code-block:: text

   好的决策边界（低密度区域）：
   ● ● ● ● ● | ▲ ▲ ▲ ▲ ▲
               ↑ 决策边界在空白区域

   不好的决策边界（穿过高密度区域）：
   ● ● | ● ● ● ▲ ▲ ▲ ▲ ▲
        ↑ 决策边界切断了簇

.. seealso::
   **熵正则化** (Entropy Regularization) 方法正是基于这一假设：
   它通过最小化无标签数据的预测熵，强制模型做出"自信"的预测，
   从而将决策边界推离数据点聚集的区域。

流形假设
=========

.. admonition:: 流形假设
   :class: note

   高维数据大致位于一个低维流形（manifold）上。

流形假设是许多现代 SSL 方法的理论基础：

.. math::

   \mathbb{R}^D \supset \mathcal{M} \ni x_i  \quad (\dim(\mathcal{M}) = d \ll D)

其中 :math:`\mathcal{M}` 是一个嵌入在 :math:`\mathbb{R}^D` 中的 :math:`d` 维流形。

.. code-block:: text

   虽然图像是 1024 维的像素空间，
   但自然图像实际上位于一个低维流形上。
   沿着流形的移动改变语义内容，
   垂直于流形的移动产生噪声。

.. tip::
   流形假设的两个重要推论：

   1. **决策边界应在低维流形上平滑变化**
   2. **流形上的距离比欧氏距离更能反映样本的语义相似性**

   基于图的 SSL 方法显式建模了流形结构——每个样本是图上的节点，
   边的权重反映流形上的相似性。

假设强度与学习率
=================

Mey & Loog (2019) 给出了不同假设强度下的理论学习率：

.. list-table::
   :header-rows: 1

   * - 假设强度
     - 典型假设
     - 学习率（上界）
     - 说明
   * - 无假设
     - （无）
     - SSL 不提供改进
     - 无标签数据可能降低性能
   * - 弱假设
     - 平滑性、Lipschitz 条件
     - :math:`O(1/\sqrt{n})`
     - 与监督学习同速率，常数因子提升
   * - 中等假设
     - 聚类假设、低密度分离
     - :math:`O(n^{-1/2} \cdot \text{常数})`
     - 取决于聚类结构的清晰度
   * - 强假设
     - 流形假设 + 正确维数
     - :math:`O(e^{-n})` 指数级
     - 在流形上的有效样本量远大于 n

.. warning::
   假设越强，SSL 的潜在收益越大，但假设错误的代价也越大。
   当数据不满足流形假设时，强行使用基于流形的方法**会损害性能**。