1.1. 半监督学习导论

1.1.1. 问题背景

在机器学习和统计分类问题中，获取大量 有标签样本 往往代价高昂——需要专家标注、实验验证 或耗时的人工审核。与此相对，无标签样本 的获取成本极低甚至为零。

场景	有标签数据	无标签数据	标注成本
医疗影像诊断	数十到数百张	数百万张	需要专家放射科医生
文本分类	几千篇	数十亿网页	需要人工阅读标注
语音识别	几百小时	数百万小时	需要人工转写
遥感图像	少量标注区域	全球卫星图像	实地勘测成本高

半监督学习（Semi-Supervised Learning, SSL）正是为了解决这一问题而设计： 利用少量有标签样本 + 大量无标签样本，构建比仅用有标签样本更好的分类器。

1.1.2. 问题形式化

设有：

• 有标签样本集：\(\mathcal{L} = \{(x_1, y_1), (x_2, y_2), \ldots, (x_n, y_n)\}\)

• 无标签样本集：\(\mathcal{U} = \{x_{n+1}, x_{n+2}, \ldots, x_{n+m}\}\)

其中 \(n \ll m`（通常 :math:`m \gg n\)），\(x_i \in \mathbb{R}^d\) 为特征向量， \(y_i \in \{1, \ldots, K\}\) 为类别标签。

目标是利用 \(\mathcal{L} \cup \mathcal{U}\) 学习一个分类器 \(f: \mathbb{R}^d \to \{1, \ldots, K\}\)，使其在测试集上的泛化误差 尽可能小。

1.1.3. 一个反直觉的发现

Ahfock 与 McLachlan (2021) 在综述中指出了半监督学习中一个核心且看似矛盾的结果：

核心发现

由**部分分类样本**（部分有标签、部分无标签）构建的分类器， 其期望错误率**可能低于**由完全有标签样本构建的分类器。

这一结果通过在缺失标签的框架中引入**不可忽略的缺失机制**（non-ignorable missingness mechanism）来解释。当类别标签的缺失机制满足某些条件时，无标签数据中的信息 可以弥补因不知道缺失标签而损失的信息，从而可能获得更低的错误率。

1.1.4. SSL 的历史脉络

时期	里程碑	贡献者
1960s	首次提出自训练（self-training）的思想	C.A.B. Smith, Hills
1975	首次理论分析：自训练期望误差率随无标签样本收敛	McLachlan
1977	EM 算法提出，为 SSL 提供理论基础	Dempster, Laird, Rubin
1990s	半监督 SVM、协同训练（co-training）等经典方法出现	Vapnik, Blum, Mitchell
2000s	基于图的 SSL 方法、流形正则化	Belkin, Niyogi, Sindhwani
2010s-2020s	深度半监督学习：一致性正则化、伪标签、对比学习	多项工作

参见

本文主要参考 Ahfock & McLachlan (2021) "Semi-Supervised Learning of Classifiers from a Statistical Perspective: A Brief Review" 以及 Mey & Loog (2019) "Improvability through Semi-Supervised Learning: A Survey of Theoretical Results"。