1.7. 开放问题与未来方向

尽管半监督学习在理论和实践上都取得了重大进展，仍有许多根本性问题尚未解决。

1.7.1. 开放问题

核心问题：现代深度 SSL 方法（尤其是结合强数据增强的一致性正则化）为什么能够成功？

已知：
- 数据增强编码了任务不变性先验
- 一致性正则化强制局部平滑
- 熵正则化推动决策边界到低密度区域

未知：
- 这些机制是如何相互作用的？
- 成功的关键驱动因素是什么？
- 能否为深度 SSL 提供类似 Fisher 信息的理论刻画？

核心问题：对于判别式分类器（如神经网络），能否量化无标签数据的 Fisher 信息？

生成式模型：✓ 有精确的 Fisher 信息分析
判别式模型：✗ 缺乏类似的理论工具

挑战在于判别式模型不建模 P(x)，使得 P(x) 对 P(y|x)
的影响无法通过参数共享来自然表达。

核心问题：当 SSL 的假设不满足时，如何检测并防止性能下降？

实际问题：生产环境中的数据可能不满足流形假设或聚类假设
风险：引入无标签数据可能使性能低于纯监督基线

需要：
- 可检验的假设验证方法
- 自适应 SSL（自动弃用有害的无标签数据）
- 安全 SSL（保证不差于监督基线）

核心问题：如何在实际场景中对标签缺失机制建模？

现有理论多假设 MCAR 或 MAR
实际场景通常是 NMAR（非随机缺失）

例如：在医疗诊断中，医生倾向于标注"疑难"病例——
标签的缺失与样本难度（标签本身）相关。

核心问题：从强监督 → 弱监督 → 半监督 → 无监督，是否存在统一的理论框架？

现有 SSL 方法在有标签样本极少时退化到接近无监督
但无监督学习的理论框架与 SSL 有显著差异

需要一个统一视角来解释监督信号从密集到稀疏到消失时
学习行为的变化。

当前的深度 SSL 方法大多是启发式的（empirically driven）。
未来有望基于统计理论设计更透明、更高效的 SSL 算法。

- 基于 Fisher 信息的方法选择无标签数据
- 以方差缩减为目标的自适应采样
- 假设自适应的模型选择

数据增强是当前 SSL 成功的核心因素之一。
需要更深入地理解：

- 增强策略的"信息量"如何量化？
- 自动增强搜索（AutoAugment）与 SSL 的协同
- 增强不变性的 PAC-Bayes 分析

开发"安全"的半监督学习方法：

- 理论保证：SSL 性能至少不差于纯监督基线
- 异常检测：识别并排除违反假设的无标签样本
- 分布外（OOD）检测：测试时的不兼容样本

传统 SSL 假设无标签数据中的类别与有标签数据一致。
开放集 SSL 放松这一假设——允许无标签数据中出现未见过的类别。

- 同时进行新类发现和半监督分类
- 对未知类别的鲁棒建模
- 与主动学习（Active Learning）的结合

不同模态的数据往往共享语义信息：

- 图像 + 文本：维基百科的多模态 SSL
- 视频 + 音频：视频中的音画联合建模
- 传感器融合：不同传感器的无标签对齐

基础模型（Foundation Models）时代，SSL 的角色正在变化：

- 预训练 → 少样本微调（本质是一种 SSL）
- 无标签数据训练大模型，有标签数据微调指令
- 大模型生成的伪标签在小模型上的蒸馏

小技巧

半监督学习不再是"少数派"方法。在大模型时代，几乎所有实际系统都在以某种形式使用 SSL 的思想—— 从预训练到微调，从自监督到半监督。