机器学习

生成式模型引入 生成式模型研究的是数据的生成机制。与之相比，判别式模型侧重于学习输入与输出之间的映射关系，即 $\mathcal X \mapsto \mathcal Y$；生成式模型则试图直接刻画数据分布 $p_{\theta}(x)$，使其尽可能逼近真实分布 $p_{\text{data}}(x)$。当模型能够较好地逼近该分布时，便可以进一步执行采样、密度估计、缺失信息补全以及潜在结构分析等任务。 ...

自回归模型（autoregressive model, AR）是最直接的一类显式生成模型。它并不试图一次性写出整个高维联合分布，而是先给随机变量规定一个顺序，再把联合分布拆成一串条件分布。这样做的结果是：模型既可以精确计算样本概率，又可以按顺序采样生成新样本。因此，自回归模型长期是密度估计、语言模型与图像生成中的核心方法。 ...