Posts

生成式模型引入 生成式模型研究的是数据的生成机制。与之相比，判别式模型侧重于学习输入与输出之间的映射关系，即 $\mathcal X \mapsto \mathcal Y$；生成式模型则试图直接刻画数据分布 $p_{\theta}(x)$，使其尽可能逼近真实分布 $p_{\text{data}}(x)$。当模型能够较好地逼近该分布时，便可以进一步执行采样、密度估计、缺失信息补全以及潜在结构分析等任务。 ...

自回归模型（autoregressive model, AR）是最直接的一类显式生成模型。它并不试图一次性写出整个高维联合分布，而是先给随机变量规定一个顺序，再把联合分布拆成一串条件分布。这样做的结果是：模型既可以精确计算样本概率，又可以按顺序采样生成新样本。因此，自回归模型长期是密度估计、语言模型与图像生成中的核心方法。 ...

方阵 $\boldsymbol A \in \mathbb R^{M \times M}$ 可以视为一个线性变换。 在一个 $M-1$ 的单位超球面 $\mathcal X := \{\boldsymbol x \in \mathbb R^M \mid \lVert \boldsymbol x \rVert_2 = 1\} = \mathcal S^{M-1}$ 的原空间上，映射后的空间 $\mathcal Y = \{\boldsymbol {Ax} \mid \boldsymbol x \in \mathcal X\}$ 总是一个超椭球体。 类似于超球体可以由正交基定义，一个超椭球体可以通过 $\boldsymbol u_1,\dots,\boldsymbol u_M \in \mathbb R^M$ 这组正交基向量和对应方向上的缩放标量 $\sigma_1, \dots, \sigma_M$ 表示。 如果记 $\boldsymbol v_1, \dots, \boldsymbol v_M \in \mathbb R^M$ 是单纯形 $\mathcal S^{M - 1}$ 上的一组正交基向量，$\boldsymbol \Sigma = \operatorname{diag}(\sigma_1, \dots, \sigma_M)$ ,那么以下式子成立。 ...