最近在看一些跟 MCMC 有关的研究，发现有很多东西是以前在学校里没有接触过的，所以想稍微整理一下，方便自己、也方便读者未来对 MCMC 进行更深入的了解。这里我先立个 Flag，计划写成一个系列，虽然以很大的可能最后会鸽掉。本文是这个系列的第一篇，将引入一个重要的概念，几何遍历性（Geometric ergodicity）。
MCMC 的内容非常广，我们先从一个典型的算法开始，即 Gibbs 抽样（Gibbs sampler）。我们的目的是从一个联合分布 (p(x,y)) 抽取 (X) 和 (Y) 的样本，但通常 (p(x,y)) 的形式比较复杂，很难直接抽样。但如果两个条件分布，(p(x\vert y)) 和 (p(y\vert x))，具有某些特殊的形式，使得从条件分布抽样很简单，那么 Gibbs 抽样就可以派上用场。我们任意指定一个初值 (X_0)，然后进行下面的迭代：
- 抽样 (Y_i\sim p(y\vert x=Xi))
- 抽样 (X{i+1}\sim p(x\vert y=Y_i))
那么在一定的条件下，((X_i,Y_i)) 的分布会随着迭代次数 (i) 的增大而逐渐逼近 …