[科普中国]-贝叶斯统计

技术原理先验分布

它是总体分布参数θ的一个概率分布。贝叶斯学派的根本观点，是认为在关于θ的任何统计推断问题中，除了使用样本X所提供的信息外，还必须对θ规定一个先验分布，它是在进行推断时不可或缺的一个要素。贝叶斯学派把先验分布解释为在抽样前就有的关于θ的先验信息的概率表述，先验分布不必有客观的依据，它可以部分地或完全地基于主观信念。

例如，某甲怀疑自己患有一种疾病A，在就诊时医生对他测了诸如体温、血压等指标，其结果构成样本X。引进参数θ：有病时，θ=1；无病时，θ=0。X的分布取决于θ是0还是1，因而知道了X有助于推断θ是否为1。按传统（频率）学派的观点，医生诊断时，只使用X提供的信息；而按贝叶斯学派观点，则认为只有在规定了一个介于0与1之间的数p作为事件{θ=1}的先验概率时，才能对甲是否有病（即θ是否为1）进行推断。p这个数刻画了本问题的先验分布，且可解释为疾病A的发病率。先验分布的规定对推断结果有影响，如在此例中，若疾病A的发病率很小，医生将倾向于只有在样本X显示出很强的证据时，才诊断甲有病。在这里先验分布的使用看来是合理的，但贝叶斯学派并不是基于 “p是发病率”这样一个解释而使用它的，事实上即使对本病的发病率毫无所知，也必须规定这样一个p，否则问题就无法求解。

后验分布根据样本 X 的分布Pθ及θ的先验分布π（θ），用概率论中求条件概率分布的方法，可算出在已知X=x的条件下，θ的条件分布 π（θ|x）。因为这个分布是在抽样以后才得到的，故称为后验分布。贝叶斯学派认为：这个分布综合了样本X及先验分布π（θ）所提供的有关的信息。抽样的全部目的，就在于完成由先验分布到后验分布的转换。如上例，设p=P（θ=1)=0.001，而π（θ=1|x)=0.86，则贝叶斯学派解释为：在某甲的指标量出之前，他患病的可能性定为0.001，而在得到X后，认识发生了变化：其患病的可能性提高为0.86，这一点的实现既与X有关，也离不开先验分布。计算后验分布的公式本质上就是概率论中著名的贝叶斯公式（见概率），这公式正是上面提到的贝叶斯1763年的文章的一个重要内容。

贝叶斯推断方法的关键在于所作出的任何推断都必须也只须根据后验分布π（θ│X），而不能再涉及X的样本分布Pθ。

例如，在奈曼－皮尔逊理论（见假设检验）中，为了确定水平α的检验的临界值C，必须考虑X的分布Pθ，这在贝叶斯推断中是不允许的。但贝叶斯推断在如何使用π（θ│X）上，有一定的灵活性，例如为作θ的点估计，可用后验分布密度h（θ|X）关于θ的最大值点，也可以用π（θ|X）的均值或中位数（见概率分布）等。为作θ的区间估计，可以取区间[A(X)，B(X)]，使π（A(X）≤θ≤B(X）│X）等于事先指定的数1-α（0