[科普中国]-经验贝叶斯方法

定义

当先验分布未知时，利用历史样本来估计先验分布，并确定贝叶斯决策函数，这样的方法称为经验贝叶斯方法。一个决策函数，它不仅利用当前样本，还利用历史本来确定先验分布，称这样的决策函数为经验贝叶斯决策函数。

分类经验贝叶斯方法通常可分为参数经验贝叶斯方法和非参数经验贝叶斯方法两种。

设样本的条件密度为 ，参数 的先验分布 未知。记样本的边缘密度为

则 也未知。

若假设 的先验分布属于一己知的参数族，记为 ，则样本的边缘密度可写为 。那么，基于独立同分布 的历史样本 ，利用经典统计方法可以给出λ 的估计 ，进而得到先验分布的估计 ，并以其贝叶斯解为经验贝叶斯决策函数。这种方法称为参数经验贝叶斯方法。

若决策问题的贝叶斯解可以表示为 ，其中 和 是已知的函数，则可以用服从 的独立样本来估计 ，进而估计贝叶斯解 并作为决策问题的经验贝叶斯决策函数。这种方法称为非参数经验贝叶斯方法。

经验贝叶斯方法的关键是要有历史样本。1

贝叶斯定理贝叶斯定理是关于随机事件A和B的条件概率和边缘概率的一则定理。，其中P(A|B)是在B发生的情况下A发生的可能性。

在贝叶斯定理中，每个名词都有约定俗成的名称：

P(A)是A的先验概率或边缘概率。之所以称为"先验"是因为它不考虑任何B方面的因素。

P(A|B)是已知B发生后A的条件概率，也由于得自B的取值而被称作A的后验概率。

P(B|A)是已知A发生后B的条件概率，也由于得自A的取值而被称作B的后验概率。

P(B)是B的先验概率或边缘概率，也作标准化常量（normalized constant）.

按这些术语，Bayes定理可表述为：

后验概率 = (相似度*先验概率)/标准化常量

也就是说，后验概率与先验概率和相似度的乘积成正比。

另外，比例P(B|A)/P(B)也有时被称作标准相似度（standardised likelihood），Bayes定理可表述为：

后验概率 = 标准相似度*先验概率