[科普中国]-变分参数

参数变分指的是自变量变换时保持不变的自适应参数，应用于数学分析，深度学习等领域。

简介对于普通的函数f(x)，我们可以认为f是一个关于x的一个实数算子，其作用是将实数x映射到实数f(x)。那么类比这种模式，假设存在函数算子F，它是关于f(x)的函数算子，可以将f(x)映射成实数F(f(x)) 。对于f(x)我们是通过改变x来求出f(x)的极值，而在变分中这个x会被替换成一个函数y(x)，我们通过改变x来改变y(x),最后使得F(y(x))求得极值。

变分指的是泛函的变分。打个比方，从A点到B点有无数条路径，每一条路径都是一个函数吧，这无数条路径，每一条函数（路径）的长度都是一个数，那你从这无数个路径当中选一个路径最短或者最长的，这就是求泛函的极值问题。有一种老的叫法，函数空间的自变量我们称为宗量（自变函数），当宗量变化了一点点而导致了泛函值变化了多少，这其实就是变分。变分，就是微分在函数空间的拓展，其精神内涵是一致的。求解泛函变分的方法主要有古典变分法、动态规划和最优控制。

变分贝叶斯方法的目的1、近似不可观测变量的后验概率，以便通过这些变量作出统计推断。近似求P(Z|D)。

2、对一个特定的模型，给出观测变量的边缘似然函数（或称为证据，evidence）的下界。主要用于模型的选择，认为模型的边缘似然值越高，则模型对数据拟合程度越好，该模型产生Data的概率也越高。

对于第一个目的，蒙特卡洛模拟，特别是用Gibbs取样的MCMC方法，可以近似计算复杂的后验分布，能很好地应用到贝叶斯统计推断。此方法通过大量的样本估计真实的后验，因而近似结果带有一定的随机性。与此不同的是，变分贝叶斯方法提供一种局部最优，但具有确定解的近似后验方法。

从某种角度看，变分贝叶斯可以看做是EM算法的扩展，因为它也是采用极大后验估计(MAP)，即用单个最有可能的参数值来代替完全贝叶斯估计。另外，变分贝叶斯也通过一组相互依然（mutually dependent）的等式进行不断的迭代来获得最优解。1

变分参数的平均场方法概念假设有一个很大很大的教室，里面坐着很多很多的学生，这些学生都在晨读，你是其中的一员。你听到的声音是所有学生发出的声音到拟这个位置的叠加，显然这个求和很复杂，因为你的听觉感受与声源到你的距离有关。为了简化这个求和，我们把所有学生在你这个位置产生的声音效果看作是噪音。如果这个教室真的足够大，大到我们可以忽略边界效应。现在，换一个场景，如果所有学生保持战斗队列（继续晨读），你现在是一位老师，在教室里巡视。然后无论你走到哪里，你的听觉感受都是一样的。这个噪音在任何位置都一样，无论往前走还是往右走一步都一样，这就是平移不变性。这个时候，噪音和一个均匀外场产生的效果一样，这个噪音就是平均场。

平均场方法的合理性在量子多体问题中，用一个（单体）有效场来代替电子所受到的其他电子的库仑相互作用。这个有效场包含所有其他电受到的其他电子的库仑相互作用。这个有效场包含了所有其他电子对该电子的相互作用。利用有效场取代电子之间的库仑相互作用之后，每一个电子在一个有效场中运动，电子与电子之间的运动是独立的(除了需要考虑泡利不相容原理)，原来的多体问题转化为单体问题。2

本词条内容贡献者为:

尹维龙 - 副教授 - 哈尔滨工业大学