[科普中国]-被动强化学习

被动强化学习指的是在完全可观察环境的状态下使用基于状态表示的被动学习。在被动学习中，Agent的策略是Pi是固定的：在状态s中，它总是执行行动Pi(s)。

背景传统的机器学习系统是一个模型逐渐优化的学习系统，学习的终极目标是收敛到一个最优解，期待是确定的数学模型。传统的ML系统方法期待模型直接学习到模式的空间结构，并得到空间结构的等价模型映射，相对于任意模型，学习到的模型是e精度最优的，即是e精度最接近的，这就意味着最大的准确率和最大的泛化性能。

跨越到连接主义的范畴，强化学习是一个反馈式学习系统，其期待是一个不断根据反馈进行优化的模型，并非一次成型。

专家系统由专家构建明确的推理规则和知识节点，模型约束为逻辑约束；监督学习构建明确的函数模型和模型参数，模型约束为拓扑约束；非监督学习形式与监督学习不同而结果相同。强化学习系统附加了一个强化规则/函数，用于实时更新模型。

专家系统、机器学习系统可以构建一个反馈系统的外围，构建一个强化学习系统，以应对交互和反馈、以及时序输入和在线模型更新。1

直接效用估计由widrow和hoff在1950s末末期在自适应控制理论里面提出的 直接效用估计。思想为：认为一个状态的效用是从该状态开始往后的期望总回报，二每次实验对于每个被访问状态提供了该值的一个样本。

直接效用估计使RL成为监督学习的一个实例，其中每一个学习都以状态为输入，以观察得到的未来回报为输出。此时，RL已经被简化为标准归纳学习问题。

后记：作为作准归纳学习的直接效用估计，是稳定的且收敛的。

时序差分学习时序差分学习TD.（Timporal-difference）：求解内在的MDP并不是让Berman方程来承担学习问题的唯一方法。另外一种方法是：使用观察到的转移来调整观察到的状态的效用，使得它满足约束方程。

ADP方法和TD方法实际上是紧密相关的。二者都试图对效用估计进行局部调整，以使每一状态都与其后继状态相“一致”。一个差异在于 TD调整一个状态使其与所有已观察的后继状态相一致，而ADP则调整该状态使其与所有可能出现的后继状态相一致，根据概率进行加权演化出的近似ADP算法可以提高几个数量级的运算速度。2

本词条内容贡献者为:

陈红 - 副教授 - 西南大学