[科普中国]-联合熵

联合熵是一集变量之间不确定性的衡量手段。

定义两个变量 和 的联合****信息熵定义为1：

其中 和 是 和 的特定值，相应地， 是这些值一起出现的联合概率, 若为0，则定义为0。

对于两个以上的变量，该式的一般形式为：

其中是 的特定值，相应地， 是这些变量同时出现的概率，若为0，则 被定义为0.

性质大于每个独立的熵一集变量的联合熵大于或等于这集变量中任一个的独立熵。

少于独立熵的和一集变量的联合熵少于或等于这集变量的独立熵之和。这是次可加性的一个例子。该不等式有且只有在和均为统计独立的时候相等。

与其他熵测量手段的关系在条件熵的定义中，使用了联合熵

互信息的定义中也出现了联合熵的身影：

在量子信息理论中， 联合熵被扩展到联合量子熵。

本词条内容贡献者为:

刘军 - 副研究员 - 中国科学院工程热物理研究所