熵 | Entropy

1 定义

熵的概念最早起源于物理学，用于度量一个热力学系统的无序程度。在信息论里面，熵是对不确定性的测量。但是在信息世界，熵越高，则能传输越多的信息，熵越低，则意味着传输的信息越少。

2 公式

依据Boltzmann's H-theorem，香农把随机变量 \(X\) 的熵值 \(Η\)（希腊字母 \(\Eta\)）定义如下，其值域为 \({x_1, ..., x_n}\)：
\(\mathrm{H}(X)=\mathrm{E}[\mathrm{I}(X)]=\mathrm{E}[-\ln (\mathrm{P}(X))]\tag{1}\)
其中 \(I(X)=-\ln (\mathrm{P}(X))\) 又被称为 \(X\) 的信息量（自信息）。
对于一个离散随机变量 \(X=\left\{x_{1}, x_{2}, \cdots, x_{n}\right\}\)，其概率 \(p_{i}=p\left(X=x_{i}\right)\)，则其熵定义为：
\(H(X)=-\sum_{i=1}^{n} p\left(x_{i}\right) \log p\left(x_{i}\right)\tag{2}\)
其中当 \(p\left(x_{i}\right)=0\) 时：
\(p\left(x_{i}\right) \log p\left(x_{i}\right)=0\tag{3}\)

3 条件熵

定义事件 \(X\) 与 \(Y\) 分别取 \(xi\) 和 \(yj\) 时的条件熵为
\(\mathrm{H}(X \mid Y)=-\sum_{i, j} p\left(x_{i}, y_{j}\right) \log \frac{p\left(x_{i}, y_{j}\right)}{p\left(y_{j}\right)}\tag{4}\)
其中：
其中 \(p(xi, yj)\) 为 \(X = x_i\) 且 \(Y = y_j\) 时的概率。

参考文献

[1] https://zh.wikipedia.org/wiki/%E7%86%B5_(%E4%BF%A1%E6%81%AF%E8%AE%BA)
[2] https://hsinjhao.github.io/2019/05/22/KL-DivergenceIntroduction/