信息量、熵和交叉熵- 简书
文章推薦指數： 80 %
信息量、熵和交叉熵总结
信息量利用概率倒数的对数对事件的稀缺性进行衡量
熵是一个随机系统信息量的期望
交叉熵用于衡量两个概率分布之间的差异
信息量：
信息量是对事件发生概率的度量，一个事件发生的概率越低，则这个事件包含的信息量越大，这跟我们直观上的认知也是吻合的，越稀奇新闻包含的信息量越大，因为这种新闻出现的概率低。
香农提出了一个定量衡量信息量的公式：
香农信息量公式
熵
熵是一种对不确定性的方法，对于存在不确定性的系统，熵越大表示该系统的不确定性越大，熵为0表示没有任何不确定性。
熵的定义如下：
