非常令人意外，香农定义的「熵」究竟是什么含义，在「控制论导论」中得到了清晰的解释
一句话就是，「熵是马尔科夫链在每一步转移时的变异度」。变异度可以简单认为是一个集合可以传达的信息量
所以，香农定义的熵有三个隐含假设:
1. 必须是一个完整的集合，其中事件概率之和为 1 ;
2. 如果该集合有多种概率组合，那么其概率转移矩阵必须是马尔科夫式的 ;
3. 该集合所表征的系统必须是可以从任何一个状态开始，进行无限转移，最终达到完全平衡密度的，即系统不存在约束
当达到完全平衡密度时，各事件发生或者转移概率就会相等，而此时的熵为最大
所以，完整集合，概率，变异度，转移概率，马尔科夫链，无约束，趋于完全平衡，这些概念是要能准确香农的信息熵的基础
而且，在一个动态系统中，熵，其实是在动态变化的，它并非一成不变的，当然，在没有任何约束的情况下，它最终会趋于最大
请注意，是没任何约束的时候
现实显然是存在许多约束的
.
![所以我一直不理解LGBT站拳的逻辑，媎妹们最恨的其实是你们啊[笑着哭]](http://image.uczzd.cn/7239899239064650769.jpg?id=0)
江渐月
[赞][赞][赞]