「Math」:Entropy, Cross-Entropy and DL-Divergence

在机器学习中，常用cross-entropy来作为模型的损失函数，这篇文章将阐述信息学中的entropy（熵）是什么，cross-entropy（交叉熵）又是什么，KL-Divergence和entropy、cross-entropy的关系是什么？

如何具象的理解这些概念？

在开始阅读这篇文章之前，先提及一下香农对bit的定义，香农认为bit是用来消除信息的不确定性的。

bit：uncertainty divided by 2.

原视频 讲的很好，本文只是在此基础上对一些总结，方便理解物质化（马原.jpg）。