在机器学习中，常用cross-entropy来作为模型的损失函数，这篇文章将阐述信息学中的entropy（熵）是什么，cross-entropy（交叉熵）又是什么，KL-Divergence和entropy、cross-entropy的关系是什么？

如何具象的理解这些概念？

在开始阅读这篇文章之前，先提及一下香农对bit的定义，香农认为bit是用来消除信息的不确定性的。

bit：uncertainty divided by 2.

原视频 讲的很好，本文只是在此基础上对一些总结，方便理解物质化（马原.jpg）。

LeetCode Math 专题记录。

10月初。

Albert Einstein:

“I believe that not everything that can be counted counts, and not everything that counts can be counted”

「并非所有重要的东西都是可以被计算的，也并不是所有能被计算的东西都那么重要。」