「Math」:Entropy, Cross-Entropy and DL-Divergence

在机器学习中,常用cross-entropy来作为模型的损失函数,这篇文章将阐述信息学中的entropy(熵)是什么,cross-entropy(交叉熵)又是什么,KL-Divergence和entropy、cross-entropy的关系是什么?

如何具象的理解这些概念?

在开始阅读这篇文章之前,先提及一下香农对bit的定义,香农认为bit是用来消除信息的不确定性的。

bit:uncertainty divided by 2.

原视频 讲的很好,本文只是在此基础上对一些总结,方便理解物质化(马原.jpg)。