「Math」:Entropy, Cross-Entropy and DL-Divergence

在机器学习中,常用cross-entropy来作为模型的损失函数,这篇文章将阐述信息学中的entropy(熵)是什么,cross-entropy(交叉熵)又是什么,KL-Divergence和entropy、cross-entropy的关系是什么?

如何具象的理解这些概念?

在开始阅读这篇文章之前,先提及一下香农对bit的定义,香农认为bit是用来消除信息的不确定性的。

bit:uncertainty divided by 2.

原视频 讲的很好,本文只是在此基础上对一些总结,方便理解物质化(马原.jpg)。


「LeetCode」:Math

LeetCode Math 专题记录。

10月初。

Albert Einstein:

“I believe that not everything that can be counted counts, and not everything that counts can be counted”

「并非所有重要的东西都是可以被计算的,也并不是所有能被计算的东西都那么重要。」


Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×