信息论基础-熵为什么是数据压缩的极限 发表于 2023-09-23 分类于 信息论 由香农创立的信息论无疑是 20 世纪最伟大的成果之一——它直接影响了信息通信技术的发展。不过,信息论本身并不好懂。这篇文章想以一个尽可能简单的方式理解信息学的基础概念——信息熵,以及它的一些概念。 阅读全文 »