通信的数学理论
豆瓣
The Mathematical Theory of Communication
[美]克劳德·E.香农（Claude Elwood Shannon） / 沃伦·韦弗（Warren Weaver） 李锡涵
简介
★信息论之父香农开山之作
★大模型的数学底座之一
★《计算数学》《泰晤士报》《科学美国人》等强烈推荐
======
【内容简介】
本书是信息论领域的奠基之作，分两部分详细解释了通信的数学理论基础。第一部分提供了通信领域的全景式概述，为读者进入更深入的数学理论部分作铺垫。第二部分深入探讨了通信理论的数学基础，包括离散和连续信源、信道容量、编码理论等核心概念，并讨论了这些理论在通信系统中的实际应用。
======
【编辑推荐】
大佬作者：信息论之父香农×数学家韦弗联手打造
全球经典：风靡世界的信息论经典，英文版狂销超40000册，累计印刷突破20次
学界基石：通信、计算、智能三大领域的理论源头，更是大模型的数学底座之一
======
【读者推荐】
无论是人与人，还是人与机器，凡是关心高效信息传递的人，皆不可错过这部必读经典。
——《计算数学》
这本书是生物学家、心理学家乃至物理学家的至宝。——《泰晤士报》
这是一部跨学科的杰作，它将分散的物理科学分支统一在同一理论之下。韦弗博士以远见卓识，将这种统一拓展至语义学与语用学，开启新的学术旅程。
——《哲学评论》
如果你关心语言、交流与意义，这本书定会激发你深刻而持久的思考。
——《生物学季刊》
这本书不仅是相关领域专家的必读之选，就连并无直接兴趣的学者，也会被它的魅力深深吸引。
——S. Whitehead，《英国应用物理学杂志》
在此之前，没有一种通用方法来衡量信息的复杂性或传输能力。这部数学巨著堪称罕见，对科学家和工程师而言无比珍贵。
——《科学美国人》
目录
第一部分 通信数学理论的近期贡献 1
沃伦·韦弗（Warren Weaver）
第1章 分析性通信研究的总体背景 ............................................2
1.1 通信 .........................................................................2
1.2 通信问题的三个层次 ..............................................3
1.3 评论 .........................................................................6
第2章 层次A的通信问题 ..........................................................7
2.1 通信系统及其问题 ..................................................7
2.2 信息 .........................................................................9
2.3 信道的容量 ............................................................20
2.4 编码 .......................................................................20
2.5 噪声 .......................................................................23
2.6 连续消息................................................................28
第3章 通信问题三个层次的相互关系 ......................................31
3.1 引言 .......................................................................31
3.2 层次A 理论的一般性 ............................................32
第二部分 通信的数学理论 37
克劳德·E. 香农（Claude Elwood Shannon）
引言 ................................................................................................38
第4章 无噪声的离散系统 .........................................................44
4.1 无噪声的离散信道 ................................................44
4.2 离散信源................................................................48
4.3 对英文的逐级近似 ................................................54
4.4 马尔可夫过程的图形表示 .....................................56
4.5 遍历信源与混合信源 ............................................58
4.6 选择、不确定性和熵 ............................................61
4.7 信源的熵................................................................68
4.8 编码和解码操作的表示方法 .................................73
4.9 无噪声信道的基本定理 .........................................76
4.10 讨论与例子 ..........................................................80
第5章 有噪声的离散信道 .........................................................84
5.1 有噪声离散信道的表示 .........................................84
5.2 疑义度与信道容量 ................................................86
5.3 有噪声离散信道的基本定理 .................................91
5.4 讨论 .......................................................................97
5.5 离散信道及其容量的例子 .....................................99
5.6 一些特殊情况下的信道容量 ...............................101
5.7 一个高效编码的例子 ..........................................104
第6章 连续信息 ......................................................................106
6.1 函数集与函数概率空间 .......................................107
6.2 频带受限函数的概率空间 ...................................113
6.3 连续分布的熵 ......................................................114
6.4 函数概率空间的熵 ..............................................120
6.5 线性滤波器中熵的损失 .......................................123
6.6 两个函数概率空间之和的熵 ...............................125
第7章 连续信道 ......................................................................128
7.1 连续信道的容量 ..................................................128
7.2 具有平均功率限制的信道容量 ...........................132
7.3 具有峰值功率限制的信道容量 ...........................137
第8章 连续信源产生信息的速率 ............................................142
8.1 保真度评价函数 ..................................................142
8.2 相对于保真度评价的信源速率 ...........................146
8.3 信息生成速率的计算 ..........................................149
致谢 ..............................................................................................153
附录1 有限状态条件下符号块数量的增长 ..............................154
附录2 信息熵公式的推导 ................................................156
附录3 遍历信源的定理 ............................................................158
附录4 最大化一个有约束系统的传输速率 .............................161
附录5 时不变运算下平稳与遍历特性的保持 ..........................164
附录6 定理15 的证明 .............................................................166
附录7 通信理论核心概率的通用定义 .....................................169
附录8 5.6节部分结论的推导 .................................................172
