本书第2版依然保持了第1版清晰、引人深思的写作风格。读者可以又一次获得数学、物理学、统计学以及信息论方面的综合知识。
　　关于信息论的主题包括熵、数据压缩、信道容量、率失真、网络信息论以及假设检验等领域的详细介绍，旨在为读者在理论研究和应用方面打下坚实的基础。在每章结束前提供了习题集和要点总结以及主要论点的历史回顾。

第2版的特点：
　　● 重新整合各章，更符合教学需求
　　● 200道新习题
　　● 提供了关于信源编码、投资组合理论以及反馈容量的新资料
　　● 更新的参考资料

　　本书是电子工程、统计学以及电信方面的高年级本科生和研究生学习信息论基础课程的理想教材。

无

自从本书第1版出版以来，我们希望书中的许多方面能得到改进、重新编排或者扩充，但是需再版的限制并不允许我们在已经出版的书中实现这样的愿望。而今在出新版之际，我们终于有机会对原书做些改变，增加一些习题，同时，讨论一些在第1版中忽略的专题。
　　本书主要的变化包括：各章的重新编排，使得本书更易于教学；还增加了200多个新习题。在某些专题中，我们也增加了一些素材，如在普适性投资组合理论、通用信源编码、高斯反馈信道容量、网络信息论等方面，并且阐述了数据压缩和信道容量的对偶性。另外，本书还新增加了一章，同时对原书中大量的证明过程进行简化，而且更新了参考文献和历史回顾点评。
　　本书可以分成两个学期学习。建议第一学期学习第1～9章，包括渐近均分性、数据压缩和信道容量，结束于高斯信道容量。第二学期学习余下的几章，包括率失真理论、型方法、科尔莫戈罗夫复杂度、网络信息论、通用信源编码和投资组合理论。如果只开一个学期的课，建议将率失真、科尔莫戈罗夫复杂度和网络信息论加入第一学期的教学中，其中后两者只需各上一节课。
　　自第1版以来，信息论迎来了它的50岁生日（香农的领域开创性文章50周年纪念），源自信息论的许多思想已经广泛应用于科学技术的众多问题，如生物信息学、网络搜索、无线通信、视频压缩以及其他等。信息论的应用是无止境的，然而其完美的数学理论始终是该领域最引人注目的地方。我们希望借此书给大家带来某些共识，使得大家坚信在涉及数学、物理学、统计学和工程学的交叉领域中，信息论是最有趣的领域之一。

　　TOM COVER
　　JOY THOMAS

　　Palo Alto, California
　　2006年1月第1版前言
　　本书是一本简明易懂的信息论教材。正如爱因斯坦所说：“凡事应该尽可能使其简单到不能再简单为止。” 虽然我们没有深入考证过该引语的来源（据说最初是在幸运蛋卷中发现的），但我们自始至终都将这种观点贯穿到本书的写作中。信息论中的确有这样一些关键的思想和技巧，一旦掌握了它们，不仅使信息论的主题简明，而且在处理新问题时提供重要的直觉。
　　本书来自使用了十多年的信息论讲义, 原讲义是信息论课程的高年级本科生和一年级研究生两学期用的教材。本书打算作为通信理论、计算机科学和统计学专业学生学习信息论的教材。
　　信息论中有两个简明要点。第一，熵与互信息这样的特殊量是为了解答基本问题而产生的。例如，熵是随机变量的最小描述复杂度，互信息是度量在噪声背景下的通信速率。另外，我们在以后还会提到，互信息相当于已知边信息条件下财富双倍的增长。第二，回答信息理论问题的答案具有自然的代数结构。例如，熵具有链式法则，因而，熵和互信息也是相关的。因此，数据压缩和通信中的问题得到广泛的解释。 我们都有这样的感受，当研究某个问题时，往往历经大量的代数运算推理得到了结果，但此时没有真正了解问题的全貌，最终是通过反复观察结果，才对整个问题有完整、明确的认识。所以，对一个问题的全面理解，不是靠推理，而是靠对结果的观察。要更具体地说明这一点，物理学中的牛顿三大定律和薛定谔波动方程也许是最合适的例子。谁曾预见过薛定谔波动方程后来会有如此令人敬畏的哲学解释呢？
　　在本书中，我们常会在着眼于问题之前，先了解一下答案的性质。比如第2章中，我们定义熵、相对熵和互信息，研究它们之间的关系，再对这些关系作一点解释，由此揭示如何融会贯通地使用各式各样的方法解决实际问题。同理，我们顺便探讨热力学第二定律的含义。熵总是增加吗？答案既肯定也否定。这种结果会令专家感兴趣，但初学者或许认为这是必然的而不会深入考虑。
　　在实际教学中，教师往往会加入一些自己的见解。事实上，寻找无人知道的证明或者有所创新的结果是一件很愉快的事情。如果有人将新的思想和已经证明的内容在课堂上讲解给学生，那么不仅学生会积极反馈“对，对，对”， 而且会大大地提升教授该课程的乐趣。我们正是这样从研究本教材的许多新想法中获得乐趣的。
　 本书加入的新素材实例包括信息论与博弈之间的关系，马尔可夫链背景下热力学第二定律的普遍性问题，信道容量定理的联合典型性证明，赫夫曼码的竞争最优性，以及关于最大熵谱密度估计的伯格（Burg）定理的证明。科尔莫戈罗夫复杂度这一章也是本书的独到之处。而将费希尔信息，互信息、中心极限定理以及布伦-闵可夫斯基不等式与熵幂不等式联系在一起，也是我们引以为豪之处。令我们感到惊讶的是，关于行列式不等式的许多经典结论，当利用信息论不等式后会很容易得到证明。
　　自从香农的奠基性论文面世以来，尽管信息论已有了相当大的发展，但我们还是要努力强调它的连贯性。 虽然香农创立信息论时受到通信理论中的问题启发，然而我们认为信息论是一门独立的学科，可应用于通信理论和统计学中。我们将信息论作为一个学科领域从通信理论、概率论和统计学的背景中独立出来，因为明显不可能从这些学科中获得难以理解的信息概念。
　　由于本书中绝大多数结论以定理和证明的形式给出，所以，我们期望通过对这些定理的巧妙证明能说明这些结论的完美性。一般来讲，我们在介绍问题之前先描述问题的解的性质，而这些很有趣的性质会使接下来的证明顺理成章。
　　使用不等式串、中间不加任何文字、最后直接加以解释，是我们在表述方式上的一项创新。希望读者学习我们所给的证明过程达到一定数量时，在没有任何解释的情况下就能理解其中的大部分步骤，并自己给出所需的解释。这些不等式串好比模拟测试题，读者可以通过它们确认自己是否已掌握证明那些重要定理的必备知识。这些证明过程的自然流程是如此引人注目，以至于导致我们轻视了写作技巧中的某条重要原则。由于没有多余的话，因而突出了思路的逻辑性与主题思想。我们希望当读者阅读完本书后，能够与我们共同分享我们所推崇的，具有优美、简洁和自然风格的信息论。
　　本书广泛使用弱的典型序列的方法，此概念可以追溯到香农1948年的创造性工作，而它真正得到发展是在20世纪70年代初期。其中的主要思想就是所谓的渐近均分性（AEP），或许可以粗略地说成“几乎一切事情都是等可能的”。
　　第2章阐述了熵、相对熵和互信息之间的基本代数关系。渐近均分性是第3章重中之重的内容，这也使我们将随机过程和数据压缩的熵率分别放在第4章和第5章中论述。第6章介绍博弈，研究了数据压缩的对偶性和财富的增长率。
　　可作为对信息论进行理性思考基础的科尔莫戈罗夫复杂度，拥有着巨大的成果，放在第14章中论述。我们的目标是寻找一个通用的最短描述，而不是平均意义下的次佳描述。的确存在这样的普遍性概念用来刻画一个对象的复杂度。该章也论述了神奇数Ω，揭示数学上的不少奥秘，是图灵机停止运转概率的推广。
　　第7章论述信道容量定理。第8章叙述微分熵的必需知识, 它们是将早期容量定理推广到连续噪声信道的基础。基本的高斯信道容量问题在第9章中论述。
　　第11章阐述信息论和统计学之间的关系，20世纪50年代初期库尔贝克(Kullback)首次对此进行了研究，此后相对被忽视。由于率失真理论比无噪声数据压缩理论需要更多的背景知识，因而将其放置在正文中比较靠后的第10章。
　　网络信息理论是个大的主题，安排在第15章，主要研究的是噪声和干扰存在情形下的同时可达的信息流。有许多新的思想在网络信息理论中开始活跃起来，其主要新要素有干扰和反馈。第16章讲述股票市场，这是第6章所讨论的博弈的推广，也再次表明了信息论和博弈之间的紧密联系。
　　第17章讲述信息论中的不等式，我们借此一隅把散布于全书中的有趣不等式重新收拢在一个新的框架中，再加上一些关于随机抽取子集熵率的有趣新不等式。集合和的体积的布伦-闵可夫斯基不等式，独立随机变量之和的有效方差的熵幂不等式以及费希尔信息不等式之间的美妙关系也将在此章中得到详尽的阐述。
　　本书力求推理严密，因此对数学的要求相当高，要求读者至少学过一学期的概率论课程且有扎实的数学背景，大致为本科高年级或研究生一年级水平。尽管如此，我们还是努力避免使用测度论。因为了解它只对第16章中的遍历过程的AEP的证明过程起到简化作用。这符合我们的观点，那就是信息论基础与技巧不同，后者才需要将所有推广都写进去。
　　本书的主体是第2，3，4，5，7，8，9，10，11和15章，它们自成体系，读懂了它们就可以对信息论有很好的理解。但在我们看来，第14章的科尔莫戈罗夫复杂度是深入理解信息论所需的必备知识。余下的几章，从博弈到不等式，目的是使主题更加连贯和完美。
　　任何教程都有它的第一讲，目的是给出其主要思想的简短预览和概述。本书的第1章就是为这个目的而设置的。TOM COVER
JOY THOMASPalo Alto, California
　　1990年6月第2版致谢
　　自从第1版面世以后，我们荣幸地收到了许多读者的反馈意见和修改建议。然而，向每一位曾经帮助过我们的读者致谢，这对我们来讲心有余而力不足，但我们仍然想道出其中的一些名字以表谢意。我们特别要感谢所有使用本书讲授和学习这门课的老师和学生们，正是通过他们，才使我们能从不同视角重新审视所选择的内容。
　　我们特别要感谢Andrew Barron、Alon Orlitsky、T S Han、Raymond Yeung、Nam Phamdo、Franz Willems和Marty Cohn，他们给出了许多宝贵的评论和建议。这些年来，斯坦福大学的学生为本书的修改给了我们许多的思想和启发，他们是George Gemelos、Navid Hassanpour、YoungHan Kim、Charles Mathis、Styrmir Sigurjonsson、Jon Yard、Michael Baer、Mung Chiang、Suhas Diggavi、Elza Erkip、Paul Fahn、Garud Iyengar、David Julian、Yiannis Kontoyiannis、Amos Lapidoth、Erik Ordentlich、Sandeep Pombra、Jim Roche、Arak Sutivong、Joshua SweetkindSinger和Assaf Zeevi。在第2版准备期间，Denise Murphy给我们提供了许多支持和帮助。
　　Joy Thomas要感谢在IBM和Stratify的同事的支持和提出的有价值的意见和建议。特别感谢Peter Franaszek、C S Chang、Randy Nelson、Ramesh Gopinath、Pandurang Nayak、John Lamping、Vineet Gupta和Ramana Venkata。特别是与Brandon Roy长达几个小时的讨论有助于将书中的某些论述写得更加精练简洁。最为重要地，Joy感谢妻子Priya的全力支持，如果没有她的支持和鼓励，第2版的完成是不可能的。
　　Tom Cover 感谢他的学生们和妻子Karen给予的帮助。第1版致谢
　　我们真诚感谢所有参与完成本书的人们，尤其是Aaron Wyner、Toby Berger、Masoud Salehi、Alon Orlitsky、Jim Mazo和Andrew Barron对本书的各版草稿给予了细致评述，这对我们最终内容的取舍起了指导性的作用。还要感谢我们手写稿的第一位读者Bob Gallager，以及他对出版本书的支持。感谢Aaron Wyner和Ziv赠送了关于LempelZiv算法收敛性的新证明。还要感谢Normam Abramson、Ed van der Meulen、Jack Salz和Raymond Yeung给予我们很多修订建议。
　　一些重要的访问学者和专家同事也给予了很多帮助，他们是Amir Dembo、Paul Algoet、Hirosuke Yamamoto、Ben Kawabata、M Shimizu和Yoichiro Watanabe。John Gill在教学中使用了本书，从他的建议中我们获益匪浅。当我们计划编写一本面向广泛读者的信息论专著时，Abbas EI Gamal在几年前就已经开始帮助写作此书，其贡献是不可估量的。还要感谢在本书成形阶段研究信息论方向的博士生们，他们是Laura Ekroot、Will Equitz、Don Kimber、Mitchell Trott、Andrew Nobel、Jim Roche、Erik Ordentlich、Elza Erkip和Vittorio Castelli。Mitchell Oslick、ChienWen Tseng和Michael Morrell是其中提出问题和建议最为主动的学生。Marc Goldberg和Anil Kaul帮助我们制作了其中的一些图形。最后，我们还要感谢Kirsten Goodell和Kathy Adams在原稿准备过程中提供的支持和帮助。
　　Joy Thomas也要感谢Peter Franaszek、Steve Lavenberg、Fred Jelinek、David Nahamoo和Lalit Bahl在完成本书的最后阶段给予的鼓励和支持。

目录
译者序
第2版前言
第1版前言
第2版致谢
第1版致谢

第1章绪论与概览
第2章熵、相对熵与互信息
21熵
22联合熵与条件熵
23相对熵与互信息
24熵与互信息的关系
25熵、相对熵与互信息的链式法则
26Jensen不等式及其结果
27对数和不等式及其应用
28数据处理不等式
29充分统计量
210费诺不等式
要点
习题
历史回顾
第3章渐近均分性
31渐近均分性定理
32AEP的推论：数据压缩
33高概率集与典型集
要点
习题
历史回顾
第4章随机过程的熵率
41马尔可夫链
42熵率
43例子：加权图上随机游动的熵率
44热力学第二定律
45马尔可夫链的函数
要点
习题
历史回顾
第5章数据压缩
51有关编码的几个例子
52Kraft不等式
53最优码
54最优码长的界
55惟一可译码的Kraft不等式
56赫夫曼码
57有关赫夫曼码的评论
58赫夫曼码的最优性
59ShannonFanoElias编码
510香农码的竞争最优性
511由均匀硬币投掷生成离散分布
要点
习题
历史回顾
第6章博弈与数据压缩
61赛马
62博弈与边信息
63相依的赛马及其熵率
64英文的熵
65数据压缩与博弈
66英文的熵的博弈估计
要点
习题
历史回顾
第7章信道容量
71信道容量的几个例子
711无噪声二元信道
712无重叠输出的有噪声信道
713有噪声的打字机信道
714二元对称信道
715二元擦除信道
72对称信道
73信道容量的性质
74信道编码定理预览
75定义
76联合典型序列
77信道编码定理
78零误差码
79费诺不等式与编码定理的逆定理
710信道编码定理的逆定理中的
等式
711汉明码
712反馈容量
713信源信道分离定理
要点
习题
历史回顾
第8章微分熵
81定义
82连续随机变量的AEP
83微分熵与离散熵的关系
84联合微分熵与条件微分熵
85相对熵与互信息
86微分熵、相对熵以及互信息的
性质
要点
习题
历史回顾
第9章高斯信道
91高斯信道：定义
92高斯信道编码定理的逆定理
93带宽有限信道
94并联高斯信道
95高斯彩色噪声信道
96带反馈的高斯信道
要点
习题
历史回顾
第10章率失真理论
101量化
102定义
103率失真函数的计算
1031二元信源
1032高斯信源
1033独立高斯随机变量的同步
描述
104率失真定理的逆定理
105率失真函数的可达性
106强典型序列与率失真
107率失真函数的特征
108信道容量与率失真函数的计算
要点
习题
历史回顾
第11章信息论与统计学
111型方法
112大数定律
113通用信源编码
114大偏差理论
115Sanov定理的几个例子
116条件极限定理
117假设检验
118ChernoffStein引理
119 Chernoff信息
1110费希尔信息与CramérRao
不等式
要点
习题
历史回顾
第12章最大熵
121最大熵分布
122几个例子
123奇异最大熵问题
124谱估计
125高斯过程的熵率
126Burg最大熵定理
要点
习题
历史回顾
第13章通用信源编码
131通用码与信道容量
132二元序列的通用编码
133算术编码
134LempelZiv编码
1341带滑动窗口的LempelZiv
算法
1342树结构LempelZiv算法
135LempelZiv算法的最优性
1351带滑动窗口的LempelZiv
算法
1352树结构LempelZiv压缩的
最优性
要点
习题
历史回顾
第14章科尔莫戈罗夫复杂度
141计算模型
142科尔莫戈罗夫复杂度：定义与几个
例子
143科尔莫戈罗夫复杂度与熵
144整数的科尔莫戈罗夫复杂度
145算法随机序列与不可压缩序列
146普适概率
147科尔莫戈罗夫复杂度
148Ω
149万能博弈
1410奥克姆剃刀
1411科尔莫戈罗夫复杂度与普适
概率
1412科尔莫戈罗夫充分统计量
1413最短描述长度准则
要点
习题
历史回顾
第15章网络信息论
151高斯多用户信道
1511单用户高斯信道
1512m个用户的高斯多接入
信道
1513高斯广播信道
1514高斯中继信道
1515高斯干扰信道
1516高斯双程信道
152联合典型序列
153多接入信道
1531多接入信道容量区域的
可达性
1532对多接入信道容量区域的
评述
1533多接入信道容量区域的
凸性
1534多接入信道的逆定理
1535m个用户的多接入信道
1536高斯多接入信道
154相关信源的编码
1541SlepianWolf 定理的可达性
1542SlepianWolf定理的逆定理
1543多信源的SlepianWolf定理
1544SlepianWolf编码定理的
解释
155SlepianWolf编码与多接入信道之间
的对偶性
156广播信道
1561广播信道的定义
1562退化广播信道
1563退化广播信道的容量区域
157中继信道
158具有边信息的信源编码
159具有边信息的率失真
1510一般多终端网络
要点
习题
历史回顾
第16章信息论与投资组合理论
161股票市场：一些定义
162对数最优投资组合的库恩-塔克
特征
163对数最优投资组合的渐近
最优性
164边信息与增长率
165平稳市场中的投资
166对数最优投资组合的竞争
最优性
167万能投资组合
1671有限期万能投资组合
1672无限期万能投资组合
168ShannonMcMillanBreiman定理
（广义渐近均分性质）
要点
习题
历史回顾
第17章信息论中的不等式
171信息论中的基本不等式
172微分熵
173熵与相对熵的界
174关于型的不等式
175熵的组合界
176子集的熵率
177熵与费希尔信息
178熵幂不等式与布伦-闵可夫斯基
不等式
179有关行列式的不等式
1710关于行列式的比值的不等式
要点
习题
历史回顾
参考文献
索引

Cover M. Thomas 与Joy A. Thomas的信息论基础可谓跨世纪的一本好书，其读者人数在信息论领域名列榜首。说本书是信息论领域中的Bible(圣经)，也不算过分。本书涉及的相关知识领域广泛，我们第一次接到翻译此书的任务时，多少有些惶恐，担心无法准确地将Cover的精神和深刻的内涵活灵活现地呈现给读者。1985年 Cover曾经是沈世镒教授的老师。沈先生回国后在南开大学带出了许许多多的优秀学生。他们在国内乃至国际上都是信息论的骨干和学术带头人（比如，杨恩辉，孙凤文，张箴，符方伟，叶中行，岳殿武，陈鲁生等，他们曾以南开大学的信息论为荣，南开大学的信息论现在又以他们为荣）。为报Cover之师恩，也为更多不曾在南开大学学习的广大信息论学子能够领略Cover的大师风范，我们欣然接受了此项翻译任务，并且力争不辱使命。
　　本书可谓信息量巨大的好书。在熵、信道、信源、数据压缩与编码理论，复杂度理论等方面独具特色，网络信息论更是一个新的亮点。本书还以赛马模型为出发点，将证券市场的研究纳入信息论的框架内研究，给证券市场研究以一个新的视角。更难得的是，作者利用自己深厚的研究功力，将这三部分有机地结合在一起，不仅增加了信息论的内涵，也增加了读者群。特别是研究投资组合者，在适当学习第2章与第11章的基础上，读懂第6章与第16章，将会带来全新的投资理念和证券研究的新技巧。
　　本书的写作风格独特，横跨信息论、信号学、计算机逻辑、概率论、图论以及金融等若干领域。因此，为了使得本书的翻译风格尽可能完整，并保持其在各领域的特色，我们在翻译中颇费心思，字斟句酌，反复思考，同时，虚心地请教南开大学从事相应领域的同事，在此，对他们表示感谢。我们的许多研究生在第1版和第2版的翻译和校对的过程中也做出了贡献。而且，在第2版翻译时，我们虚心听取了第1版的读者的反馈意见，特在此向他们表示衷心感谢。最后，我们要对机械工业出版社华章分社表示感谢，编辑们的认真、仔细和热情合作提高了本书的翻译质量。

　　译者
　　2007年7月