|
【玥爷的回答(1134票)】: 仅以此文，怀念香农百年诞辰。 1916年4月30日，克劳德·香农出生于美国密歇根州的Gaylord镇。也就是说，下周六就是香农这位伟人的整整一百周年诞辰。作为被香农信息论造福的我们，此时理应感怀香农为人类做出的贡献。所以本公众号特意撰写这篇文章，纪念香农在信息论和其他领域的开创性贡献。 
克劳德·艾尔伍德·香农（Claude Elwood Shannon ，1916年4月30日—2001年2月24日） 信息论（information theory）顾名思义是研究“信息”的理论。那么信息到底是什么？信息到底有多重要？让我们听听雷军是怎么看的： 投身信息产业的怀抱快三十年了，我有时也在想：信息何以会具备如此强大的力量？它的力量来自哪里？我们又该如何驾驭这一力量？在这三十年间，信息极大地释放了人类的能量，它所创造的价值超过了之前五千年的财富总和，但“信息”依然是个大家耳熟能详却又含义模糊的词。
从雷军的这段话反映出了很多人对信息的理解和困惑。从中可以看出，虽然信息这个词汇在日常生活中无处不在，但要说清楚信息是什么，却并不容易。根据朗文双解中，关于信息（information）的词条解释为： Information: Facts or details that tell you something
但这个解释还是非常粗略的。那我们再而试着从哲学的视角出发，发现目前哲学界对信息没有统一定义。哲学认为信息划分为三种形态： 自在信息，自为信息和再生信息。此时我们会发现，信息似乎是我们司空见惯的概念，好像直观理解起来并没有什么障碍，但要准确描述信息是什么却非常困难。而香农信息论的伟大贡献就在于，可以用数学公式严格定义信息的量，反映了信息表达形式在统计方面的性质。 接下来让我们把视角和时间切换到香农创建信息论的时候。可以说，香农和牛顿一样，都是站在巨人肩膀上的人。通信学科是最早系统性地研究信息理论的学科，所以我们先看看在香农提出信息论之前，数字通信发展的一些大事件： 1837年 Morse：有线电报；
到了1948年，这是信息时代具有里程碑的一年。当年贝尔实验室对外宣布他们研发出来了一种全新的小型电子半导体器件。据说这是一种“出奇简单的设备”，可以完成任何真空管能够完成的工作，而且效率更高，体积更小，更容易集成，小到巴掌大面积的设备里也能容纳数百个。这时世界都被这项新颖的科技发明吸引住了，于是在同年5月，科学家们专门组织了一个委员会来为这个发明命名，委员会给贝尔实验室的所有高级工程师都发放了选票，经过投票和统计，最后“晶体管”脱颖而出（transistor，由transconductance（跨导）和varistor（压敏电阻）两个单词合并而成），成为了这个新型半导体器件的正式名称，沿用至今。 贝尔实验室在当年的新闻稿中自豪的宣布到： 它可能将对电子和电信行业产生意义深远的影响。
至今来看，这个说法毫不为过，晶体管引发了电子技术的科学革命，为半导体技术的微型化和普及开辟了道路，可以说晶体管在各行各业都发挥着巨大的作用。而晶体管的发明者，肖克利，巴丁和布拉顿三人也荣获了1956年的诺贝尔物理学奖。可以说，半导体技术是贝尔实验室的最重要的一项发现。但是，如何我们再看看1948年还出现了什么重要进展，就会发现晶体管或许只能屈居次席，因为它只是这场电子行业革命的硬件部分。 而我所说的力压晶体管的重要发现，出现在当年的一篇专题论文中。这篇论文的题目简单而又宏大——《通信的数学理论》（A mathematical theoryof communication）[1]，这篇半个多世纪前的文章于2001年再次发表，今天还能在谷歌学术里找到，引用次数高达81685次。（下载地址：A mathematical theory of communication） 
和晶体管（transistor）一样，这项发现也给人类带来了一个新的单词——比特（bit）。但这个名字的命名过程并不像晶体管那样隆重其事，而是由这篇论文的唯一作者，时年32岁的克劳德·香农（CE Shannon）自行决定的。如今，比特作为衡量信息多少的单位，已经跻身公尺、千克，分钟之列，成为了日常生活中的最常见的量纲之一。 但比特究竟测量的是什么呢？香农的回答是：“用于测量信息的单位”。在香农眼中，信息是和长度，重量这些物理属性一样，是种可以测量和规范的东西。由于对于通信系统而言，其传递的信息具有随机性，所以定量描述信息应基于随机事件。香农在[1]中提到，任何信息都存在冗余，冗余大小与信息中每个符号（数字、字母或单词）的出现概率或者说不确定性有关。 通常，一个信源发送出什么符号是不确定的，衡量它可以根据其出现的概率来度量。概率大，出现机会多，不确定性小；反之就大。例如，当极限条件下，一个信源只发送一种符号，即发送内容是确定的，即概率为100%，此时接收方无法从接收信号中获得任何信息，即信息的量为零。而反之发送方和接收方约定，符号1代表二进制数字0，符号2代表二进制数字1，则接收端可以通过接收到的信源符号，获取一定信息。 同时香农提出了用信息熵来定量衡量信息的大小。我们先设随机事件发生的不确定性为发生概率pi的函数f(pi)，该函数具有如下三条性质： 1）单调性：概率越大的事件，信息熵越小，反之亦然。即， 
2）非负性：f(pi)非负; 3）可加性：多随机事件同时发生存在的总不确定性的度量，可以表示为各时间不确定性度量的和。例： 
最后香农在[1]中，从数学上证明满足上述性质的信息熵函数，具有唯一的如下的形式。 
信息熵不仅定量衡量了信息的大小，同时为信息编码提供了理论上的最优值：实用的编码平均码长的理论下界就是信息熵。即信息熵为数据压缩的极限。 此外，在香农提出信息论之前，人们曾普遍认为，以固定速率发送信息，而忽略误差概率的传输系统是不可能做到的。然而，香农却从理论上证明了，只要通信速率低于信道容量C，总可以 找到一种编码方式，使得误差概率接近于0。这结论震惊了整个通信理论界。而信道容量C可以通过一个简洁而美丽的公式——香农公式，根据信道的带宽和噪声特征简单的计算出来： 
其中P/N等于信号能量除以噪声能量，即信噪比。而W代表信道的带宽。同样，这一公式，香农在论文[1]中做出过严格的证明。 所以说，信息论最初解答的是通信理论中的两个基本问题： 1）临界数据压缩的值？（答案：信息熵H） 2）临界通信速率的值？（答案：信道容量C） 以上可是说是香农在《通信的数学理论》提出的主要创新，自此开创了信息论这门伟大的学科。 在之后的1949年，香农又有了重量级的发现，他公开发表的《保密系统的通信理论》一文，开辟了用信息论来研究密码学的新思路，使他成为近代密码理论的奠基者和先驱。这篇文章基于的理论是香农在1945年为贝尔实验室所完成的一篇报告《A Mathematical Theory of Cryptography》。这一发现再次震惊了学术界，波士顿环球报称“这一发现将密码从艺术变成为科学”。这篇论文发表后，香农被美国政府聘为政府密码事务顾问。纵观最近几十年来密码领域的几个重大进展，会发现它们都与香农这篇文章中所提出的思想有着密切关系，可以说《保密系统的通信理论》奠定了现代密码理论的基础。 我们都知道，通信系统是克服系统中存在的干扰（系统中固有的，如热噪声，或敌方故意施放的），实现有效且可靠的通信。而信息保密性和隐匿性虽然不等同于信息的不确定性，但我们将会看到它们和不确定性密不可分，且都可化为对信息进行编码问题。 基于这一点，香农提出： “从密码分析者来看，一个保密系统几乎就是一个通信系统。待传的消息是统计事件，加密所用的密钥按概率选出，加密结果为密报，这是分析者可以利用的，类似于受扰信号。”
香农认为，密码系统中对消息的加密变换的作用类似于向信息中存在的噪声。密文就相当于经过有扰信道得到的接收消息，密码分析员相当于有扰信道下原接收者。不同的地方在于，这种干扰不是信道中的自然干扰，而是发送者有意加进的，且可由己方进行设计和控制、选自有限集的强干扰，也就是密钥，其目的是己方可方便地除去发端所加的强干扰，从密文中恢复出原来的信息，而使敌方难于从截获的密报中提取出有用信息。所以密钥的随机性将成为关键所在。传信系统中的信息传输、处理、检测和接收过程，与密码系统中的加密、解密、分析和破译过程都可用信息论观点统一地分析研究。密码系统本质上也是一种传信息系统，是普通传信系统的对偶系统。 香农以概率统计的角度对消息源、密钥源、接收和截获的消息进行数学描述和分析，香农深刻揭示了冗余度在密码中的作用，用不确定性和唯一解距离来度量密码体制的保密性，深入阐明了密码系统、完善保密性、纯密码、理论保密性和实际保密性等重要概念，从而大大深化了人们对于保密学的理解。这使信息论成为研究密码学和密码分析学的一个重要理论基础，将密码学从艺术变成了科学，宣告了科学的密码学时代的到来。 但到这里，估计还有不少非相关专业的读者会一头雾水，不太理解香农信息论究竟牛在哪里？开创性在哪里？他为人类做出来多大贡献？为了让大家更加直观地去理解这些问题的答案，后面我们将脱离具体的数学公式和繁杂的定义，宏观而概要地看一看香农提出信息论之前的人类社会中的“信息”和后香农时代的信息。 在20世纪的早期，虽然人们对信息的概念还不甚了解，但信息的载体却是随处可见，信件，电话，声音和图像，无论是通过邮局，电缆还是电磁波，信息在整个地球上川流不息地流动着，交互着。据美国人口普查局统计摘要中有关通信的内容[5]，截至1948年，美国每天有1.25亿次的通话要经过贝尔系统那2.22亿公里的悠闲电缆和3100万台电话机进行传输。此外还有3186家无线电广播台，15000家报社以及4000亿封信件。如此多的信息流动，其中的信息又该如何衡量呢？ 显然，邮局可以计算信件和包裹的数量，但贝尔系统传输的究竟是什么呢？又应该用什么单位计数来衡量呢？可以肯定的是电缆传输的肯定不是通话，但是是信息吗？然而，当时的人们却没有一个词能够精准地概括所有这些东西。正如香农在1939年写给麻省理工的万内瓦尔·布什的信件中写道： “时断时续地，我一直在研究信息（intelligence）的一般系统的某些基本属性。”
说到香农提到的Intelligence一词，这个单词有着悠久的历史，语义丰富。托马斯·艾利奥特爵士在16世纪写道：“现在intelligence作为一个文雅的说法，用来表示通过相互交换信件或者口信达成协议或者约定”。不过除此之外，这个信息还有很多其它的含义。所以后来一些贝尔实验室的工程师，开始更多地使用information一词。他们用这个词来表达一些技术性的概念，如信息的数量、信息的测量等。而香农作为贝尔实验室的一员，在信息论中也采用了information这个词。自此，information渐渐成为了主流。 早在1938年，香农就在自己的硕士论文《继电器与开关电路的符号分析》中，把逻辑代数的思想运用到了电子电路的设计上。把逻辑和电路这两个貌似毫不相干的东西，结合成了一对不同寻常的组合，擦出了巧妙的火花。这篇文章也被誉为上个世纪最重要的硕士论文。后来在1943年，英国数学家，密码学家，著名的阿兰·图灵曾造访贝尔实验室，并与香农共进午餐，期间他们讨论到人造思维机器的设想，期间香农告诉图灵，他不仅仅满足于向这台“大脑”里输入数据，还希望把文化的东西灌输进去。这个想法连图灵都被震惊到了，他感到非常不可思议，惊呼道： 他（香农）想给它来点音乐！
此外，香农也开始研究电视信号来，他尝试研究是否有一种方法，可以巧妙地打包压缩电视信号，从而更快，更稳定地传输。这些年间，无数巧妙而又天才的想法不断浮现在香农的大脑中，于是为了寻找一种统一的框架来梳理他脑中的好点子，就像爱因斯坦希望提出统一场论一样。这时，香农开始着手整合一种有关信息的理论，即后来的信息论，并将它成功应用于科学领域。 但我们都知道，为了让信息（information）能够应用于科学领域，必须先给这个词赋予某些特定而具体的含义。我们回首三个世纪之前，当时的物理学的发展已经遇到了瓶颈。但随着牛顿开创性地将一些传统但又定义模糊的词汇，诸如力，时间，质量等，重新定义，赋予新的含义，让物理学开始了一个新的时代。也正是牛顿把这些词加以量化，才能够放在数学公式里使用，或者可以用数学公式来表达。例如，在牛顿做出这一工作之前，motion（运动）一词的含义就跟信息一样，是个极其模糊不清的概念。对于当时遵循亚里士多德学说的人而言，运动可以指代极其广泛而又丰富的现象，如：桃子成熟，苹果落地，子弹出趟，孩童成长等等。但这样一来，motion（运动）的含义就太过于丰富和广泛了，所以必须将其中绝大多数的现象舍弃，牛顿的运动定律才可以使用。到了19世纪，energy（能）一词也经历过相似的重新定义的过程。再到20世纪，信息这个词也不例外，也需要一次提炼，而提炼者就是香农。 在香农对信息的概念加以简化，并用bit作为量纲衡量后，人们发现信息几乎无处不在。香农的理论在信息与不确定性、信息与熵、以及信息与混沌这些概念之间架起了桥梁。比特的出现在后来引领了电脑和网络、摩尔定律和如今发达的信息产业和互联网产业。所以人们将铁器时代和蒸汽时代之后的时代称为信息时代。马歇尔·麦克卢汉在1964年评论道： 人们曾经以采集食物为生，而如今他们要重新以采集信息为生，尽管这件事看起来很不可思议。
今天看来，马歇尔的这一预言毫无疑问的走在了时代的前面。现如今，我们已经可以清晰地认识到，信息是我们这个世界运行所必须的血液和生命力。信息的概念已经远不止局限在通信行业，早已渗透到了各个科学领域，改变着每个学科的面貌。 
因为香农信息论最初解决的两个问题都属于通信学科，而且加上信息论的奠基论文——《通信的数学理论》中又重点强调了通信，所以会产生一些误解，那就是有人会认为信息论只不过是通信学科的一个组成部分，但是信息论涵盖的领域远不止于此。如上图[2]所示，信息论在统计物理（热力学）、计算机科学（科尔莫戈罗夫复杂度）、推断统计（奥卡姆剃刀）以及概率和统计等学科方向中都有奠基性的贡献。 在英语国家被称为“计算机科学”的学科，在一些欧洲国家则被称为“信息科学”。在国内以清华大学为例的高校，电子工程系和计算机科学与技术系等系同属于信息科学技术学院（School of information science and technology）。 
香农虽已于2001年辞世，但正如信息论学科的著名学者，Richard Blahut教授在香农的儿童时代的老家，密歇根州的Gaylord镇举行香农塑像的落成典礼上所说的，香农所留给人类的思想会永远留在人们的脑海中，激励我们的子孙们。
[1]Shannon C E. A mathematical theory of communication[J]. ACM SIGMOBILE Mobile Computing and Communications Review, 2001, 5(1): 3-55. [2]Cover T M, Thomas J A. Elements of information theory[M]. John Wiley & Sons, 2012. [3]信息简史，詹姆斯·格雷克，人民邮电出版社. [4]Statistical Abstract of the United States 1950. 【非常高兴看到大家喜欢并赞同我们的回答。应许多知友的建议，最近我们开通了同名公众号：PhDer，也会定期更新我们的文章，如果您不想错过我们的每篇回答，欢迎扫码关注~ 】
【小明冷泡茶的回答(175票)】: 香农在信息论说了些什么呢？ 1. 无损Source Coding的极限是信息源的entropy。（Source Coding Theorem) 2. Noisy Channel传输速率的极限是输入和输出的最大mutual information。（Channel Coding Theorem) 比对一下牛顿三定律和麦克斯韦定律，是不是有一种开山之作的简洁之力？ 此外，他还说： 信息交流应该由以下元素组成： 1. 一个信息源 2. 一个传输器，可以把信息encode为信号 3. 一个频道，信号可以从中通行 4. 一个接收器，可以把信号decode为信息 5. 一个接收者 看上去简直就是一堆废话，可是想象一下1948年的世界，是不是有一种“这就是通信系统界的冯诺伊曼架构啊”的感觉？ 香农、巴丁（可能还有肖克利）之于电子工程，就是牛顿、麦克斯韦之于物理学，图灵、冯诺依曼之于计算机科学，都是真正通过一己之力开创了一门学科。他们的工作，使得一些零散的研究终于有了体系和系统的方法，而之所以在今人的眼里看起来普普通通，只是因为他们的工作是一切后来者都不能绕过的基石。 相关：Caltech EE本科，上过信息论 【于伊梵的回答(151票)】: 题主问的是牛在哪里呀，不是说信息论是什么。 牛在哪里呢？ 用大白话来讲，那就是： 1.对通信研究领域进行了根本的、深刻的革新，重新定义了数据压缩与信息传输的本质问题，为信息社会的建设提供了技术基础； 2.对于诸多领域，包括电子工程、计算机科学、控制论乃至于经济学、金融学等，对于其最最基础的理论，都做了一个研究上的归一化——那就是从信息论的角度来说，虽然大家研究的是不同的问题，但本质上都是在研究信息的问题； 3.革新了人类的思维方式，这一点不亚于相对论的贡献； 当然，这些贡献不都是香农作出的，正如现代物理学的探索不是爱因斯坦与普朗克全部作出的一样——他们都为该领域的开花散叶提供了根，是开山祖师级别的。 我曾经在一个答案（如何快速成为数据分析师？）里面，谈到信息论的重要性，讲到数据分析下探到底层，就是信息论的问题，其实，很多问题，如果从信息论的角度来理解，都会有新的思考，发现新的东西。 讲大白话，比如说： 1.如果从信息论的角度来看，会发现，从本质上讲，人类社会乃至整个生态的演化就是一个信息体逐渐完备的过程。比如说，海洋生物进化为陆地生物，生物体的信息处理能力得到了很大的提升（在空气中，视野、听域更加开阔，信息交互更加复杂）；比如说，原始社会没有文字记载，一些老年人就会得到尊重，正是因为他们活得更久，拥有更多信息，但是之后由于文字的出现，整个社会演变为知识社会，老年人的社会地位就逐渐下降了；比如说，印刷术传到西方，给西方带来知识的变革，并且将整个社会凝聚成一体，形成了完备的官僚制，最终导致了现代“国家”概念的建构； 2.在计算机领域里面，很多算法问题，其优化过程，就是力图使指数问题、常数问题等变成对数问题，或者说，对数形式下的算法复杂度，提供了优化的方向和下界。比如最基础的排序问题，如果从信息论的角度来审视之，会发现研究排序本质上就是研究多种模型，如何在可计算的角度下，逐渐逼近事物的基础熵，排序为研究多种算法问题提供了一个参考的模板——许多可计算问题在某种意义上都是排序，或者说是对二叉树的优化问题——并且，二叉树形式本身就是一个研究对数形式的熵的工具； 3.“奥卡姆剃刀”也是一个关于“熵”的启示，从科学哲学的角度为研究问题提供了一个直观的参考。比如说，很多理论的内在知识结构都是有一个潜在的有一定深度的逻辑链的，但是对于具体环境的应用，永远是要解决一个平衡的问题。比如同样一种算法，时间上的复杂性的优化和空间上的复杂性优化形成了一个潜在的互相约束的平衡，此消彼长，如何取舍，往往需要借助于“奥卡姆剃刀”的简单启示（比如设立B树对多层二叉树的扁平化）；比如数据挖掘领域里面对非频繁项集的剪枝，一个指标也是“奥卡姆剃刀”——奥卡姆剃刀看似简单，其实揭示了万物构建的本质的规律——万物构造皆简单（平衡下的简单，比如自相似性）； 4.投资学领域，无论是马科维兹模型还是指数模型，都是在求解某些约束条件下的资产分散问题，从本质上看，其实是在研究静态的资产其组合熵如何达到最大（最大熵模型），当然，动态的股市之变化，财富的增长率，也可以简化为对股市熵率的对偶形式的研究； 5.还有很多领域，包括数据压缩，博弈论等等。。。。 信息论的厉害之处就是如此，中二地说，那就是：揭示了事物的本质结构，刷新了人类的三观，建构了无论是实在的还是抽象的现代世界。 当然，它又是自然的，某种意义上的一种社会趋势、思想趋势，没有这个香农，也必有另一个香农。 【keydai的回答(157票)】: 信息论和我们平常学习过的物理化学数学等学科不一样，不是研究客观世界的某个物质或者运动形式，而是从其中抽象出某一特定且共同的方面去研究，是一门横断科学。 通信的形式是多种多样的，而我们选择一个通信模型其中一样部分的比如信息传递、容量、信息熵、采样和编码，然后去研究它，得到一般的结论。 香农的主要贡献一般认为是在于信息论上，但是我认为同时不能忽略的是香农在密码学上的贡献，密码学是分为古典密码学和现代密码学的，香农的重大贡献就是把原本接近于语言学基础的密码研究放在了严格的数学基础之上，发现了密码学与通信之间的关系，并且指导了直到今天的依然在发展的现代密码和加密学。 如果只说香农在信息论的这个贡献的话，他是承前启后的一位人物，在他之前有凯尔文、奈奎斯特，这些人发现了通信速率和带宽之间存在联系，采样速率和重建信号存在联系，但如同盲人摸象，存在着不全面性，香农在提出信息论之后将前人的概念整合，并且在编码、压缩和数据处理方面进一步扩大。 之前说信息论研究的是一个系统模型，信息论追求的是一个在信息传输过程中的可靠性、有效性、保密性、认证性上的最优化，当我们追求通信中的某一个方面的时候，可以用信息论的内容作为指导，去找到合适的方法。 比如无线通信中，如果追求高可靠性和强保密性，就可以用有效性为代价，来达到我们的目的，也就是无线通信中的扩频通信。 实际环境会告诉我们需要什么，信息论会告诉我们往哪个方向一定会有办法，至于具体实现，反正有工程狮。 另一种情况呢，当你的boss提出一个要求，要求你在SNR为-2dB时候出错概率为任意小，你就可以大吼道： 
因为香农限是-1.6dB……因为香农限是-1.6dB…… 同理还有这个问题：压缩文件为什么不能一层层压缩自身？ - 压缩软件 信息论会告诉我们理论上的极限会存在于哪里。 对应着四个要求，你会发现香农的信息论自然的分成了三个部分，也就是压缩理论、传输理论和保密理论，然后其中又有很多的细节理论，比如很多的编码定理、公开密钥理论、率失真理论等等， 如同有人提到的那样，香农信息论是如今的信息科学的基础，信息科学的应用除了通信和密码之外，几乎无处不在，不说通信，你看DVD听MP3里面的纠错就是在完全建立在香农的编码基础上，数字时代的信息论是无处不在的。 至于香农本人，有句话是软件拜艾达，硬件拜诺依曼，通信拜香农，原因何在呢…… 
另外香农的几个理论和定理只是结果简单……证明和发现…… - end - 【刘浣溪的回答(146票)】: 香农1948年那篇paper发表的时候叫《A Mathematical Theory of Communication》。 过了几年（一年？）出单行本的时候标题改了一个字，叫《The Mathematical Theory of Communication》…… 【张艺瀚的回答(3票)】: 香农的信息论牛在比别人更早提出来. 要冠名一个数学定理一般有两种方法,一种是这个只有你做得出来,另一种是这个迟早要被做出来但是你比别人早 【曼修海特的回答(10票)】: 香农信息论是数学和物理的完美结合。 比如香农的无差错传输定理，完全是一个数学问题（参见《天成之证》）。但是这个定理与信息熵和信号功率结合在一起，具有了非常重大的现实意义。在香农那个时代，搞通信或多或少有点野路子，提高通话质量都是在电路上下功夫，人们对通信质量的衡量和极限都不是很清楚。而香农的理论给出了一个方向，就是利用数学去提高通信的质量，纠错码就是这个理论的直接产物。现在所有的通信几乎都是数字通信，而其中纠错码更是通信的基础。而且香农也给出了一个极限，那就是无差错发送一个比特的消息，发送速率趋近于0的时候，这个消息所消耗的功率与干扰噪声的功率之比不能低于负1.6dB。 通信本质上就是在一个符号集选一个符号并传输给接收者（在传输过程中可能产生混淆，比如a变成b），使得接受者不会混淆。而香农给出的是在这种情况下，一个符号最多能传输多少信息，而达到不混淆的目的的手段就是纠错编码。 【彻小白的回答(2票)】: 你确定大白话能说清香农几个定理？我建议你在题目里补充一下自己信息论的理解。 别人对香农的评价是“具有惊人的数学直觉。”也就是说他的发现是不那么显而易见的。 信息论是唯一一门通信专业在本科和研究生阶段都会开设的必修课，而且到最后很多人还是没学明白。 香农的原始论文被引用7万多次，可以说之后的通信研究都是围绕着香农三定理进行的。 有争议再补充 【BenLee的回答(2票)】: 扩频通信的理论基础。没有这个卫星上数据淹没在噪声里就提取不出来。 有了扩频理论，就不用费尽心思提高发射功率了，因为带宽可以换信噪比，也就相当于可以换发射功率。 【HaoWang的回答(25票)】: 你见过一个学科的创始人，在学科开创之日就宣布了这个学科发展的终点在何处吗？ 有，这就是香农。创世之日，就宣布了数据压缩的最大速率，无失真数据传输的最大速率。但是这些速率如何达到，香农没有给出答案。 后人就如同捉迷藏一样的，寻找着香农所宣布的数字宝藏在何处。每接近一步，往往都是价值无量的专利。典型就是运用在3G和4G上的Turbo编码方法，给创始人带来无尽的财富。我估计是数学算法中，获利最多的一个算法（估计已经超过RSA算法了）。 一个平常很少人注意到的是另外一点：香农在他的证明中使用了probability method 随机方法。要知道，当时这个方法在专业数学家里都很少有人知道或者使用（最早是从随机图论中开始使用的），然而香农却用这种算法证明了对人类如此重要的结论。当然郁闷的是，至今为止也没有什么比较构造性的方法能够证明同样的结论（一但能发现，通信学科基本上估计就要被终结了）。 【雾里分不清影踪的回答(4票)】: A Mathematical Theory of Communication，这么多年来，这可能是唯一一篇我能不假思索地说出名称的论文。我不是搞信息论的，但是作为一名传统的通信人，对香农充满敬意。我认为，如果说没有香农就没有通信学科，也不过分。信息这种看不见摸不着又抽象又晦涩的东西，竟然能被量化，并且其传输的速率极限竟然能在那个年代就被证明，这么多年过去了，信息论也在发展，但香农定理的地位一直没有变。任何一个通信系统，实际上都是在传输信息，既然用于传输信息，那么就无法突破香农限，当然，像mimo之类的，虽然提升的信道容量，但却是引入了空域，相当于多个信道了，每个信道的容量仍然受香农定理约束。 真是细思恐极，就像光速永远不变一样。 【HBmax的回答(8票)】: 香农理论不是在大白话…… 讲个故事。 十二个小球，其中有一个质量和其他不一样，并且不知道它是轻是重，现在你有一把天平，问需要几次可以将特殊小球辨别出来？ 按照信息论所学，我们不需要试验每一种称重方式，只需要log2(12)/log2(3)=2.26~=3 就是说，三次就够了 （记忆不清，有错误请指正） 把抽象的概念使用数学公式进行计算和表达，并且给出了这个世界上某个东西的运算方法或者理论极限，让初学者的我简直是佩服的五体投地。 香农的几个理想极限在学通信的眼中，完全就是非专业人士眼中“速度越快，质量越大，光速是速度的极限”一样，是个颠扑不破的真理了……我们为之后做的的努力，就是如何不断的去逼近这个真理…误码率总是受到码元能量限制的…按照老师的说法，还没有谁能跳出香农理论…得到更低的误码率 【MrAntarctic的回答(2票)】: 从概率和统计的角度，shannon entropy 给出了（一个随机事件） 不确定性的度量： sum log(p(x)) p(x) 这个度量，是通过先列出对这个度量的直觉感知需要满足的条件，然后从数学上证明只有这个公式能满足这些条件，推出来。 shannon entropy 在统计上最少有两个非常重要的应用： 一、 在统计分布中，应用最广泛的是 exponential family，包括 normal ,possion, gamma 等。experimental family 中的所有distribution 有两条非常重要的性质： 1） 用maximum likelihood求分布的参数时 有唯一的 解：即 似然函数满足convex性质， 没有local minimum。 2）给定一个未知分布的约束，比如说我想要一个均值为1的分布，那么“最客观（objective）”的分布是满足约束条件下，最大化shannon information的分布。同时，求出来的这个分布 会是 exponential family中的一个分布。 二、 reference prior (objective bayesian analysis, noninformative bayesian analysis) Objective 贝叶斯派认为，我们需要这样一个prior，这个prior distribution 在所有的prior 中对 最后参数估计的posterior distribution 影响最小。换句话说，就是最大化观测数据对最后参数估计的影响。 然后通过 maximize mutual （shannon）information between 参数 和 观测到的数据 X，可以求出 reference prior。 【换名字的回答(2票)】: 信息即是负熵！ 他把“信息”这个本就很抽象概念定义为可计算可测量的数值。 【asukaid的回答(18票)】: 没学过通信原理这课，但是觉得信息论非常神奇自己wiki和学过一些，如果有理解的不对的请大家改正。 最妙的东西我觉得是他是第一个认为编码问题本质上是一个概率论问题的人。因此他成为世界上第一个理解信息是什么的人，这里面的道理极其基本深刻。让人学起来觉得显然的东西一般都是最妙的，例子比如进化论，你学了以后觉得卧槽我怎么以前没想出来。。。了不起的地方在于他对于问题抽象的是如此准确以至于结论的方向性都是显然了，这更体现了他对问题本质概括的正确和神妙。 Shannon一生最伟大的两个贡献，第一是信息论（把通信编码问题转化为概率论问题），第二是数字电路（把数字电路转化为布尔代数组合逻辑问题）。因此，香农了不起的地方在于他跳出了通信、数字电路这些电子工程问题的物理实现，直接看到了最本质的数学问题。也就是通信原理和数电都是他一手创建。 在信息论中，条件概率有极其中心的作用比如 I(X|Y) = H(X) - H(X|Y)。这一点很有趣的！仔细想的话香农用来推出信息熵表达式的最后一个不显然的公理(熵的依概率相加)就和条件概率有关。我们了解多少信息，未知多少信息，这个联系的功能都是由条件概率的一个竖杠解决的。 如果你觉得信息论显然的话（如果你不是没学明白的话），很可能是因为你已经看到里面大量定理和不等式与概率论之间的明显对应，因此觉得里面基础结论的数学是trivial的。例如，Jensen不等式和Relative Entropy positivity，AEP（Asymptotic Equipartition）和中心极限定理；这些东西感觉对于学数学的人来说确实就是一个Proof = Trivial. QED 的推论，但是这给了我们一个重新深入理解这些数学上基本定律的物理情景，这种关系就好像量子力学之于线性代数。 另外，Shannon对于熵的概括有着跨时代的意义。我们大学学热力学学到的 dS = dQ/T，这个对熵的唯象解释简直太抽象了，没人能真正舒服的理解。直到Boltzmann和Shannon给出了另外两个熵的表示大家才理解，原来熵就是可能性的数学度量，而且是一个概率们的函数。他相当于是第一个创造了由概率分布到实数的映射的人，这个东西太有用了，比如D-L Divergence也就是香农熵的相对熵 (这个严格的说不算是香农自己的工作)，在大量问题中都起到了概率空间上度量的作用（尽管它不对称所以不是度量）。 而信息论厉害的地方还在于编码问题是一类极为广泛，易于扩展的问题，我们可以发现其与物理、统计、计算理论、当下流行的各种模式识别算法间的联系。相传费曼大神曾说过一句话（大意如此）：你如果能用n种方法解释一个问题，你算真懂了。就是因为信息论为很多相关问题提供了一个解决问题的范式或者工具，所以可以认为这套理论在应用数学和工程上是非常基本和重要的，让我们真懂了很多问题。举几个例子： 1. 统计物理：统计熵的统一表达、热二律的“推导”、统计学力学最大熵诠释 ( E.T. Jaynes )、自由能的相对熵诠释等。你可以发现统计物理里大量的基础物理量本质都可以用熵和最大熵解释，我们完全可以基于熵的信息论表达式为第一公理重建统计物理和热力学（甚至能量都能用熵解释，比如szilard engine和 min-max relative entropy） 2. 统计：Fisher Information 被发现就是 D-L divergence的二阶导，还有用最大熵构造先验概率分布。有意思的是，每一个MLE问题都有一个对偶的最小化相对熵的问题。 4. 计算理论：称球问题，某层楼有人提到这个问题，我就借来讨论一下。 十二个小球，其中有一个质量和其他不一样，并且不知道它是轻是重，现在你有一把天平，问需要几次可以将特殊小球辨别出来？ 这问题相当深刻。首先，最优方式当然是每次分两组二分，最后就log2(12)取个整，本身这问题没用到信息论是吧，不就是二分么，连个算法海面都到不了！其实这里面用了，但是因为太基本以至于我们都忽视了信息论在其中的应用。不信？如果里面有两个球特殊呢，现在天平还可能平衡，那么你还会做吗（能做出来的也至少得想一想吧）。我们设计算法的时候，只有秤球的时候天平给出可能的几种结果的概率一样的时候，这样每次秤得到一个结果得到的信息才是最大的（现在是不是对条件概率有点感觉了）。其实这个问题和编码的时候构造辅助码是一样的，相当于我们给一个一堆0里面有一个+-1的码去设计一个纠错码。 我们不妨联想一下到底什么是编码？识别手写字符的时候，我们难道不是也可以认为人脑子是一个码源，只不过手写这个channel too noisy。编码其实体现的精神不在于编码的物理过程，而在于码源的概率分布在一种操作下变成了另一种概率分布。我们要做的就是用信息论的范式去model channel， 然后利用不同的熵标度去找到一个最优解码方式。 【zero的回答(2票)】: 你把一支铅笔折断了，本质上可以看作一次信息处理：改变了铅笔的长度、位置等信息。 整个宇宙都可以看作一个元胞自动机：每个粒子按照自己的规则运动，然后呈现出复杂的世界。 元胞自动机，和图灵机是可以等价的。所以也可以说宇宙就是一台巨大的计算机，黑洞就是它的CPU。 物理学的定律本质上都是信息定律。 我们的世界和游戏世界并没有什么区别：游戏通过信息和计算呈现出一个复杂的世界，我们的世界也是这样，只是复杂度的区别。 我认为信息论主要牛在这个地方：它给人们带来了一个全新的世界观。 【张琪的回答(14票)】: 信息论不是大白话。香农的论文叫做《通讯的数学理论》，跟牛顿的书名相似。 香农的信息论把通讯这件事量化了。 通讯主要是两个方面：信息的压缩和传输。 他不单建立了通讯理论，还给出了这两个的理论极限。 这还不够，证明极限的同时还给出了实现方法。 自兹以降，六十年来大家的工作就是把他的工作实用化。 原文地址:知乎 |
|
|
