(44)《信息论40讲》学习心得

吴军《信息论40讲》已经学完，学习心得如下。

一、信息的产生（控制和选择）

万物皆信息。信息的度量，是通过信息量来衡量的，其单位就是比特bit。信息量对应着信息熵。熵，即不确定性程度或混乱程度。信息的作用，是用来消除不确定性的。

人类通过信息编码创造了数字和文字，开始记录和测量事物，以消除对世界的不确定性。数字和文字，都是编码手段。编码要点，一是易识别，二是有效，能落地应用。文字的编码是通过信息的矢量数字化实现的，有拼音的，有象形的；数字的编码方法有很多种，如二进制、十进制、十六进制等等，由于各种编码是等价的，所以根据需要可以选择合适的编码方法。编码尽量要短，如哈夫曼编码法。（即把最好的、最重要的资源投入到最成功或最频繁的事情上）

传输信息时，为了提升传输的效率，时常要进行压缩。压缩的方法，一种是利用等价信息压缩，比如傅立叶变换（时域-频域）、离散余弦变换（空域-频域）；一种是利用信息前后相关性，找出差异，只对增量编码（大部分事物的发展是渐进式的）。在压缩时，要注意压缩比和失真率。无损压缩，如傅立叶变换、离散余弦变换将声音和图像变成频率信息，再用哈夫曼编码压缩。有损压缩，则要根据场景设定压缩目标。切记，减少信息数量，必然会增加不确定性。

以上是对信息的控制方面的总结，对信息的选择也很重要。信息的选择要注意四点：一是要选择正交的、不同维度的信息；二是要选择强相关性的信息，互信息高的（三观要一致，这样沟通起来才通畅，或对不同的人，要采用不同的方式沟通，这样才能顺畅）；三是要选择信息增益大的，比如最初的发明、第一个发表意见的、与众不同的意见等等；四是要选择置信度大的，被重复检验足够多次之后的信息。

二、信息的传播（困境和突破）

传输信息的过程中，有四个困境，会增加信息的不确定性。这四个困境是：噪音干扰，信道窄，传输出错和窃密者。

信息与噪音同在，信噪比就此诞生。信噪比越小，噪音干扰越大；信噪比越大，干扰就越小。对于信噪比较小的信息，就要想办法滤除掉噪音。噪音按来源，可分为已知来源的噪音&不清楚来源的噪音；按规律性，可分为有规律的噪音&随机的噪音、固定频率的噪音&白噪音。过滤噪音的方法有两个，一个是利用信息的冗余和比对，过滤掉噪音。双MIC手机，就是利用这个方法降噪的。另一个方法是将有噪音的信息分解到不同的维度（频率）过滤噪音。

传输信息也是需要通道的，这就是信道。信道的的宽度（带宽或容量C）也是有边界的（尽量在边界内做事）。带宽越大，信息传输率R就越大（人脉，就是带宽）。切记，R≤C。传输信息时，若信道容量不足，唯一的办法就是降低速度。

在生产管理和市场推广中，为了保障信息传输的有效性和准确性，一般会利用科技（互联网）提高带宽或提升一定带宽的沟通效率。

由于人难免会出错，干扰也无处不在，就有必要增强信息的自动纠错能力，添加信息冗余，以达到信息传输的准确性。自动纠错的方法有三种：一种是重复传输信息（重要的事情说3遍），二是奇偶校验&海明码，三是参考DNA的编码。

信息传输过程中，为了防止信息被他人窃取，就需要对信息进行加密，以保障自己的隐私。加密的目的就是当窃取者收到密文后，无法降低任何不确定性。最有效的加密方式就是一次性加密，量子通信就是一次性加密。重复的密码，最容易被破译。常用的加密方法有：一是密码要经常替换，二是将信息埋藏在随机的噪音中。当然，如果你想让人知道你的观点，就要明确表述。

至于未来无线移动通信5G的发展，业界无论在技术上和应用上都还存在着争议。当然，行业主流还是推动了5G的建设。这样也可以理解，因为通过多建基站和光纤，是现行最有效的扩容手段，为万物互联创造条件。

三、信息应用（有效识别和利用）

计算机科学家做的事情，就是把现实问题变成数学问题。计算机工程师做的事情，就是把数学问题变成计算机能够处理的问题，这就要借助硬件-电路（模电、数电和电源电路）和软件-程序（指令和数据）来实现。期间，数学扮演着非常重要的角色。我们要做的是，如何把自己领域中的问题，描述成一个信息收集、传输、综合、存储和处理的问题。

在没有得到信息之前，则不要做任何主观假设，并且要根据需要解决的问题来收集正确的信息。信息，能直接收集到的就直接收集，不能直接收集到的，可以通过其等价信息来收集。对于收集到的信息，可以通过交叉验证来进行确认。收集的信息不在于多，只要能把事情做好即可。对于收集到的大数据，可以通过定向思维、逆向思维、对比细节和相关联系等数据分析方法，找出规律，帮助我们解决问题。