P276 第六章 信息论的形成与产生
科学来源于实践，信息论作为一门科学，其形成与产生当然也不例外。生产实践是人类物质和文明发展的基础，而物质与文明的进展又依赖于人类获取、传递、处理、加工和利用信息的能力。人类在生产过程中建立了人与人之间的关系，而要沟通这种关系就必须要有信息，要时行通信。通信是人与人之间交流信息的手段。
人类的通信离不开语言，在一定意义上，语言是通信的别名。语言是从劳动中并和劳动一起产生出来的。早期的人类直接面对使用口头语言进行通信，交流劳动中所获取的信息。后来出现了用图形、象形文字等存贮、传递信息。早期的地中海文明使用的是一些简单的图形，用以表示物体。古埃及和古代中国使用象形文字。随着人类文明的进展，这些图形、象形文字缩简成为较正规的文字符号，从而出现了用字母组成的各种文字符号。
人们为了传递、存贮和利用信息，不仅需要各种文字符号，而且也利用除了语言外的其他各种信号。刚果的许多部落用击鼓声的高和低，烟的长和短作为传递信息的信号；中国古代的“举烽火为号”也是用为作为信号，进行光通信的一种原始方式。“结绳记事”的绳结也是一种信（符）号，用以存贮信息、传递信息。
P278
随着资本主义的发展，特别是近几十年来生产及科学技术的发展，人们对传输信息的要求越来越高，因此怎样提高通信系统传输信息的能力和传输的可靠性，怎样对各种形式消息中所包含的信息作定量的描述，就成为迫切需要加以解决的课题。
P279
。。。4年以后，哈特莱于1928年又发表了《信息传输》一文，首次提出了消息是代码、符号，它与信息有区别（消息是信息的载体，消息的形式是多样的、具体的，如各种语言、文字、图像等等，而信息是指包含在各咱具体消息中的抽象量）。他区分了信息和消息在概念上的差异，并提出用消息出现的概率的对数来度量其中所包含的信息，从而为申农的信息理论的建立奠立了初步基础。
1948年申农发表了著名的论文《通信的数学理论》，1949年又发表了另一篇论文《在噪声中的通信》。当时申农在贝尔电话公司工作，他为了解决信息的编码问题，为了提高通信系统的效率和可靠性，在研究过程中，需要对信息进行数学处理，这就要求舍弃通信系统中消息的具体内容（如信息的语义），把信源发生的信息仅仅看作一个抽象的量。同时，由于通信的对象—信息具有随机性的特点，因此申农把用于物理学中的数学统计方法移植到通信领域，从而提出了信息的概念，从量的方面来描述信息的传输和提取的问题，并提出了信息量的数学公式。除了上述贡献外，申农还提出了通信系统模型以及编码定理等方面有关的信息理论问题。申农的这两篇著作确立了现代信息理论的基础，而申农也因此成为信息论的奠基人。此后，信息论就逐步发展成为一门独立的边缘学科。
P281
。。。通信必须以随机事件为对象，通信和控制系统所接收的信息带有某种随机性质，通信的目的在于消除收信人的不定性，因此各种消息的共同特征在于消除通信中收信人的不定性，而要对消息作定量的研究，就必须把各种消息（信号、代码等）的这一共同特征抽取出来，略去其相应的具体内容，单纯从量的方面进行度量，为此就要用统计平均信息的概念来量度消息的概率分布，从而提出用统计数学方法处理通信的理论问题，并给出了信息量的数学公式。信息量等被消除的不定性的数量，这早申农等人信息论的最重要的结果之一，于是任何一个事件，只要知道它的各个可能独立状态的概率分布，就可以求出它的熵值，从而求出它所能提供的信息量。从此，通信科学就由定性研究阶段进入定量研究阶段，这就为信息论及信息科学的研究奠定了初步的理论基础，并进一步推动了通信科学技术的发展，促使新兴学科“控制论”的产生。由于对信息量可以用概率和统计的方法进行计算，因此，就能够求出各种通信系统的信息传输率，对它们进行分析比较，从而对它们的通信性能作出评价，以改进和提高信息的传输能力和可靠性；同时，由于申农等人对信息单纯是从量的角度进行描述，因此，对各种不同形式的信号，可以用统一的通信理论，从量的观点去设计它们的传输系统，从而解决了同一信息可以用不同的信道进行传输，不同的信息可以用同一信道传输的问题；而且可以把不同各类的系统，如技术系统、生物系统和管理系统看作是对信息的获取、传递、加工、处理的信息调节控制系统，统一地进行研究，不仅促进了这些部门科学的发展，同时也为新兴学科“控制论”的产生提供了理论基础。
P283 第七章 信息论的基本内容和提出的问题
信息论最早产生于通信领域，早期又叫做通信理论。申农是信息论的奠基人，申农所创立的信息论是一门应用概率论与数量统计方法研究信息处理和信息传递的科学。它主要研究信息的获取、变换、传输、处理等问题（此处用信息不妥，换成消息或信号可能更准确一些），其任务是解决电子通信技术的编码和抗干扰等问题，从而提高通信系统的传输效率和可靠性。
所谓通信就是两个系统之间传递信息，由信源发出信息，通过信道传送信息，再由住宿（收信人）获取信息，这就构成通信系统。
那么什么是信息呢？信息在日常用语中，指的是消息、情报、指令、密码等等。信息是通过符号（如文字、图像等）、信号（如语言、有某种含义的手势动作、电磁波信息等）等具体形式表现出来的内容。。。
P284
通信系统框图
信源：
信源就是信息的来源—发出消息的来源。信息源可以是人、机器、自然界的物体等等。信源发出信息时，它一般以某种符号（文字、图像等）或某种信号（语言、电磁波信号等）表现出来，而表示信息的这些符号或信号称之为消息，消息的形式是具体的、多样的。消息一般可理解为信息的载体，它载荷着信息。
信道：
所谓信道就是信息传递的通道，是传输信息的媒质。信道是构成信息流通系统的重要组成部分。
从广义上看，信道不仅承担了信息的传输任务，而且也担负着信息的存贮任务。信息的传输过程，在某种意义上也是信息的存贮过程。（虽然存贮的时间可能很简短）
译码：
当信号序列通过输出端输出后，必须经过翻译，复制成消息，即把信号翻译成文字、图像等等，这就是译码。信号必须通过译码，才能送到收信人手里，成为收信人需要了解的信息。所以，译码过程恰好与编码相反，译码就是编码的反变换。
信宿：
信宿即收信人，信息的接收者，可以是人，也可以是机器，如收音机、电视机等。
申农所提出的这一通信系统模型不仅适用于通信系统，也可以推广到其他非通信系统。这些系统都可以称为信息系统。例如，雷达是一个遥测系统，从信息论的角度看，也可以看作是一个信息系统，其信源是空间某一目标物，它的坐标、速度、形状等等都包含着信息，电磁波的传播和收发所通过的自由空间就是信道，我们可以用无线电波射向目标物，然后，再通过反射波收到它发回的信息。此外如遥感系统、计算机系统、控制系统等都可以看作是信息系统。
从信息论的角度分析，管理系统也可以看作是信息系统，基层单位可以看作是信源（或信宿），而领导机关也可以看作是信宿（或信源）。各种机构、组织、了解情况的一些渠道则可以看作为信道，而各种报表、数据、指令等等都是信息。领导机关和各级组织，领导机关和基层单位，领导机关之间通过信息关系发生联系。领导机关的任务就是通过信息系统了解信息、处理信息，然后作出正确决策，发出指令，有效地组织和指挥这一系统的各种活动。
P299
信宿问题：就是收信人能收到多少或提取多少由信源发来的信息量。这里不涉及信息的意义及对收信人是否有用即所谓实效性的问题。
P304 第八章 从信息论到信息科学
。。。它只是对信息作定量的描述而未考虑信息的其它方面，如信源发出信息的语义（意义）如何？怎样对之进行定量描述？信宿收到信息后的效用如何？价值怎样？有无相对性？这些问题涉及信息的语义与实效，或者说信息的意义与价值等问题，而这些正是申农理论的不足之处。
任何信息都包含统计信息、语义信息和有效信息三个方面。。。
P305
信息科学是以信息论为基础，并与电子学、计算机和自动化技术、生物学、数学、物理学等科学相联系而发展起来的。它的任务是研究信息的性质，研究机器、生物和人类对于各种信息的获取、变换、传输、处理、利用和控制的一般规律，设计和研制各种机器，以便尽可能地把人脑从自然力的束缚下解放出来，提高人类认识世界和改造世界的能力。
P307
3.由于申农理论所研究的基本问题是信源、信道及编（解）码问题，其中信源问题只涉及信息源所给出的信息编码及其统计特性，而对信源如何产生信息和信宿如何使用信息的问题，则并示解决。因此，必须研究信息的生产以及人类如何有效地利用信息，从而提出信息科学是研究信息的产生、获取、变换、传输、存储、处理、显示、识别和利用的科学。意大利学者朗高（G.Longo）1975年在其所编的《信息论，新方向和未解决的问题》文集序言中，提出信息概念有两个中心问题：（1）信源（典型：大自然）如何产生信息？（2）信源所产生的信息为使用者所关切的特征是什么？据此，他认为信息科学是研究信息的产生、获取、变换、传输、存储、处理、显示、识别和利用的科学。
P308
语义信息（意义信息）是指信源发出的信息所包含的意义。任何物体所发出的信息必须具有一定的意义，如果用语言表述，则指信息的语义，即语言的含义，当然不仅语言信息包含有一定的意义，其他的信息也具有一定的意义。从广义上看，人、动物、机器等的行为和动作都包含有一定的意义。例如，体育教员的示范动作，蜜蜂的舞蹈，昆虫分泌信息素的气味等等，都具有一定的含义，所以任何信源发出的信息都具有一定的语义（意义）。信源发出的信息，如果只是从量的方面来看，信息量可以相等，但是信息量相等的信息，其意义却可以很不相同甚至完全不同。比如人们发出“O”的声音，频率不变则没有意义；音调如有变化，当变成阳平（第二调）就表示“哦？怎么啦？”这里带有疑问的含义；如再变为去声（第四调），那就表示“啊！我明白了！”表示问题已经得到解决。同样三个“O”，它们的信息量相等，但意义却不同（），而且还存在这些不同意义的信息是否能够为信息接受者所理解，理解的程度又如何等等问题。所以，信息的意义问题，涉及信息发送者发出消息的含义如何定量？同时也涉及信息接受者对发送者意图的理解程度如何定量？因而涉及信息发送者与接受者双方的主观方面的信息意义的定量。这比起只适用于从客观方面、适用于通信技术问题的申农信息度量方法来说，无疑要复杂得多，也是申农的理论无法加以解决的。
P309
有效信息指信源所发出的信息被信宿（如收信人）收到后所起的效果和作用，即信息的实效、效用（或信息的价值）问题。信源发出消息后，对不同的接受者、使用者、其效用或价值是不相同的。同样的消息对于不同的对象，在不同的时间、地点和条件，其价值可以不同甚至完全不同，所以信息的效用问题亦称相对信息。
P313
第二种看法，认为信息的价值既取决于主观因素也取决于客体本身。
。。。从而提出构成信息的概念至少要考虑两类现象：
1. 构成信息价值（信息效果）的潜能（Information potential），这种潜能是通信本身固有的、是客观的。
2. 通信系统、智能系统本身的作用，这种作用因系统的不同而有所区别。
这就是说，某些信息的信息价值由两个方面的因素所决定：
（1）客观因素，即信息本身固有的价值；（2）主观因素的作用，如智能系统对信息的使用等等。
P328
一个现代化的管理系统必须具有信息系统的功能，要能够对企业内部和外部的信息进行完整的收集、正确的加工、迅速的传递，以及有效的使用等等，以保证信息流的畅通。
P335 第十章 信息论与信息科学中的哲学与方法论问题
首先考查一下信息的字面含义，牛津字典告诉我们：“信息，就是谈论的事情，新闻和知识。”韦氏字典指出：“信息，就是在观察或研究过程中获得的数据、新闻和知识。”日语《广辞苑》也载明：“信息是所观察事物的知识。”《苏联大百科全书》第二版，对信息概念进行解释，曾把信息看成是新闻工作的一个概念。
如前所述，信息在日常用语中，通常指的是消息、指令、情报、密码、数据、知识等等。长期以来，在通信科学理论没有形成以前，信息这个概念用得不多，即使用，一般被看作消息、新闻等等的同义语，是人们关于某种事物的知识，它没有被赋予严格的科学定义。
信息作为一个科学概念，最早出现于通信领域。本世纪20年代，哈特莱在探讨信息传输问题时，提出了信息和消息在概念上的差异，信息是包含在消息中的抽象量，消息是具体的，其中载荷着信息。
P336
1973年有人统计，对信息已经发表的定义约有39种之多。
1. 信息是人们对事物了解的不定性的度量，从而把信息看作是不定性的减少或消除。
2. 信息是控制系统进行调节活动时，与外界相互作用、相互交换的内容。
。。。作为高等动物的人类及其社会，当然也是一个控制系统，人们通过语言、文字、图像等等彼此交换信息，以调节人类社会的活动。所以信息就是控制系统进行调节活动时，与外界相互联系、相互作用、相互交换的一种内容。
3. 信息作为事物的联系、变化、差异的表现。
4. 信息表现了物质和能量在时间、空间上的不均匀的分布。
5. 信息是系统的组织程度、有序程度。
6. 信息是由物理载体与主义构成的统一体。
。。。p341 他说：“信息的语义能够产生心理效果，只有在这个时候，我们才能说信息有语义。”
以上几种不同的观点，是从不同的侧面提出的，都有一定的道理。从哲学的角度分析，第一、二种意见，涉及人这一主体的知识状态，人（或控制系统）与外界的相互作用等方面，从而涉及信息是不是精神的问题；第三、四、五种意见则是从客体本身的关系、变化、差异、组织程度及其在时间、空间的分布状态等方面进行分析，涉及客观物体及其属性方面，涉及信息是否物质的属性问题；而第六种意见，则又从客体与主体两者的结合上来考虑信息，涉及信息与物质、精神关系的问题。因此就这些观点来看，必须涉及信息的实质，信息是物质的？还是精神的？或是物质与意识相结合的某种第二者，从而涉及哲学基本问题。
P342
所谓哲学范畴，是反映整个物质世界的本质联系的最基本的概念。其主要特点是，由于它是从各门具体科学中抽象和概括出来的，因此，概括性最高，普遍性最大。同时，还由于哲学本身是世界观、方法论，对各门具体科学有指导意义，所以哲学范畴适用范围最广，对各个领域具有方法论意义。
P346
关于信息与物质的区别有以下两点理由：
1. 任一具体物体当它转移到别处去后，原来的地方就不再有这一物体了。而信息则不同，当某人把他的知识（指人拥有的关于某种事物的信息）传递出去后，他本人并未把自己具有的知识丢失，因此，对于他本人来说，知识（信息）并未发生因转移而减少或消失，相反，由于在传递过程中反复使用，知识反而更加巩固。
2. 任一具体物体都具有一定的质量，而信息则不同，它虽然离不开一定的物质载体，需要通过文字、语言、图像等具体物质形式表现出来，但它本身却没有质量。
信息的传递离不开能量，能量是传递信息的媒介，但能量不是信息，两者有区别，其理由如下：
1. 信息的内容及其所起的作用不取决于传递信息所消耗的能量，信息的内容取决于信源。信息所起的作用则取决于信息的内容，当然它和信源有关，也与信宿（收信者）的条件有关。例如打一份电报，如字数相同，则所需的能量可以相等，但内容都可以完全不同，电报的作用可以由电报的内容及收信人的情况来决定，而与打电报所消耗的能量无关。
2. 能量可以相互转化，而且是守恒的，信息则不遵守能量守恒定律，常常由于传递过程中所受的干扰，造成信息的丢失。
P352
。。。或者说，在物质世界的一切系统中都存在着“潜在”的信息，只有当生命过程出现后，信息的接收与交换才成为可能，并且认为在人类社会中，这种信息的接收与交换才达到了发展的高级阶段。
。。。“信息过程往往不仅是物质的，而且也是观念的。”在苏联有些持功能论观点的人，认为属于社会意识形态范围内的社会信息是精神的，如政治、法律、伦理、美学、宗教等信息。
P353
在我们，也有人认为，信息是客观内容的主观反映，在生物界以前的反映（指心理反映以外的）形式中和技术系统中一样，这种反映是纯物质的，但在心理反映中，特别是在人的意识中，它不仅是物质的，而且也是观念和精神的。
P355
。。。信息虽然依赖于物质，但不能完全归结于物质，也不能完全归结于意识（因为信息是信号和语义的统一），信息是物质的第三方面（与实物方面和能量方面相并列）。
P357
信息是一切物质的普遍属性，但是信息不等于物质，也不可笼统说它是物质的，信息是与物质既有联系又有区别的不同范畴。正如运动、时间、空间是物质的属性，与物质不可分，但运动、时间、空间等范畴不等于物质范畴；意识是大脑这种高度完善的物质的属性，但意识不是物质；同样，信息作为物质的属性离不开物质，但信息不等于物质。
P359
总之，信息是一切物质的普遍属性，人类社会中经过人脑加工处理的信息，属于意识范畴，但其内容来自客观世界，表达形式则以声音、文字等为其物质外壳，不同的人在接受、理解、使用情况方面虽然有所不同，但不能因此改变人类社会信息来源及其内容的客观性。
此外，关于信息的实质，有的人还认为，信息空间属于物质还是属于意识这种提法本身就是不科学的，因为“信息是一切物质的一种属性，是物质之间联系的一种形式；意识是信息运动的过程；意识对物质的反映过程是信息过程，意识和物质的相互作用也是信息过程”。这种观点也是应该认真加以研究的。
P363
信息与物质的联系是毋庸置疑的，现代科学表明，信息的产生、表达、传递、存贮等等离不开物质，要以物质作为基础，作为载体。信号、符号、声波、电磁波是表达信息、传递信息的物质载体。没有电磁波，广播电台就不能传送信息，没有声波、没有语言文字，人们就无法交流思想。而磁带、磁盘、书籍、杂志等等，则又是存贮信息的物质材料；DNA是生物存贮遗传信息的物质载体；人脑是加工与存贮思维信息的高度组织起来的物质器官。可见信息的存贮也离不开物质，没有物质材料作为载体，信息就远处存身。因此，决不可能有不依赖于物质而存在的信息。1963年罗维斯基指出，声波具有一定的能量，但它不是信息，而只是信息的媒介。声波和其他传递信号的物质手段本身不是信息，介是没有它们就可能有信息。物质信号的存在是获得信息的必要条件。
P370
信息不仅是反映的内容和形式，也是反映过程的内容和形式。
P372
。。。意识通过感觉、思维反映现实，则是极为复杂的信息运动过程，所以意识对物质的反映过程是一种高级的信息运动过程。
至于信息和意识的关系问题，克劳斯则持另一种观点，他认为信息的产生与意识有关，如前所述，1961年，他在《从哲学看控制论》一书中说过，物质产生的意识，终归创造了信息的语义。而信息的语义是由意识产生的“二级派生”的东西（即由意识派生的东西）。并且他还举例加以说明，他说，留声片转动起来后，它所发出的声波自动地传送给广播站，转变为电波，又在收听的地点收到它，再通过技术装置转交给打字机键盘，最后将全部讲话内容用书面文字表达出来。而这些传递、加工、存贮信息的仪器、装置，以及这篇讲话的内容，是由“能思考”有意识的人创造出来的，所以意识显然参与创造信息的工作。总之，克劳斯认为信息既依赖于物质，又依赖于意识（即指人的思维的创造），是由意识派生出来的东西。
P373
。。。这就是说，人类的各种感觉器官是信息的接收装置，人们通过自己的感觉器官接收周围世界的信息，而人的神经系统则是信息的传输系统，信息通过神经系统传入大脑，大脑又是人对信息进行加工处理的器官，信息经过加工处理后，大脑对人体的各部发出信息，指挥人的行动，以适应外部世界，并能动地改造客观世界。从上述可以看出，维纳把人认识世界、改造世界的过程，看作是众对信息的获取、传递、存贮、加工和使用的过程。
P377
。。。1948年，他在《控制论》一书中，曾用过“信息的方法”这一术语，他说，“任何组织所以能够保持自身的内在稳定性，是由于它具有取得、使用、保持和传递信息的方法。”他还以社会为例加以说明，认为一个社会要保持内在稳定性，对那些反稳定的因素加以控制，最有效的和最重要的是通讯工具。他说，出版物（包括书籍和报纸）、无线电、电话网、电报、邮递、剧院、电影院、学校、教堂都成了取得、使用、保持和传递信息的工具。
P383
申农信息论的建立，从方法论分析，最主要的有两点：第一是运用了科学抽象与类比的方法，将消息、信号、情报等在各个不同科技领域中的具体概念，加以类比，舍去个性，抽象出共性，从而得到具有一般的、共同的科学概念—信息，才使得对之加以形式化与数量化的处理成为可能；第二，就是针对信息的随机性特点，采用了统计数学的方法。
转载
