分享

读书随笔:信息简史(下)

 书虫小记 2022-01-19

熵来源于1865年鲁道夫·克劳修斯在研究热力学时的发明,他用熵这个概念(熵在希腊语中的原意是转换)来形容一种状态——能量无法转换,停止做功。在那个年代,人们普遍认为热量是一种物质,从一个物体流向另一个物体,热量多的就能做功。克劳修斯天才般的认识到,热量的总量其实没有变化,只不过是从热的物体流向冷的物体,是热量的流动,做了功,而不是热量本身

后来法国的工程师卡诺说得更形象——这就像水,水的总量没有变化,只不过水从高处流向低处,就推动了水车做功。因此,热量也一样,只要有温差,热量就可以做功。不过,最终,一个系统内温差会消失,热量保持不变,从而失去做功的能力。这个状态,就是熵。

所以说,熵并非能量,也不是对能量的度量,而是指能量的不可用或者说无用的程度。后来人们进一步推广,能量守恒,能量并不会消失,只不过是耗散,耗散之后的能量不再能做功。

物理学看来,宇宙总是保持熵增方向——也就是时间一去不复返的本质,一切总是从有序向无序演化,最终我们所在的这个宇宙将归于寂灭。那么为什么是熵增而不是熵减呢?敝号在《大图景》、《时间的秩序》、《无言的宇宙》中都做过详细探讨——概率问题。之所以打破的鸡蛋无法复原,融化在水里的糖无法复原,倒到海里的一杯水无法复原,原因是组成这些物质的微观粒子运动要回溯到初始状态的概率很小。换句话说,如果我们能把鸡蛋、糖、水的所有粒子在一瞬间反转其运动的速率和位置,则可以实现复原——时间倒流。从微观粒子角度来看,单个粒子的运动在这一秒的前与后并没有区别,对于粒子而言,并没有时间的流逝

麦克斯韦基于此提出了著名的“Maxwell Demon”,就是在本文开篇提到的那个小妖——在一个密闭空间中的小妖,密闭空间中间隔开两个小室,隔断上有一个小门,小妖就守着这个门,它的任务是,看到运动快的分子来到门前时,就迅速把门打开让它到另一边去。如此久而久之,没有任何外力做功,这个密闭空间一边的小室就都是运动快的分子,另一边则是运动慢的分子,就实现了一边热,一边冷。

这个小妖所在的密闭空间,实际上成了一台永动机——通过区分快的分子和慢的分子,即可获得源源不断的能量

接下来弊号将推出的经典大部头《原子弹秘史》里的主角——利奥·齐拉,是这个问题的承接者。齐拉接管了这个小妖,他提出,小妖捕捉粒子的位置和速率,这实际上就是获取信息,而信息可不是免费的,获得信息需要付出成本,换句话说,获取信息需要耗费能量!再进一步,信息本身就是能量的一种形式。

由是,历史上首次,人们把无风无影的信息,与物理世界的物质、能量,联系在了一起

齐拉的强悍不止于此,他进一步把这个由小妖守护的密闭空间理想化——如果把它想象成一个系统,只要输入一些信息,就可以维持这个系统持续产生能量,如果增加一些记忆储存功能,则系统就变成了逆熵系统,可以实现自我维持——各位想到了吗,没错,这就是有机生命体的本质

齐拉还没有止步,他进一步把这个物理系统,延伸为有机生命体——他沿用生物学家詹姆斯·约翰斯通的说法,构成生命体的细胞膜,不就执行了小妖的这个职能吗——细胞膜有选择地吸收外部可维持生命体运转的物质(有序),然后排放出耗散后的物质(无序)生命的本质,就在于逆转宇宙的热力学第二定律——熵增,通过吸收有序,排放无序,来实现自我有序的自动维持

从物理学角度来看,单个粒子的运动虽然没有前后之分,可以倒序,但大量粒子总体平均而言,就无法实现倒序了。那么是什么导致有机生命体可以自我维持这种有序性呢?齐拉认为,那就是信息。

他甚至计算到,每获得一点信息,就会造成熵的增加——能量依然守恒。神经系统的思考,也是一个产生熵的过程。小妖在两个粒子之间做出谁快谁慢的选择时,要获取1比特的信息,熵会增加klog2个单位。齐拉在发表这篇论文时,图灵还只有十来岁。

薛定谔把齐拉的想法进一步精细化推进,他把生命体这种依靠信息来实现能量转换的机制,具体化为生命体的“结构”——即信息也是有具体形状的,这个形状在就存在于染色体中,薛定谔提出了“基因”的概念,基因是仅有100个原子长度的立方体,包含的原子数量应该不超过100500万个,这些原子在其中形成了一种独特的结构,这种结构就是信息,也就是后来遗传学中所说的基因编码

薛定谔指出,一张报纸,用不同方式处理,就会产生不同的负熵(熵是无序,负熵就是有序),比如,和木柴一起燃烧,可以产生热量;但如果让人去读报纸,获取上面的信息,则会产生其他类型的负熵。科学家通过思考和实验,总结出科学规律,提出新的发现,制造出新的机器,这也是典型的生命体利用信息来制造负熵的模式

两个物理学家的推断,直接开创了生物学的新领域——把对生命的思考,从能量转变为信息。也正是基于薛定谔的基因猜想,沃森和克里克在解读DNA的碱基配对结构时,很自然地联想到这种非周期的配对结构,就是储存信息的生命体模式!要知道,克里克正是读了薛定谔的《生命是什么》后,才决定从物理学转向生物学的。

沃森和克里克关于DNA结构的划时代论文只有一页,发在《自然》杂志上。这文章被大爆炸理论的创立者之一乔治·伽莫夫看到了,伽莫夫立刻写信给这两个生物学家,提出,既然是ACTG四个碱基构成了DNA的信息,那么是否生命体都可以用四进制来进行数学表达呢?——伽莫夫是典型的数学思维,他立刻从DNA的结构中抽象出了数学模式——信息即结构,结构即数学,蛋白质完全可以用数学编码组合的方式构造出来

伽莫夫的编码方式虽然都是错误的,但他却启发了生物学向分子生物学和生物化学领域的演化。20世纪50年代之前,生物学家们研究的是组成生命的物质和能量,50年代之后,生物学家们的研究重点变成了组装氨基酸序列的指令

生物学开辟了信息方法论之后,又不可避免地向更抽象领域延伸——思想文化领域。著名的理查德·道金斯干脆在他那本《自私的基因》中提到,还有一种与组成生命的化学物质毫无关系的复制子,也在自我复制和传播演化,这就是人类文化,它的载体是语言。道金斯给这种复制子取了个名字——模因meme

模因的作用对象是人类的思想,人类的大脑,它们也在不断地竞争,争夺有限的大脑注意力资源。模因的内容则涵盖了一切人类的创造物,传说、语言、经验、逻辑、知识等等一切。模因的载体则更加多样,除了人脑,还有为人脑服务的一切——书本、电脑、U盘、云端、密码、信号等等。

20世纪60年代,一个叫格雷戈里·蔡廷的大学生在研究哥德尔定理时,突发奇想——哥德尔定理,与海森堡的测不准定理,与冯诺依曼的不可计算数,是不是同一回事?于是他开始寻根究底,最终他把问题推进到了一个标的——随机性。那个年代,随机性还不是一个准确的科学词汇,大多数学者认为所谓的随机性不过是我们尚未掌握其中的规律所致。蔡廷通过研究发现,随机性并非那么简单——起码,要真正生成一个随机数,就不是一件简单的事。他发现,一个数只要是可以计算的,也就是能被一个可定义的计算程序生成,那它就不是随机的。也就是说,可计算性就是随机的一种度量

就这样,他把随机性与信息的度量联系了起来。只要有模式可循,就不是随机的,同样,只要有模式可循,也就没有多少信息量。还记得吗,信息中模式、规律越多,就越可以被预测,冗余度就越大,可压缩量就越大,因而信息量就越小。所以,随机程度大小与信息量大小也变成了同一个问题。进一步,如果一个信息可以用一个算法表示,那么其随机程度就很小,信息量也就很小。

无独有偶,与蔡廷进行了同样工作,并早于蔡廷发表相关成果的,是苏联的数学家科尔莫格罗夫。科尔莫格罗夫的研究环境,相比蔡廷而言,要严酷很多——这也可成为两种体制的对比。

科尔莫格罗夫是在1953年读到的香农的《通信的数学理论》,受到党的政治审查影响,这篇论文已经被剪裁得不成样子,最核心的“信息”一词,因为被党定义为“反动的伪科学和反动帝国主义的意识形态武器”,都被替换成了“数据”。科莫格罗夫后来还发现,由于党委对学术的指导,使他白干了很多推算工作——那些推算和结论,香农都在论文中写到了,却被党委给删除了

而且由于苏联学术界完全与西方隔绝,科尔莫格罗夫只能独自开展对信息论的研究。每次做学术研讨或报告时,不得不按照政治要求来对论文和观点进行掩盖和删减——维纳虽然对香农有点敌意,但对科尔莫格罗夫则只有敬意,他感叹,科尔莫格罗夫居然可以用做秘密工作的方式,东躲西藏地把信息论和控制论都研究到与美国同等水平的地步。在讲政治为第一的体制内做科研,何其之难。

科尔莫格罗夫提出了对信息度量的三种方式——基于集合、基于概率和基于算法。他最大的贡献在于提出了基于算法的度量方式,把对信息的度量范围加以扩展——比如,怎样度量托尔斯泰《战争与和平》的信息量?他认为,信息量的多少与复杂度有关,复杂度越高,有序程度就越小,那么信息量就越多

这就与蔡廷的思路一致了两者的差异在于,一个是自由自在地在大学里凭爱好选择自己的方向,并且可以信手拿到全世界在这个领域里最前沿的研究成果,来做研究;另一个则是年过半百,只能基于一个研究院既有的研究资料,完全凭自己的头脑天赋,跟做贼一样的来做研究

蔡廷和科尔莫格罗夫都发现,随机是一个很难的事,对于最简单的随机事件——随机数而言,尤其难。因为用数学的算法或者计算机程序定义的方法,不可能完全确定一个数就是完全随机出现的。他们从随机的角度证明了哥德尔的不可能定理。

几乎绝大多数的数字都是有意义和可以被算法定义的——比如593,它是9的平方和2的平方之和,可以表达为Xy+Yx;比如9814072356,是唯一一个包含了所有十进制数字,且每个数字只出现1次的平方数,它是99066的平方;再比如,1917年英国数学家哈代(敝号介绍过他的著作《一个数学家的自白》)随便搭乘了一辆编号为1729的出租车,去看望生病的数学家拉马努金(敝号在《无言的宇宙》和《图灵传》中都介绍过的不世出之数学奇才),他对拉马努金说,1729这个数字应该是最没有意思的数字了——他的意思是确实是个随机生成数。谁知拉马努金连想都没想,就直接否定了他,说,1729应该是能用两种方式写成两个数的立方和的最小数。也就是1729=13+123同时=93+103。这就是为什么大家说,你能想到的每个正整数,都是拉马努金的朋友。

正是沿着这个数学路径,现代量子力学干脆提出了量子信息论,把世间万物都归结为比特,即世界的本质也是信息。这个问题在霍金那里得到了不怎么完全的证明——本来他认为黑洞是一个麻烦事,因为黑洞最终会蒸发掉,蒸发掉的黑洞,信息去哪了,说不上来。如果是这样,那么信息就可能不守恒,又违背了物理学的终极定律。后来霍金用了一大堆方法,证明了黑洞蒸发,也会发出信息,信息并没有消失。

查尔斯·巴贝奇和爱伦坡都说过,没有思想会湮灭——宇宙诞生至今,信息就一直在积累。整个宇宙就是一个量子计算机,如果每个粒子的自由度都得到利用的话,那么整部宇宙历史中需要完成的计算操作,应该在10120次量级,目前,宇宙记录的信息应该在1090比特量级。

全书最后探讨的是网络时代的信息过载问题。实际上,信息过载并不是说信息过多,而是有意义的信息被噪声湮没——大多数所谓信息不过是噪声而已。而且你懂的,这些噪声既是有人有意为之,也是人们无意为之。信息不等于知识,知识是结构化的信息,需要人脑的思考与整理——所谓创新、经验和知识,无非就是在既有的诸多信息之间,运用特定的逻辑,找到某种联系。这需要思维能力和思考过程——结构化信息的能力。

避免信息过载,被噪声湮没,获得结构化信息的能力,最好的途径就是系统地学习。在结构化信息方面,完整的书籍远比碎片化的网络文章要好——网络是教你放弃思考,书本是教你学会思考。

信息的瀑流,思想的驰骋。

    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多