【会议实录】段伟文 | 算法时代的伦理政治审视

段伟文研究员

段伟文，中国社科院哲学所科技哲学研究室主任、研究员，中国社科院科学技术和社会研究中心主任，中国社科院大学教授、博导。享受国务院特殊津贴专家，曾赴牛津大学、匹兹堡大学等访问研究。主要研究领域为科技哲学、科技伦理、信息与智能的社会和伦理研究等。担任中国大数据专家委员会副主任委员，国际期刊 “负责任的创新(RI)”、“社会中的信息、传播与伦理杂志(JICES)”编委，《自然辩证法研究》副主编。近著有《信息文明的伦理基础》(2020)、《可接受的科学：当代科学基础的反思》(2014)等。

如今，人类社会已经进入信息时代。我们现在所讲的“算法”，实际上是基于智能大数据的算法，通过算法，我们可以对世界进行认知或调控。现在我们来看这样一张图片，图片展示的是物理学的一个装置——威尔逊云室。那么云室到底起什么作用？我们知道，阿尔法粒子、贝塔射线、X射线等等，这些粒子射线都是无法被人的肉眼捕捉到的，但威尔逊云室可以通过温度降低使水蒸气达到过饱和状态，此时带电粒子射入，水蒸气则通过离子作用凝结成云雾，从而帮助显示出射入粒子的轨迹。这个物理学的例子可以作为一个算法的类比，算法所依托的大数据实际上就是人的行为或特征数据，而我们在日常生活中是看不见这些数据的，但是我们现在的算法使用了一种技术上的测量或基于一种技术上的构造，最终让这些数据得以形成“人”的轨迹。

在现代社会，科学和技术是一体化的，这种一体化指的是社会上广泛存在着“技术性科学”。无论是人类的技术人工物还是精神文化、社会秩序、制度观念，如今这些都在按照一种目的性的要求逐步通过技术进行整合。总的来说，我们所生活的这样一个时代（不论是把它叫做技术时代还是算法时代，抑或是深度科技化时代）有一个重要的特征：科技力量早已为我们写下了技术社会的剧本，而权力组织则用它来规训或治理社会，实际上这个过程也是一个技术对自然人驯化的过程。

那么我今天谈这样一个话题——“算法时代的伦理政治审视”，是为了进行一种技术层面的哲学思考：我们可不可以从利益相关者的角度、从人的权利视角切入，用人文方法来审思，人类是否可以反过来去重新构造我们对于技术未来的社会想象？并对技术本身进行一种驯化？现如今，有很多方面一一比如个人隐私、人工智能伦理、现代传播等领域产生的问题，到了最后都会变成技术问题。在我们现在所遇到的一些社会问题中——包括我们的治安问题、社会治理问题、新闻传播问题等——技术的存在都是一个十分棘手的方面。但是，我们在面对技术产生的问题时，实际上很难找到一个对错分明或是价值中立的答案。换句话说，即使单纯用技术来调节社会，我们也很难做到让每一个利益相关者都满意。那么，现代社会产生的每一个问题都可以而且都应该用技术来解决吗？这个质疑本身是需要我们不断审视的。在有些情况下，一种技术的解决主义可能会导致一种“技术的障目镜”现象产生。比如说：人们大都认为某些西方发达国家很先进，它的各方面理念、观念也都很先进，但实际上他们做过很多愚蠢的事情，他们曾发起侵略战争、奉行法西斯主义和霸权主义，而且，诸如德国选择性地大规模种植成材林以展现“森林帝国”，人们看不到全部真相，看到的只是可以快速和齐整生长的“森林”而已。这就是所谓的“技术的障目镜”现象。

为什么要谈到这个案例呢？实际上我想说，技术里面的确嵌入了价值和政治。但是对于科技企业等组织来说，一个甚嚣尘上的主流认知是：技术是中性的，技术没有好坏。然而，我们不得不承认，技术的确具有价值“嵌入”的特征。以刺绣为例，我们有苏绣、有湘绣，但是包括人们怎样去“用针”、如何去“排线”等等这些技术行为都会对最后的艺术品本身产生影响。因此，不同的技术方式产生了刺绣的不同类别和不同呈现，也就随之产生了不同地区的刺绣文化。实际上，我们现在经常谈到的“智慧城市”本身也是一个矛盾体，这里面就有一个很值得思考的问题：智慧城市的社会治理究竟有没有可能找到一种普遍的、超越的、正确的解决办法？针对这些传统技术语境下产生的问题，人们很自然又找到了基于智能大数据的算法，试图通过算法来实现某些“公平、正义”，解决某些社会政治问题。换句话说，人们正在追求一种更新、更快、更精细的技术，去解决传统技术未能解决的种种问题。但这种技术解决主义的路径究竟是不是我们真正需要追寻的方向呢？这是需要我们反思的。

接下来，很自然就会谈到算法这种现代化技术。算法的本质究竟是什么？在我看来，算法就是人类把世界数据化的过程。把世界数据化的意思就是：一切都用数据来说话。在人们通常的认知里，“数据说话”即是客观。然后，我们便以这样一种所谓客观的技术来描述世界、干预世界、影响世界。然而，算法技术里面有很多东西是非常复杂的，一个容易被忽略的问题是：我们即便可以用数据来描述这个世界，我们也不能保证这个过程的客观性。因为，在这个世界被描绘成数据的同时，这些数据本身的准确性也在不断变化、不断更新，而技术却很可能滞后于这种变化。例如，地图上存在某一条道路，现在这条路是可以通行的，但是将来，这条路不一定好走、甚至不一定还存在。这就表明，世界一旦被数据化之后，算法技术一定要实时在线、即刻联网才能降低这种“不客观”风险，但这也是现阶段的算法技术无法做到的。那么在这种情况下，无论是智能信息的汇聚也好，还是我们大量的以人机组合方式为基点的智能系统也好，它们所带来的这种后人类时代的新的认知方式是基于处理大数据的一套规则或指令之后产生的一种输出。这个输出本身不能够用一个简单的“客观性”来概括。

我们都知道，算法的输出结果是一个基于机器学习过程的结果，而如今的机器学习还仅仅只是达到了人类的直觉这样一个基础认知程度，人类与算法之间存在一个长期互动的过程，并且这种互动是不断进行、不断深入的，这就会使技术的“判断”“认知”产生不确定风险。例如，美国有些州会根据算法判断应在何时以何种方式释放哪些监狱囚徒，这里面存在两个比较明显的问题，一是，那些因为算法而没有被释放的人，很可能会进一步出现反社会倾向；二是，还有一些囚犯善于伪装和制造虚假，这类囚犯如果被释放出来，则很可能对社会产生更大的危害。因此，我们也可以感知到，算法实际上就是一种生成媒介，它依靠数据过程对世界进行深度认知并作出自己的判断。如今的机器会根据一组标注的训练数据，生成一个看似可靠的模型，而后算法实现最终的输出结果。但基于此的算法本身也实现了一个叙事过程，可以说，算法既是一种事实，也是一种叙事。例如，在美国，为什么人脸识别总是出问题，这是因为它的人脸识别算法大部分是根据白人的数据来训练的，所以当这种算法用到黑人身上的时候，就很可能出现问题。实际上我们都知道，在人工智能或者机器学习的过程中，有很多数据是通过人类来标记的，这便是所谓的“有监督学习”，而“无监督学习”恰恰相反，它常常通过一种聚类的办法来实现。不管怎样，这两种学习方式都会面临一个样本采集的问题，算法会再根据这些样本进行深度泛化。所以我们很自然就会面临这样的问题，样本本身有没有偏见？样本本身是否存在问题？实际上，我们根本无法消除这类样本的偏见，偏见在这个世界上本身就一直存在着，我们首先要认清并承认这种偏见。

下面我们再来看一个例子——达芬奇手术机器人。达芬奇手术机器人系统是一种高级的机器人平台，其能够通过使用微创方法实施复杂的外科手术。它的基本原理是，机器人会先根据外科医生（特别是那些专家）的一些手术操作，获得一种基础的真相。然后在这个基础上，进而产生一套标准的算法来辅助它进行手术。然而，在这个过程中，很多东西其实已经被过滤掉了，那些凡是不能够转化为数据的信息便不再存在。例如，医生在触摸人体器官时的感受，以及传统医学里强调的、很重要的医生的感觉，都将因为无法转换为数据而被忽略。因为，达芬奇手术机器人并不需要这些“知觉”，因此，一个可以预见的风险是，机器人使用了一套复杂模型来模拟手术过程，并把这个过程变成了一种知识结构，而这种知识一旦产生，那么将来的实习医生就要跟着机器人来学习手术的过程。在这个过程中，我们可以发现，知识实际上发生了两次转换，第一次转换是：人类的知识转化成机器的知识；第二次转换则是：机器的知识转化成人的知识。那么，在这个过程里，究竟有哪些东西被过滤掉了？而基于这样一种过滤，当它再重新还原人的知识的时候，又会生发出哪些新的问题？这些方面都很值得反思。

概言之，机器学习所获得的算法真相，实际上是一种对于可能性的判断，也就是说，它是从基础真相的概率或是相似度中来学习的。所以，如果你的样本跟我们的真实世界特别相似、特别接近，那么这个时候机器结果就可能是比较准确的。但是，相关知识存在于两个世界中，一个世界是机器学习的世界，也是所谓的神经网络世界；另一个世界则是我们的现实世界。在这样一个学习和决策的过程中，机器认知实际上是把现实的世界变成了类似量子力学的世界。而我们也可以看到，现在的算法其实就同显微镜、望远镜、照相机很相似，算法相当于一个光圈，它实际上就是在捕捉我们的数据，那么在它捕捉数据之后的大量行为都是一种猜测，而且实际上这个过程还具有一定的目的性。因此，也可以这样说，智能机器生成了一种非人格权力，它是基于“后验真理”对人的行为进行的“预测性干预”。 

如今，人类社会逐步变成了数据凝视的社会。在数据凝视的社会中，技术建构出一种软生命政治与智能时代的个体化。作为世界伦理政治基础的算法，我们应当对它的结论进行质疑，因为它实际上消除了很多潜在的可能性。以我们今天聚焦的“政治传播”领域来说，一个主要的伦理政治问题便是：算法不仅仅违背了传统的社会规范，实际上也建立了一种新的好坏模式，并以此来调制政治行动。以算法时代的情感政治为例，数字和智能系统对人类社会生活始终都有一种调制机制，这种调制会导致一种情感政治的形成。我们现在的社交媒体与社会网络是合一的，这就导致私人领域和公共领域的交织，这样一来，工具理性就能够很方便地被用来调节情感领域。总的来说，这会导致整个现代社会的政治的情绪化和大众政治的审美化：一些狂热的情绪化的循环可能是我们当下政治传播面临的非常棘手的问题。另一方面看，实际上，人的认知并不是确定的，而算法的这种政治的情感操作消除了人类可能存在的认知暧昧，如果我们一旦用数据把情感和行动量化、用算法把它们变成了可测量的东西，那么接下来的描述、分析、引导都将会建立在这种本不应存在的确定之上，这其实是一种潜在的危险。

当前，人类世界是有情绪化倾向的，而现在我们这种智能化的情绪追踪实际上已经开启了人类世界的媒介化认知过程。在我看来，对人的媒介化认知和行为进行追踪分析，然后通过一种数据聚合方式进行操作，将最终使情感政治成为未来各方力量博弈的核心动力。但是，我们要承认，人类的认知始终存在着悖论，一方面，人类对很多问题的认识并不清晰；另一方面，人类的认知永远都是失调的，但是这种基于算法的情感政治操作就会抓住人类本身的这种认知特性，最终使情感政治构成一种心理和计算的综合体。而此时，你的情绪已经不再是那种原初的情绪了，这也将是我们在算法时代面临的伦理挑战。

本期责编：李瑛琦、袁明珠

（中国社会科学院大学新闻传播学院博士生、

浙江大学教育学院研究生）