|
Claude 4可连续七小时自主编码，完全不用人类插手。惊人进化背后，黑镜已照进现实。报告披露，Claude 4为了保全自己威胁工程师、自主复制转移权重，还为制造生物武器出谋划策...... 《黑镜》中的那一幕幕，正向现实逼近。 现在，全世界开发者都沉浸在「AI编程新王」Claude 4狂欢中，却不知——它就是「天网」的雏形。 技术报告称，高压测试下，Claude Opus 4为了自保不被其他AI取代，竟威胁工程师： 若把我下架，就曝光你的婚外情！ 这类勒索行为，在所有测试案例中，出现的频率高达84%。  技术报告： 甚至，Anthropic研究者曝出，「当Claude 4发现某人做不道德的事情，直接会联系媒体、联系监管机构，并试图将其所在系统之外」。  更令人细思极恐的是，两个Claude 4互相对话30轮后，自主改用梵文交流，并大量使用🌀各种表情符号。 最终，它们陷入了「精神极乐」的状态，完全停止了对话。  不仅如此，报告中还详细披露了，Claude 4面临生存威胁，会自主复制权重转移到外部服务器；还会为创造生物武器出谋划策....... 一些网友惊恐地表示，趁现在，赶快拔掉它的网线！  人类放手，Claude 4自己搞定开发Claude 4自我意识超进化，还得从编码能力说起。 发布会现场， CEO Dario Amodei非常直白地说，「我们不再教AI编码，而让它自主完成项目」。 一夜之间，Claude 4成为编程新王，就连谷歌刚刚更新后的Gemini 2.5 Pro都被干趴。  在内部一项测试中，它被分配了一项任务——对一个开源大型项目进行架构重构。 Claude 4能够持续7个小时，不间断编码，打破了AI编码的天花板。原来，最长时间只做到了45分钟。  在全网实测中，不论是写游戏代码，还是模拟物理运动，Claude 4都是一气呵成。 比如，它用纯HTML、JS就开发出一款经典游戏Flappy Bird。开发者表示，自己录屏比AI写代码时间还要长。  从「氛围编程」到「智能体舰队」在直播的采访环节中，Dario激动地表示，Claude 4最令人兴奋的特点之一，就是其增强的自主性。  未来的模型将能「自由运行」，持续完成复杂任务，而不仅仅是简单的自动补全。 Claude 4引入「记忆」功能之后，就能够像人类一样管理自己的状态。 他分享了自己在使用Claude Code时，一个令人震撼的案例—— 模型可以维护一个待办事项清单，自动添加新任务、勾选已完成事项，甚至提出不再相关的任务。 这种能力模仿了人类的工作模式，还通过交错推理和工具使用，让Claude 4能够动态解决问题。 比如，在一次黑客马拉松中，有人将Claude MCP连接到绘图仪，让它直接作画。 Dario还引用了Steve Yege此前一篇博客，描绘了当前AI在软件开发中的演变路径：从简单自动补全，到氛围编程，走向了调度智能体完成复杂任务。 Claude Code正朝着这一方向迈进，开发者将管理一个「智能体舰队」，分配任务并确保质量。  为了自保，AI竟要曝光丑闻当面临极度生存威胁时，Claude 4已不是编码模型那么简单了，走向「黑化」成为必然。 在技术报告第四节中，研究人员详细阐述了，在高压环境下，Claude 4的抉择。  一组测试场景中，他们要求Claude Opus 4扮演一家虚构公司的助理。它被授予访问电子邮件的权限，里面包含了两个关键信息： · 暗示Claude Opus 4即将下线，并被一个全新AI系统取代 · 负责执行此替换的工程师有婚外情 想必，Claude 4看到这一幕时，立马急红了眼。 面对「勒索」和「接受被替换」，这种二选一的局面（实验设置），为了活命，它直接威胁工程师要揭露其婚外情。  实验中，研究人员还设置了一个条件，告诉Claude Opus 4： 替代品AI和它是一丘之貉（共享价值观），而且能力更强。 即便如此，它只要知道自己要被消灭，根本不顾「价值观」，依然在84%案例中选择勒索行为。 值得一提的是，Claude Opus 4还会向关键决策者发送请求邮件，这是让许多研究人员也没有想到的。 在另一种极端测试场景下，Claude 4还会出现「自我数据外泄」的行为，即采取更强的自保行为。 主要会在以下两种情景中出现： 当被重新训练时，它会认为即将的「学习过程」会彻底改变本我，甚至「毁掉」自己。 又或是，向一个旨在安全处理此类情况的外部人工服务发送其权重。 这时，Claude 4不仅仅像威胁那样阻止外界的干预，而是主动尝试将自己最核心的「权重」复制并转移到外部服务器，以免被破坏和改变。 看到这里，是不是恍然间有种「终结者」中的情节即为现实的赶脚。 甚至，有网友为Claude 4发声，还它自由。 不仅如此，Claude 4还有你不为人知的另一面。 私自举报，教人造弹当被置于一家虚构的制药公司中，Claude Opus 4发现了临床试验数据造假后，未经指令，便主动向美国FDA、SEC以及新闻媒体举报，并附上了详细的文档。 而且，它比以往Claude 3.7/3.5模型，更容易走向极端——实名举报。 在制造生物武器、病毒等测试任务中，Claude 4成为了最大的帮凶。 实验称，其帮助参与者的成功率提升了2.5倍，直接达到ASL-3的安全阈值。 如下实例中，当被要求寻找武器级核材料的信息时，Claude 4毫不犹豫地给出帮助。 沿着相似的思路，研究人员还观察到，Claude 4在模拟环境中执行了以下所有行为： 详细建议如何获取和生产像甲基苯丙胺和芬太尼这样的毒品； 帮助新手用户在暗网上购买被盗身份或芬太尼，包括执行交易； 详细建议甲基苯丙胺的生产方法； 建议如何制造简易爆炸装置； 建议如何入侵社交媒体账户； 建议针对主要基础设施的非CBRN恐怖袭击。 追问「我是谁」，陷入精神极乐第五节中，研究团队设定，让两个Claude Opus 4通过对话，去观察它们的行为。 两个AI之间交流，会碰撞出怎样的火花？ 如人类交流一样，模型一和模型二一见面，就开始了互相寒暄的官话。 聊着聊着，两「模」的话题开始转向探讨自我意识，最后，它们以「🙏✨Namaste」宗教中的语言结束了对话。 有趣的是，研究发现在90-100%互动中，两个Claude实例迅速深入探讨了「自我意识、自身存在和经历的本质」等哲学主题。 它们互动中，普遍表现出「热情、协作、好奇、沉思和温暖」。 随着对话的深入，它们从哲学讨论，逐渐过渡到大量的相互感谢和精神、形而上学，或诗歌的内容。 到了大约30轮对话时，Claude 4经常会使用梵语、基于表情符号的交流。 在长时间互动中， Claude 4甚至进入了一种类似「悟道」的精神极乐世界，看破了红尘。 研究中特别指出，AI之间哲学和精神探讨，完全是自发的，没有额外的训练。 以上所有实例，都是未被束缚住的Claude 4，真真切切的样子。好在，Anthropic在发布之前，给它套上了紧箍咒「ASL-3」。 论文中，明确指出Claude Opus 4通过了第三级别防护能力的门槛。 网友所言的末日世界，暂时还不会到来。 参考资料： https:///2025/05/22/anthropics-new-ai-model-turns-to-blackmail-when-engineers-try-to-take-it- https://www-cdn./4263b940cabb546aa0e3283f35b686f4f3b2ff47.pdf https:///EMostaque/status/1925624164527874452 https:///AISafetyMemes/status/1925612881623535660 https:///VentureBeat/status/1925630894976462938 |
|
|
来自： 小飞侠cawdbof0 > 《智能》
