返回文章列表

压缩之后,智能如何升维?

12 分钟阅读

从《智能简史》到世界动力学,以及 OUTBIRD 应该怎样变聪明

听完《智能简史》,留在我脑中的不是某个脑区或某段演化年代,而是四个词:复杂、建模、压缩、升维。

它们之间有一个看似矛盾的问题:压缩意味着舍弃信息,升维意味着获得新的能力。为什么舍弃一些东西,反而可能让一个系统理解得更多、行动得更好?

这个问题把我带回了两件一直在想的事。一件是我暂称为“世界动力学”的思考:物质条件、主体认知与行动后果,怎样相互塑造。另一件更具体:我正在构建的 OUTBIRD,怎样才能真正变聪明,而不只是越来越庞大。

这篇文章尝试把两者接起来。它不是一套已经成立的统一理论,后面的系统建议也不是功能上线声明,而是一组需要接受证据检验的工作假说。

一、五次突破,改变的是可以处理的关系

麦克斯·班尼特在《智能简史》中,用转向、强化、模拟、心智化和语言,组织通往人类智能的一条演化叙事。作者此前的论文将这一框架称为“第一近似”;我把它当作思考工具,而不是所有生命和人工智能必须依次通过的五级考试。[1]

用自己的话重述:从辨别利害,到根据行动后果学习;从内部预演尚未发生的事情,到理解自己和他人的心理状态;再到通过语言共享经验与想法。这里的心智化不等于同情,语言也不等于文字。[1]

对我的启发是,每次突破都不只是在原有任务上算得更快,而是让系统能够处理一种此前难以利用的关系:时间上的后果、未发生的可能、他人的认识,以及跨个体传递的思想。

沿着这个视角,“升维”可以暂时定义为:一种新的表示或组织方式,让原先难以表达、预测和执行的问题,变得可以处理。

这里说的是能力的拓展,不是物理空间或数学维度自动增加,更不是演化必然通往某个终点。

二、建模是留下关系,压缩是舍弃细节

一个假想的找路任务足以说明问题。

我可以记录一路上每一面墙的颜色、每一块地砖的纹理,也可以记住:“走廊尽头左转,第二扇门能出去。”后者丢掉了大量细节,却可能更适合找出口。换成检查墙体裂缝,这份表示就不够用了。

因此,压缩之前必须回答:为谁压缩,为了什么任务,哪些错误不能接受?信息瓶颈方法把类似问题形式化为:在简洁的表示中,保留尽可能多的、与目标变量相关的信息。[2]

我由此更愿意把建模与压缩看成同一过程的两个侧面。建模强调保留哪些关系,压缩强调省略哪些差异。模型不是一个缩小的世界,而是对“什么值得被区分”的选择。

这也纠正了我此前过分强调注意力的倾向。注意力不只是从现成的信息堆里挑选重要内容;模型本身已经影响了哪些差异会被识别、哪些线索会被注意。与此同时,目标和注意又反过来影响学习什么模型。

所以,比起一条单向的“信息—注意力—意义”链条,我现在更重视模型、注意、目标与反馈之间的相互作用。把注意力叫作“在线压缩”、记忆叫作“时间压缩”可以帮助思考,但这些只是功能类比,不能替代对各自机制的研究。

好的压缩不是留下得越少越好,而是少留下无关细节,不丢掉会改变判断的差异。

三、压缩能够拓展能力,却不自动产生因果理解

设想一个系统背下了一百条路线,另一个系统掌握道路之间的连接关系。后者未必保存了更多细节,却可能组合出尚未走过的路线。

这就是我理解的“压缩之后的升维”:从储存实例,走向能够复用和组合的结构。表示更经济,与可处理的问题更多,并不矛盾。

但这个说法必须附带一个限制:抽象不等于因果,预测不等于干预。

在一个假想的故障案例中,“超时与大文件经常一起出现”是一种相关模式;“拆分大文件能降低超时”,则是关于干预的判断。后者需要额外的机制依据或对照验证,不能从前者直接推出。

因此,“数据降维、因果升维”可以是一句启发性的口号,却不能当作已经成立的定律。一个摘要可以更短,也可以把关键例外删掉;一个规则可以更整齐,也可以只是把误解固定下来。

判断压缩是否有效,最终不能只看文字变少了多少,而要看它在新情境下保留了多少判断能力,以及遇到反例时能否被修正。

四、世界动力学,需要从长链条变成可检验的闭环

我曾尝试把能量、信息、生命、意义、意识、注意力、语言、价值与行动连起来。这种长链条有启发性,也有危险:箭头画得越顺,越容易以为解释已经完成。

现在我愿意把问题收窄:主体如何形成足够支持行动的表示,又如何被行动后果改变?

作为工作框架,可以写成:

世界与自身状态 → 选择性表征 → 预测与决策 → 行动 → 可观察后果 → 模型修正。

目标、资源和权限约束贯穿其中,而不是等到决策最后一刻才出现。

“意义”也不再只是信息后面附加的标签。我更愿意追问:某个差异是否会改变主体的处境,主体又能否据此调整行动?Kolchinsky 与 Wolpert 的一项理论工作,把语义信息定义为对系统维持自身存在具有因果必要性的环境信息。[3] 这个定义不涵盖人类意义的全部,却给了我一个可检验的入口:拿掉某类信息,究竟会损失什么?

不过,对生物系统的这种分析,不能直接变成 AI 的目标设置。OUTBIRD 的目标应由用户授权和价值约束决定,不是让它把自己的持续运行当作最高目的。 允许停止、撤销和纠正,是设计的一部分。

到了多主体情境,闭环还要加上一层:我采取行动时,别人也在理解、预测和行动。语言让部分模型能够被表达和协商,但共享表达不等于共享理解,更不等于目标一致。

一个假想团队可以把“已完成”理解为代码写好,也可以理解为部署成功,还可以理解为用户已经验证可用。词相同,指向的世界状态却不同。组织问题由此不只是模型之间的通信问题,还包括证据、权限、激励、冲突和共同标准。

世界动力学要有解释力,就必须把这些差异展开,而不是用“递归”“涌现”替它们收尾。

五、耗散提供物理约束,不包办智能的解释

复杂系统、自组织和耗散之间的联系,仍然让我着迷。但我不再愿意用“能量耗散—生命—智能—意义”这一串箭头,假装已经解释了中间所有机制。

非平衡热力学可以讨论物理系统如何维持状态,以及信息处理与能量代价的关系;它并不因此独自解释记忆、语言和组织如何形成。[3][4]

《预测的热力学》给出了一个更具体的连接:在其随机外部驱动等假设下,系统保留的非预测性信息,与耗散中的一种低效存在定量关系。[4] 这里有明确模型条件,不能直接推成“少存几条日志就能提高智能”,也不能把信息压缩、热力学熵和软件架构混乱当成同一个量。

对我而言,这项研究带来的启发是一个问题,而不是结论:系统为过去支付的记忆成本,有多少真正服务于未来?

同样,“量变到质变”只是一种概括,不是机制说明。讨论具体的能力转变,仍需指出变化的变量、约束、反馈与检验方法,而不能以“演化就是这样”结束讨论。

我因此想保留三个相互联系、但不能互相取代的解释层:物理条件、认知机制、组织规则。跨层解释是研究任务,不是一句修辞。

六、OUTBIRD:从积累经历,到改变下一次行动

这些思考落到 OUTBIRD,首先改变的不是模块清单,而是验收问题。

我不希望仅用智能体数量、记忆条数、调用次数或报告篇数证明它正在进步。更值得问的是:同样的约束下,它是否完成了更可靠的行动,减少了重复错误,并降低了我需要介入的负担?

以下是我希望沿现有系统验证的方向,不是另起一套架构,也不意味着这些能力已经落地。

记忆必须保留证据,也必须能够被推翻

我希望把三类东西分开:实际发生过的事件、从事件中提炼的判断,以及准备采用的规则。

例如,多次部署失败可以提示一个共同模式,但“三次同时发生”不等于原因已经确认。每条提炼出的规则,都应关联来源、适用条件、反例和失效条件。新的摘要不能覆盖原始证据,更不能把“未知”压缩成“已解决”。

巩固的含义应当是:从经历中提出可检验的假说,经过验证后才影响行动,而不是把一段长聊天改写成一段更自信的短聊天。

规划应该包含可验证的试探,而不只是更长的推理

面对不确定问题,我希望系统先比较少量可行方案:各自依赖什么前提,最可能在哪里失败,什么最小测试能排除错误方向。

模型在内部想象出来的结果仍然是假说。沙箱、只读检查、历史回放和受控小范围执行的价值,在于用不同成本取得反馈,而不是为一次自信的猜测增加装饰。

风险较高、不可逆或涉及外部影响的行动,仍应服从权限与批准边界。能预测某件事,不等于获得了执行它的授权。

路由应该学习条件,而不是固化供应商标签

我希望模型选择保留供应商中立,并优先考虑真实交付质量和速度,而不是单纯追求最低单次价格。

要学习的是:在什么任务、上下文、工具和近期运行条件下,某条路径更可靠。一次失败应先区分问题发生在模型推理、工具权限、上下文传递、网络还是执行环境,不能统统归成“模型不行”。

历史成功率也不能直接当作下一次成功概率。任务分配不同、样本有限和环境变化,都需要在评估设计里被处理。我的工程要求是保留不确定性,用可比任务和后续结果校准判断;反馈改变了路由策略,才算学到了东西,仅仅增加一张统计图不算。

多智能体协作需要共同状态,而不只是互相发消息

我希望交接至少明确:目标是什么,证据在哪里,什么已经发生,什么仍是假设,谁可以采取下一步行动,以及怎样才算完成。

同样,“代码已提交”“审核通过”“部署成功”“用户实际可用”应是不同状态。一次交接不能把上一个状态悄悄升级成下一个状态。

在工程意义上,我理解的“理解其他智能体”,不是给它们添加拟人化性格,而是知道对方具有什么上下文、工具和权限,当前输出依据哪些证据,以及能力评估在哪些条件下才有效。

七、先证明一次小闭环,再谈自我演化

如果这些想法值得采用,第一步不该是再增加一套宏大的“世界模型平台”。我更愿意挑一个高频、低风险、结果清楚的任务族,做一次受控对比。

先记录原有流程的端到端表现,再只加入一项变化,例如可追溯的经验巩固。使用新的、可比的任务检查:它是否更少重犯同类错误,是否更快完成外部验收,是否降低人工介入,同时没有扩大越权或错误执行。

只有这个闭环成立,才逐步扩展到其他任务。没有改善,就修改或撤销假说,而不是把失败解释为“还需要更多模块”。

我也不再愿意用“预测质量乘以行动能力,再除以信息和算力”之类的概念式,给智能制造一个看起来精确的分数。各项量纲和测量方法并未统一,一个乘除号不会替我们解决这个问题。

更朴素的验收标准反而更有用:在明确的质量、安全和资源约束下,真实完成了什么,又从结果中学到了什么?

结语:压缩世界,也要允许世界纠正自己

从复杂到建模,从压缩到能力拓展,并不是一条注定成功的单行道。模型可能删掉重要差异,规则可能固化偏见,组织可能只学会彼此确认。

所以我真正想保留的,不只是“压缩带来升维”,而是它的后半句:只有当压缩后的模型持续接受现实检验,能力的拓展才有可能稳固下来。

对世界动力学,这意味着少画一条包办一切的箭头,多说明一个可检验的机制。对 OUTBIRD,这意味着少用系统内部的忙碌证明进步,多用外部结果检验学习。

智能不是把整个世界装进自己,而是学会保留值得行动的差异;成熟的智能,还要知道这些差异何时保留错了。

参考与延伸阅读

[1] Max Bennett,《A Brief History of Intelligence》作者介绍页;以及 Five Breakthroughs: A First Approximation of Brain Evolution From Early Bilaterians to Humans,2021。书中框架与本文工程类比应分别理解。

[2] Naftali Tishby、Fernando C. Pereira、William Bialek,The Information Bottleneck Method,arXiv 版本提交于 2000 年。

[3] Artemy Kolchinsky、David H. Wolpert,Semantic Information, Autonomous Agency, and Nonequilibrium Statistical Physics,2018。本文借用其可干预、可检验的思路,不将该定义等同于人类意义的完整理论。

[4] Susanne Still、David A. Sivak、Anthony J. Bell、Gavin E. Crooks,The Thermodynamics of Prediction,2012。相关定量结论依赖论文中的物理系统与驱动假设。

觉得有帮助?请我喝杯咖啡

如果这篇文章对你有所帮助,欢迎扫码支持作者继续创作更多优质内容。

微信
微信
支付宝
支付宝

评论