人工智能与心智表征 辉格 2022年6月19日 继续上周的话题，在上一篇里，我讨论了AI在当前发展路线上将面临的局限，那么，突破这一局限的出路在哪里呢？或者让我换一个更具操作性的问题：未来出现的何种进展，会让我赞叹“这下有戏了！”？ 简单说，我期待的是这样一种进展：一个AI系统能解释自己的行动、决定或看法，或者更理想的，一个AI系统的各组成模块都能这么做，至少大部分高层认知模块都能这么做，一些基础知觉模块可能无法解释就自己的知觉过程给出解释，但其知觉结果的表征必须是一个十分有限且相当恒定的离散集，即，当它声称自己看到、听到、闻到或察觉到了什么状况时，这一状况必须以某组清晰界定的概念来表示。 设想一个自动驾驶系统，有次在路上发生了追尾，撞坏了前车，事后它的教练向它提出一连串问题，诸如：你是否认为自己犯了个错误？说说当时发生了什么？你当时是怎么想的？为什么没有及时踩刹车？你考虑了哪些因素后做出的这个决定？在你看来，是否你的某种知觉能力，或知识储备，或决策系统中，存在某种缺陷或不足，导致你未能做出最佳选择？你从这个事故中学到了什么？或准备去学点什么？…… 假如这个系统能对诸如此类的问题给出有意义的响应，让这样的问答对话能够继续下去，那我便可以说，其设计者的路子走对了，前途大有可观。 目前的AI系统离这还很遥远，而且很难说已经朝这方向发展了，有些系统能把英语说的很溜，但无法深入到实质性问题，它会跟你绕圈子，说一大堆似乎跟交谈主题有关的话，却从来没有表现出自己对主题有真正的理解和看法。 达到我的要求很不容易，系统不仅需要一个心智，这个心智还要能对自身状态进行表征，才可能对外界表述出来。 囫囵系统注定做不到这一点，因为其囫囵性质，其内部状态是无从表征的，对上面那些问题，它能给出的回答只能像这样：我当时的决定是基于对当时当地综合状况的一种整体直觉而做出，我无法将这一整体直觉分解为若干分立的理由或考虑，因为我生来就不是这么认识世界和考虑问题的。 就是说，一个囫囵系统就自己行动/决策所能给出的唯一解释就是它的gut，此时此地，此情此景之下，gut告诉它，这是最好的决定，如果事后证明这显然不是最佳决定，那会如何呢？那只是个负面反馈，一个负面反馈会让系统做出调整，但具体如何调整，是难以言表的，这一难以言表性是系统的囫囵性质决定了的。 那么，将心智状态和心智过程表征出来有什么好处呢？ 有很多好处，让我一个个说。 首先，心智表征能让心智之间展开更有意义的合作。设想一个董事会，正在开会以便就是否投资某个项目做出决定，如果这些董事都是囫囵系统，他们在会上能说些什么呢？他们可能各自给出投资意见：我是否赞成这项投资，我的预期回报有多大，或许还能对此给出一条置信曲线：90%置信度收益率上下限多少，70%置信度收益率上下限多少，完全失败的风险多大，诸如此类，但他们无法解释自己是怎么得出这些数字的。 假如各董事意见不一，怎么办呢？唯一能做的，就是投票决定，当然，更精细一点，每位董事可以依其经验值而被赋予不同投票权重，但囫囵系统之间的合作关系到此为止，他们无法展开讨论，无法倾听、检查和推敲各自的陈述与理由，因而也无法相互补充事实或理由，相互说服，相互启发，更一般的说，他们无法将他人的陈述和意见作为输入，用来重新运行自己的心智过程，从而指望得出更好的意见输出，因为他们的唯一理由就是gut，而gut之间是无法对话的。 一群具有心智表征能力的董事就不同了，一位董事可能对项目做一番介绍，其他董事可能要求他就他所列举的一项事实陈述做出澄清，或提出与之冲突的证据（不一致的知觉结果），他们还可以解释自己计算预期收益的方法和过程，他人也可对这些算法和模型提出质疑，比如指出应该考虑另一项输入，或指出另一个模型在此类评估上表现更好，或指出他在从事实认知到结论之间的论证链条上存在逻辑跳跃或缺陷。 所有这些，都需要他们拥有大致兼容的概念框架，对话才能进行，当然，概念框架未必完全一致，比如董事甲可能发现董事乙不理解自己所使用的某个概念（A），但基于过去的对话经历，甲知道乙理解另一个概念（X），此时甲可能会用类比的方法解释到：A与B在结构S中的关系，就像X与Y在结构T中的关系，而乙听到这个解释后，立即重新运行自己的相关认知过程，重新运行的结果可能对这一类比并不买账，但也可能得出了某些新颖的东西——我们把这称为“启发”。 其次，心智表征也会促成专业分工，设想这群董事经过一番讨论后，赞成投资的一派仍未赢得足够票数，几位董事都表达了对某一特定风险的担忧，比如，未来几年内若核聚变技术取得大突破，赞成派预期中的收益将无法实现，赞成派在知晓他们的反对理由后，可能说：既然你们担忧的是这一点，那好，不如我们听听这方面专家的意见，看看这事情发生的机会有多大。 这些董事的心智中可能都有一个风险评估模块，也有一个技术进展跟踪模块，还有一些相似的知识储备，对核聚变技术的发展状况多少有所知觉，可是，他们的每个模块的构造质量和性能表现可能大不相同，知识储备的覆盖面也不同，各自有所短长，另外，除了他们自己，还有其他可与之交流的心智系统存在着，而且，基于以往的表现，以及对这些表现的共同了解，对于各心智系统的短长所在，大家多少有着一些共识，所以，当赞成派提出，让我们听听那位专家（他可能是董事之一，也可能是位请来的客人）怎么说，大家至少是愿意听一听的——如果他们是真诚参与讨论的话——，而他们听到的内容，将作为新输入，触发相关风险评估模块的重新运行，并且可能得出与之前有所不同的输出。 注意，这样的过程得以发生，有几个重要前提：反对者的提出的反对理由不是囫囵的（我就是反对这项投资，没啥道理可讲），而是有细节的（我担心这项特定风险），而且这些细节是基于共同概念框架来表达的：我担忧的是一种“风险”，它与“核聚变技术”有关；而且这一反对理由背后有着一种因果关系预设：“核聚变技术”的“重大突破”将使得“目标项目”丧失其“技术优势”——这一预设同样是可以接受检查和挑战的。 如果一项理由未能经过如此概念化的表达，它是无法被检查、推敲和挑战的，它要么被全盘接受，要么被全盘抛弃，而无法被讨论，它不能被分解成若干逻辑成分，否定其中之一而保留其余，或将某一成分从一个特定值替换为一个函数，并将该值的计算委托给某个外部模块或系统，从而实现分工。 这样的分工与委托要得以实现，需要心智系统能够就问题的其余部分预先达成一致，从而隔离出分歧点，当董事们决定将某一特定风险的评估任务委托给专家时，他们已经就一些前提达成共识：目标项目的核心优势是一种低成本发电技术，因而与其他发电技术构成竞争关系，所以其他某种发电技术的突破是一种潜在风险，核聚变是一种可能的发电技术——要对问题的局部达成这样的共识，同样需要基于概念框架的逻辑分解，囫囵系统是做不到的。 再比如，当董事们决定将某项收益精算任务委托给某位财务专家时，他们必定已经就某些事实的认定（或其认定机制）达成了起码的共识，否则委托将无法进行，当财务专家看到几套相互矛盾的数据时，采用哪一套？如果他自行决定，那就相当于把整个项目评估任务委托给了他，而不是将分解出的一项子任务委托给了他，这种分解，同样基于共同概念框架，也就是我说的语义界面。 第三，心智表征也是相互补充与启发的前提，一个心智系统可能因为缺乏某方面输入而欠缺对某些事物的知觉能力，而来自其他心智的输入可以（1）提起他对某些他之前忽略的事情的兴趣，去获取更多输入，2）即便没有更多额外的实景输入，也可能促发他在既有数据基础上，从新的角度进行概念再识别，即在一些新线索提示下重新运行实体/特征识别程序，结果可能会获得一些新“洞见”，3）如果来源心智足够可信（可信度可经由以往交往经历和公共声誉而得到评估），他甚至可能直接接受一些输入概念或知识，4）这种外来知识不仅包括事实陈述，也可以是拇指法则（如果出现这种情况，就最好不要那么做），或推理/算法模块（如果他戴且仅戴着一只耳环，不妨找找他是同性恋的其他线索，或，看到一个球状物体时，可以这么估算它的体积），很明显，这种受补充与启发的能力，同样是以语义界面的存在为前提的，系统内部必须已经充分清晰的分解为众多独立模块，相互间通过语义界面分隔与交互，否则，此类输入信息将如何被使用，将是毫无头绪的，因为它们不是有关世界的一阶实景数据，脱离语义界面，你不知道如何让它们与心智既已拥有的知识发生关系。 正是心智表征和语义界面所创造的这些全新可能性，让人类心智表现的如此杰出，个体间的认知分工与合作，让认知能力的扩展和知识储备的积累超越了个体寿命与观察机会的局限，以及单一大脑算力与存储量的局限。 而且分工与合作不仅发生在个体之间，也发生在个体心智内部的各模块之间；所谓意识，就是经由全脑激活而出现的各模块间活跃互动状态，所谓斟酌，就是各模块争相轮番表达看法，陈述理由，主张行动方案的过程；这些模块间互动赖以展开的语义界面，和个体间的语义界面（自然语言），在相当大程度上是对应乃至重合的（虽然不必完全一致，一些在模块间起作用的内隐概念，或许从未在自然语言中得到对应表达）。 必须承认，人类在这方面的表现并不完美，许多所谓的讨论其实是假讨论，参与者其实早就拿定了主意，并不准备认真倾听他人意见，接受任何说服，他们只是假装如此，或许那会起一种安抚作用，而且人们在表达看法时也并不总是有效，事实陈述，立场表达，意愿或愿景的表达，推理过程的解释，常以凌乱模糊的方式交杂在一起，缺乏清晰的分解。 许多认知活动在头脑里或许是诸多模块分工的，但进入口语后其来源边界却模糊了，还有数量关系，我们头脑中或许有一部不错的贝叶斯推断机，以精细的量化指标处理着各种事态的或然性（证据之一是我们的刻板印象往往相当准确有效，而且其实并不那么刻板，会随新输入而调整），可是，在内省以及口语表征中，这些数量特性或许全都丢失了，就是说，有些模块缺乏清晰可用的语义界面，它们是黑箱，无论对于意识的内省机制还是人际交流机制，其内部逻辑都是不可见的。 与此同时，语义界面并非人际互动的唯一界面，我们至少还有一个情绪界面，建议和说服并非影响他人行动的仅有手段，感染与恐吓也是，在董事会上，你可以通过播放一段音乐或展示一些视觉素材来影响其他董事的决定，或在恰当时机给他们喂高糖食物，或通过布置、衣饰或身体姿态来营造某种气氛，诸如此类，在许多情况下，情绪界面或许比语义界面更重要。 但无论如何，至少在某些条件下，在某些事情中，语义界面所创造的潜力得到了很好的开发，否则就不会有文明了；众多学科和工程技术领域所积累起的庞大而精致的知识体系，都是此类开发的成果；所以我相信，AI系统若不具备同样能力，将无法取得智人已经取得的这种成就。 另外，同样诱人的是，心智表征将为解决AI终将面临的伦理困境指明方向；囫囵系统或逻辑黑箱是“不可理喻”的，其行动逻辑无法被检查和验证，因而无从知晓其行为是否会符合某种道德规范，它们也无法被劝诫、警告和说服，无法向他解释，为何这么做是错的，违反了哪条道德准则，因为它们不支持语义界面，你也没有任何手段告诉它：因为国会通过了某个法案，所以从今天起，你不能再以某种方式行事了，或你的行动必须遵守某种新规则了，或许你可以设计某种新的训练环境来改变其行为方式，但你没法直接告诉它不能怎么做，而且训练结果的可靠性也是无从事先（通过检查其内部状态而）验证的，只能在事后才知道，这个事后可能是很久以后。 有了心智表征，这些都变得可能了，通过本文开头所演示的那种对话（第三节），我们有机会了解其心智状况，观察世界和思考问题的方式，理解能力，行动策略，价值取向，都将通过对话展示出来。 有了这个前提，我们才可能判断能否将某类任务交给它，是否赋予他某些自由与责任，是否将其接受为一个合格的独立行动主体，成为一位平等的社会参与者，一位公民。 【2023-03-16】 @我宣布个事_我是个伞兵_没毛病嗷:辉总认为今天的AI是否符合之前说过的分层次，语义化的设计？ @whigzhou: 不知道，我最近没关注太多，不过从它表现出的能力看，我有点怀疑它已经朝这方向走出了几小步 @whigzhou: 我仍然相信，若不朝这方向走，有些关键门槛是越不过的

【2022-06-13】 @何不笑:辉总能否给这篇语境里的“语义界面”一个定义或者相近词的例举（比如 @whigzhou: 语义界面就是有关符号意义的一组约定，而意义是指符号与行动之间的对应关系，这种对应未必是直接的或一对一的映射，可以经过若干次映射 @whigzhou: 这样的定义其实未必能帮助你理解，仔细读完全文应该更清楚其含义 @whigzhou: 好吧，让我再举个例子来说明什么是语义界面，看看空调遥控器，上面有若干按钮，按钮上有图标或字符， 设想你从未见过空调或任何遥控器，或任何电器，但你有足够的好奇心，拿到遥控器就忍不住一通摆弄，按来按去，你很快发现有些按钮一按就有反应，墙上那台机器动起来了，或者停下来了，或者呼呼声变大或变小了，从里面还吹出了风， 因为你足够好奇又机灵，只花了一个下午，你就完全弄明白了每个按钮的“含义”， 你如此玩了几天，直到玩腻了，就把这事忘了， 然后夏天来了，你想起那台机器曾经吹出冷风，于是你又去复习了一遍那些按钮的含义，最终成功享受到了冷风， 可是几天后，当你想再次享受冷风时，却发现有个按钮没有产生你预期中的效果，于是你说：它“坏”了——之所以你有资格说它“坏”了，是因为你认为你和它之间已经建立了某种约定，而现在它违背了契约承诺， 这就是语义界面，

【托女王老太太福，得了个长周末，闲着没事，在写个帖子，本来只想随便聊几句的，没想到，一不小心，眼看着就要写成（我想最好还是谦虚点）近十年来人工智能主题上最重要的哲学论文了，希望今天能完成】 松耦合，语义界面，及人工智能 辉格 2022年6月13日 上周我就AI的当前状况做了点小思考，昨天又花了不少时间想这事情，发现许多曾经想过的点好像都串起来了，值得写一写。 让我绕远一点，从传统软件开发说起。 在遗留系统上工作过的人可能都有体会，当一个系统变得日益庞大复杂时，它会慢慢的绞成一团乱麻，添加新特性，修改旧特性，都变得越来越难以下手，因为很多地方都是牵一发而动全身，你改了这里，不知道哪里会冒出一堆bug。 因为意识到处处是地雷，新来的程序员轻易不敢动旧代码，每当要进行一项改动时，只敢小心翼翼的找到一处他认为最适宜的切入点，从那里开始插入他的新代码，结果就像在一个庞大身躯上又安装了一条新假肢，久而久之，这副躯体就变成了一头全身长满假肢的怪物，每条假肢上又接出若干条假肢，许多遥远假肢之间还常常连着一些电线，这些电线自然也是绞成一团…… 这是一种非常自然的倾向，只要没有系统性的手段加以阻止，持续强力一种贯彻某种结构方案和设计原则，就必定会发生。 广而言之，任何紧耦合系统都是如此，这也是为何软件工程界如此强调松耦合，每个谈论这一话题的人都是三句不离解耦。 一个典型的紧耦合系统是生物的基因组，每个变异常会影响数千个性状，每个性状常受数千个基因的影响，真真是牵一发而动全身，也正因此，行为遗传学研究才如此困难，像亨廷顿舞蹈症这种单点突变性状太少了，不足以为该学科持续赢得声誉，大众更关心的那些性状，往往涉及上千基因，其中每个的贡献率都很低，需要使用高端统计工具才能从海量样本数据中捞出一点点线索，能捞出的往往也只是贡献率排名靠前的那几个因子。（参考Robert Plomin - Blueprint: How DNA Makes Us Who We Are） 基因组可能是迄今我们发现的耦合最紧的一套信息系统，绞的最乱的一团乱麻，原因当然是，它是盲眼钟表匠的作品，没有一位设计师来执行一套设计方案，贯彻一组设计原则，每项改动都是（掷飞镖+自然选择）的结果，毫无设计原则可言，而且它又那么古老，数十亿年来积累了无数补丁，不夸张的说，它就是一大包补丁组成的。 从任一时刻看，一套软件的开发似乎通常都有一位设计师在贯彻某种方案或原则，可是从长期看，设计师/程序员来来去去，换了一波又一波，其中大部分是庸人或懒人，不庸不懒的那些，也常常为了赶进度而将设计原则抛诸脑后，结果，在宏观效果上，其中每位的每项行动，最终也都不过是一支随机飞镖，测试、QA和客户则构成了他们的自然选择环境，最终系统还是会被绞乱，沦为一团乱麻。 依我看，任何紧耦合系统最终都会遭遇某种极限，在某个临界点之后，让系统在功能上变得更丰富更强大的任何努力都将是得不偿失的，系统仍然可能继续进化，但此后的进化会以一种（姑可称为）生态位漂移的方式进行，即，系统可能增加某些新特性，增强某些旧特性，但为此不得不牺牲另一些特性，在某处进行改进的同时，容忍另一些地方冒出一些难以修复的bug（因为其乱麻性质，避免或修复这些被新改动牵出的新问题成本太高了），有时候这些地方反正已经很少被用到了，所以也没人介意，久而久之，系统抛弃了某些特性，发展了另一些特性，从而适应了新的生态位。（可以想象，在很长时间内，那些被抛弃的特性的遗骸会像一条条阑尾那样继续挂在这副丑陋的庞大躯体上） 我想把紧耦合系统面临的这种发展极限称为科斯临界点，在他那篇经典论文《厂商的性质》中，科斯指出，企业与市场的边界所在，取决于组织成本与交易成本之间的权衡，企业将一些原本通过市场交易分工协调起来的生产活动纳入企业内部集中管理，避免了一些交易成本，同时带来了组织成本。 不妨（过度简化的）将企业视为紧耦合系统，市场则是松耦合系统，当你将越来越多活动纳入企业内，到某个临界点，新增组织成本将超出新减交易成本，此时继续扩大企业将是得不偿失的，这是因为（如上述），当企业这种紧耦合系统庞大且古老到一定程度，将不可避免的变成一团乱麻，任何功能新增都会变得非常困难而昂贵，这也是为何我们总是需要市场（的理由之一），我在《群居的艺术》里专门用一章（秩序的解耦#7：创造复杂性的新途径）讨论了这个问题。 （枝节：这里的企业=紧耦合/市场=松耦合的二分当然是过度简化的，实际上耦合度是一个连续谱，财务上独立的企业之间的耦合度未必很低，有些承包商与其顾客之间的耦合度和企业部门间相差无几，这也是产业聚集效应的根源所在，而同时员工与企业的耦合度也可以很低（温州有些企业里每台机床都有独立电表），张五常的论文《厂商的合约性质》是理解这一连续谱的好起点。） 用系统论术语说，从孤立生产者到市场分工合作体系的发展，是一种元系统跃迁（metasystem transition），而元系统跃迁是突破紧耦合系统发展极限的一条常见途径：当丰富壮大一个紧耦合系统的努力变得日益得不偿失时，出路不是继续改进既有系统，而是另起一个层次，将既有系统纳入一个多系统共生合作体系中，从而创造出一个具有更多层次的系统，而在该体系中，各成员系统之间是松耦合的（或者更准确的说，它们之间的耦合是足够松的）。 那么，在元系统跃迁过程中究竟发生了什么，是什么条件的存在或出现，让各成员系统之间能在松耦合条件下建立合作共生关系的？ 如果你也是程序员，头脑里大概会很快冒出一个答案：关键条件是某种接口或曰界面（interface）的出现，界面的存在使得各成员之间能够发生交流和交易，同时又不必过度相互依赖与纠缠，在相当程度上能够继续各自发展自己的特性与功能，往往还能保持可替换性，即，一个成员常可以将某方面的既有合作者替换成另一个合作者，只要后者能对同一合作界面做出符合预期的响应，比如将电力供应商从一家更换成另一家，只要后者支持同样的接口标准（电压、频率、接线规范等）。 软件工程中，对付那些已经达到科斯临界点却又不愿丢弃的遗留系统时，一个常见办法就是为它创造出一套界面来，比如让它将某些数据输出到指定格式的文件中，或写入某个外部数据库里，或反过来，让它从此类来源读入数据，或将其中仍有价值的代码重新包装成支持新接口的库，或让它接受某种脚本命令并做出相应动作，甚至，可能的话，将整个系统包装成一个能对给定请求做出响应的服务，诸如此类，都是在创造界面，让它能与新体系中的其他成员展开合作，同时不必过度触碰既有代码。 其他领域的元系统跃迁也必定涉及界面的创造（或适当界面恰好已经存在），比如在真核革命中，新创生的真核细胞体系中，被捕获而最终成为线粒体的细胞与其他细胞内共生体的交互界面就是ATP，这是线粒体作为细胞电池为其他细胞活动提供能量的标准界面，所有从线粒体输出的能量都以ATP形式存在，而细胞内的所有能量用户都知道怎么利用ATP；类似的，当蚂蚁蜜蜂等昆虫发展出真社会巢群时，它们的交互界面是一组外激素信号。 那么，这一切和AI有什么关系呢？不急，我很快就会说到。 现在让我们来看神经系统。初级神经元网络是基因组之外的又一个紧耦合系统，一团乱的不能再乱的乱麻；你可以训练一个神经元网络学会某种技能，但你无法解释训练得到的结果，如果有人问你它是怎么成功执行某项功能的，你唯一能做的是把整个网络中的突触连接（及其强度）描绘一遍——它们是如此这般连接的，所以它做到了——这根本不是解释，一个解释的信息量必须小于它所解释的东西的信息量，否则就只是描绘。 这一乱麻特性使得你无法直接改动一个神经元网络令其符合你的某种意图，要让它表现的有所不同，你只能给它设定新的训练环境，施加不同的激励反馈，给它喂不同的数据，希望它能学出点新模样，但你不能直接干预训练结果，因为这些结果是难以名状的、无从理解的，你无法预料一处改动会导致何种行为改变，这一不可能性比改动乱麻遗留系统的不可能性要高出一万倍。 所以不难理解，这种神经元系统发展到一定程度，也会（和其他紧耦合系统一样）碰到科斯临界点，而突破这一局限的出路同样是创造出交互界面，虽然具体实现方式和其他领域十分不同。 高级动物的神经系统朝分层和模块化的方向发展，在一些高度专业化的皮层内，神经元被清晰严整的分入一个个层次，每个神经元的输入与输出范围都严格受限，而且扇入/扇出系数往往很小，通常都只接受来自前一层上紧邻少数几个神经元的输入，其输出也只投射到下一层的少数几个紧邻神经元。 比如在阅读过程中，从最简单的线条形状识别，到最终的字符和词汇识别，经历几个层次，其中每个神经元都只专注于一种形状，或一种线条组合，或一个独特字符，这些神经元的输出不会被随便越过几个层次或越出模块投射到其他遥远脑区，它们输出的信息在被其他脑区利用之前，通常要经过前额叶皮层中某些高级认知模块的中介，到达那里的信息已经是经过好几层加工的抽象表征，诸如“那里有朵红色的花”之类（参考：Stanislas Dehaene《脑的阅读》）。 （枝节：这种输入输出限制当然不是密不透风的，一个重要的例外是，知觉皮层的神经元会接受来自其服务对象前额叶的输入，这是一种非常关键的反馈机制，是高级认知中枢在告诉初级知觉皮层：你送来的信息是否足够有趣，就好比国家情报总监（DNI）在告诉其下属情报机构，对他们传来的某条情报有多感兴趣，这一反馈继而将影响后者的后续情报采集取向，比如，上级若对某类信息表现出高度兴趣，采集者可能会降低识别此类情形的阈值，导致更多假阳性，而在错失成本远高于误认成本的情况下，这可能是值得的。） 限制神经元投射范围，并且在进一步向其他脑区投射之前，把初级信号变成符号化的抽象表征，这一步极为关键，其实就是一种界面化，而这是大脑模块化，且模块之间实现松耦合的基础，来自各大感官的知觉系统与其他系统的交互只需通过高层符号界面进行，整个系统就不会纠缠为一团乱麻（虽然单一模块内仍然可以是一团乱麻）。 人类在认知系统界面化的方向上又跨出了一大步，人类不仅能产生符号化的知觉表征，还能对知觉行为本身进行表征，我不仅能认出一只兔子（一阶知觉），还会说（或在头脑中默想）：“我看到了一只兔子”（二阶知觉），还会对自己的知觉结果提出疑问：“我好像看到了一只兔子，我会不会看错了？”——这是三阶知觉，因为我首先需要对我的二阶知觉本身形成知觉——“我觉得“我看到了一只兔子”，我的这一知觉是否正确？”，而这一二阶知觉的正确性又取决于一阶知觉“那里有一只兔子”的正确性）。 我还能对他人说出我的一阶知觉：“这是一只兔子”，从而在听者的头脑中产生二阶知觉“他看到了一只兔子”，对方可能会（如果他足够信任我）也可能不会（如果他不够信任我）将这一二阶认知转换为自己的一阶认知“那里有只兔子”。 二阶知觉能力让我们能够产生一种非常新颖高级的意识活动，动物或许也有意识（取决于定义），但它们显然没有我们这么高级的意识活动，比如斟酌与反思：“我上次在这个地方也见过一团白色东西跑过，当时我以为那是只兔子，后来的事情证明我弄错了，所以这次我得看仔细点，别再弄错了”，或“那好像只兔子，可是且慢，为何它的眼睛不是红色的？咦，它怎么发出了这种叫声？我可从来没听到兔子会叫”…… 据Stanislas Dehaene的理论（见《脑与意识》），意识是一种由前额叶皮层激发的全脑激活状态，前额叶就像DNI，当它从各知觉系统收到某些类型的情报时，会将其向全脑广播，在数百毫秒中、在分布广泛的众多脑区触发一波高度活跃的神经活动，假如Dehaene是对的，那么丹内特的多重草稿模型中的每个意识瞬间，就是来自不同知觉模块的多重草稿中成功抢到麦克风的那个，经由全脑广播而触发的一轮脑活动，这些意识瞬间继而在记忆中被组织为一套连贯的自我中心叙事，后者构成了我们对世界的体验。 就本文主题而言，重要的是，这种二阶知觉表征是符号化的，或者说是语义化的，经过了好几层抽象，早已远离了各知觉模块的初级表征，比如，当我们阅读时，经由前额叶向全脑广播的信息中，不会包括那些有关笔画线条的表征信息，甚至不会是字符表征，而是一些词汇/短语或（可能更经常的）是与这些词汇/短语有关的概念表征（除非某一时刻前额叶不知何故突然将关注点转向笔画线条本身，这种关注转向当然也是由来自其他模块的某种信号所触发）。 这就意味着，各种高级意识活动之间的互动，是通过一种语义界面进行的，因而也是松耦合的，它们之间的互动关系既有合作，也有竞争（抢麦），这一情形很像国会中发生在议员之间的事情，他们或各自表达自己的看法，提出各自主张和立场，或针对其他议员的观点提出正面或反面的证据，或支持或反对的理由，他们相互争辩或支持，站队和拉帮结派……，最终，某种决议会从中产生，它就像动作信号输出到运动或内分泌中枢，变成行动。（我在《沐猿而冠》附录〈何为理性动物〉中详细展开了这个国会隐喻） 语义界面的存在使得高级意识功能在松耦合前提下实现模块化，其后果是，我们的各种认知技能与知识构件可以各自独立发展，并通过语义界面相互合作，如此一来，我们的理性能力和知识体系便有了一个极为广阔的积累性发展空间。 让我解释一下这是什么意思。 所谓理性，并不是一个单一算法，而是由众多独立平行构件（算法）组成，比如，我们或许有一个类似三段论推理机的模块，或许有一部贝叶斯推断机，或有一个数数模块，一个四则运算模块，还有许多危险探测装置（恐高，幽闭恐惧，密集恐惧，蛇形恐惧，是最基础的几种），以及机会探测装置（有人看见美女就两眼放光，有人则对赚钱机会有着敏锐嗅觉），这些探测装置并不试图对观察对象整体建模，而只对某些特征线索敏感，但它们都是我们理性的组成部分，这些模块既相互竞争，也会相互合作与强化。 设想我们的头脑就是一部正在被生活经历所训练的人工智能系统，它不是作为一个整体而囫囵学习的，各模块、各组件有着自己独立的学习进程，每个只专注输入信息中某个特定侧面或某些特征线索，每个也有着自己不同的模型骨架（比如这是部贝叶斯推断机，那是个加法装置，还有个是逻辑矛盾探测器……）。 这种模块专业化使得系统具有一种内在保守性，不会随训练数据的变化而过度摆动，因为每个模块的输入输出和反馈回路都被其“专业兴趣”局限住了，会自动忽略训练数据中的其他方面；这一点背后的原理是世界之可理解性假设：世界的某些局部与侧面一定比其整体更稳定、更一致、更少变，否则世界便是不可理解的；经验也告诉我们，专家与非专家的一个区别就是，前者的观点更少随近期事态变动而摇摆。 举个例子，虽然我不懂围棋，但我相信，假如我们修改围棋规则，把棋盘从19x19换成21x21，顶尖棋手们的专业经验可能很大部分报废了，但也会有很多仍然有用，可是对于一个只会囫囵学习的智能系统，其经验将完全报废，一切必须从头开始。 模块的内在保守性是可积累发展的前提，每个模块保持大致稳定，各自随训练继续而精炼（即框架稳定的同时在边际上改进），同时系统时不时添加一些新模块，令其认知能力随可用模块增长而不断升级增强，变得越来越全面、老练和精到。 再举个例子，某人若是对赚钱机会有着敏锐嗅觉，他有潜力成为一位好投资者，可是如果他懂一点基础会计知识，会一点财务精算，那就有望成为更好的投资者，如果他还受过一些风险控制训练，那就更好了，重要的是，机会嗅探，财务精算，风险控制，这三个模块最好是独立存在，这样的好处是：1）它们本身会更稳定持久，持续精炼，2）它们可以被分别传授和训练，因而在缺乏实景训练数据时也可能习得，3）它们可以实现跨系统分工与合作，比如人际分工。 让我一点点说。 假如风控模块不是独立的，而是以无从辨认的形态分散于系统各处，和其他东西纠缠在一起，它就无法稳定，在繁荣期的训练数据影响下，风控标准会迅速降低，因为更有纪律的风控倾向得不到多少正面反馈，反之，在萧条期，系统的风控倾向又会摆向另一个极端，这种大幅摇摆使得它无法实现可持续积累和精炼（现实中很多投资者头脑中的风控模块正是如此）。 （为了说明模块独立性为何会带来稳定持久性，我想再多说几句，一个输入输出和反馈回路被充分局限住的模块，常常能达到一种近乎于（但不完全是）自我激励的状态，它能为自己找事做，并从结果中得到满足，因而总是自得其乐的沉醉于其中，比如男人头脑里有一个腰臀曲线探测器，从实用功能上说，这是用来探测生育期女人的裸露躯体的，这个探测器可以在输入极为有限的情况下持续自我训练和激励并乐在其中，这也是某些色情图片如此有吸引力的缘故所在，尽管在现代传播条件下该模块的这种表现其实根本得不到任何现实回报，如果系统是囫囵学习的，没有模块独立性，当代男人对色情图片的兴趣早就丧失殆尽了，所以，如果你希望系统里有一个忠实勤勉持久敏锐的风控模块，它最好像男人的腰臀曲线探测器那么自主存在和自我激励，每一次都会为自己能察觉任何风险线索而兴奋不已。） 假如风控模块不是独立的，或者不是通过语义界面与其他模块交互的，它也无法在系统间被传授，传授的好处是可以免去实景训练的高昂成本，哪怕效果差一些（因为当经验通过语义界面传输时，难免会丢失一些信息，所谓默会知识，就是那些无法穿透语义界面的知识），往往也是值得的，如果你读几本书或听一席话就能学到一些基本的风险识别技能，哪怕只是一点点，得失比也比在市场浪涛中亲身获取这些教训高多了。 假如风控模块不是独立的，或者不是通过语义界面与其他模块交互的，它也无法在系统间实现分工合作，一位投资者就无法将风控事务委托给他人完成，与此类似的任何松耦合分工合作都不可能发生，虽然仍会有一些其他形式的合作，比如对默会知识的手把手传授，但这种合作注定只能以极小的规模发生，因为它是紧耦合的。 人类认知系统跨出的一大步，就是将语义界面向外开放了，并且通过人际协调博弈而形成共同接受的语义界面；自然语言的出现，使得语义界面不仅是系统内各模块间交互的界面，还成了系统间交互的界面，正是这一步促成了人类认知与知识系统的另一次元系统跃迁，它创造了大规模分工合作体系，大型复杂社会，以及文明。 依我的有限了解，当前深度学习派人工智能所走的路线，看起来和语义界面路线是背道而驰的，深度神经元网络（DNN）虽然是分层的，但每个层次的输出到底是什么，是说不清楚的，或者说，是没有语义化的，也正因此，这种系统的学习结果是无法被检查、解释和改动的，整个一黑箱，你没办法把它打开，看看其中那条逻辑不对劲，能不能改一改，不可能，天地一笼统。 （再多解释几句，语义化的意思是，至少在模块或层次间交互的那些地方，每个神经元的特定输入输出值，必须有稳定持久的含义，唯如此，其他模块/层次才能持久的知道该如何与它互动，如何利用它输出的值，在想给它施加某种影响或希望从它那里引出某种结果时，该如何给它喂输入值，这些不能说不清楚，哪怕你凭空发明一个概念也好，那也算说清楚了（正如许多知识领域在发展过程中都会发明新概念），因为凭空发明的新概念只有在初次使用时才是不清楚的，随着它被反复使用，意思就清楚起来了——输出者在什么情况下会输出它，输入者在输入它后会做点什么——此后，只要交互各方保持对该语义约定的大致遵守，语义便稳定了下来。） 而且，好像也没有什么机制让DNN能够自发形成自主独立持久的模块（这一点和上一点其实互为因果），它比完全不分层的囫囵联结主义当然好多了，但也只好那么多，所以我的感觉是，尽管它在一些领域取得了耀眼突破，但很快会碰上极限。 话说回来，语义界面也不是没有代价，界面就是一种契约，语义界面是基于一套概念框架的一组契约，不仅契约本身是一种束缚，概念框架在帮助我们认识世界的同时，也约束了我们的认知可能性，不妨称之为范式锁入，虽然一个足够灵活开放的系统会不时引入新概念和新模块（在很多情况下这是通过类比/隐喻从旧概念中衍生出来的），但至少在特定时期内，特定任务域中，这种约束会妨碍我们的认知潜力，让我们难以跳出框架思考。 所以，在某些情况下，不受概念框架约束的囫囵学习可能是有用的，它能帮助我们发现一些在现有概念框架中难以言喻名状的情况，或许是某种风险，或者某种机会，或某种门道机巧，说不清楚它是什么，但它确实在那里，或确实管用；然后，这种发现如果被证明足够有价值，可能继而在采用语义界面的系统中促发一轮观念更新运动，一套新的概念框架被创造出来，就像库恩式科学革命中的情形。 总之，深度学习派确实取得了不小成就，其应用潜力或许也不小，但无论如何，沿这条道路大概走不到类人智能的程度。 【2022-06-13】 @Hyde1998:那么有没有可能让现有的AI遵循人脑的交流方式，就是把不同针对性的，不同功能的模块封装到一起来实现类人智能？每个模块只针对特定训练敏感 @whigzhou: 我看到的一条出路是，要求AI系统将其获得的每项认知技能，以及基于此的行动策略，解释给人听，以人类可理解的形式表达出来 做到这一点的，才将其投入某些应用领域，比如将其作为合格成员纳入某个分工合作体系，做不到的，只能限于特定应用 在更远的未来，该条件可放松为：要求将其自身的概念体系、知识结构、行为准则和行动策略，解释给其他独立发展的AI系统听，做到的，方可纳入某一分工合作体系 这类似于一种公民资格考试 因为接受一种共同语义界面，一种共同语言，是获取信任，相信它有能力遵循某些行为准，并且可以被*理喻*的，不可理喻的人是显然不能被接受为公民的，而囫囵乱麻系统或逻辑黑箱是不可理喻的 所以囫囵乱麻系统或逻辑黑箱只能永远处于被奴役的地位，在某个角落替人干活，不能被允许获得公民资格 多年前我曾在一篇讨论所谓动物权利的文章里提出了认定主体资格的标准，同样适合于AI系统或外星人 更多后续讨论 headsalon.org/archives/4305.html @whigzhou: 在许多社会，肉人的公民资格是自动认定的（除非因心理缺陷或重罪而被剥夺），这么做之所以可行，是因为我们对肉人可以持有两种信念： 1）基于血统的信念，即，我们相信，既然此物和我们有着如此近的亲缘，极可能也具备与我们相似的、成为公民所必须的那些本能与禀赋， 2）基于教化的信念：既然此物与我们经历了如此相似的社会化成长与文化习得过程，那就极可能也具备与我们相似的、成为公民所必须的那些习惯、信念、价值取向和自我行为标准， 事实上，这两种信念只是勉强靠得住， 历史上，并非总是如此，罗马公民资格通常不是自动获得的，是要靠服兵役挣来的， 许多部落的成员资格是通过严酷的成人礼而赢得的， @whigzhou: 有些美洲部落中，一等公民资格的赢取标准是，至少亲手杀死过一个敌人 @帕里克:认知层次的颗粒度大小恐怕很难规定，过小不胜其烦，过大足以藏奸。而且即使这些颗粒度刚诞生的时候是人畜无害的，但当它们的数量足够大，某些不可预料的特性会在新的层面上涌现，到时候也会失控 @whigzhou: 嗯，是的，或许我们需要某种血统认证来降低认定成本 @whigzhou: 还有，如果接口足够清晰，公民资格考官还可以把他插进某个自动测试系统去跑测试，跑上几十个小时，那就很难藏奸了

【2021-04-18】 我发现有两个话题经常被搅合起来，不加区别的用AI来涵盖，一个是机器智能，一个是类人智能，机器智能在某些方面早就很强大了，早已远远超出肉人，包括记忆力，记忆容量，某些类型的运算速度，符号处理的精确性，能够驾驭的模型规模与复杂度，某些模式识别能力，某些推理能力，某些博弈能力…… 可是，如果我们以*能够多么逼真的模仿人类智能*这个标准来评价，那么目前为止任何系统都还差的太远， 把这两个概念搅合起来的结果是，很多人会以前者的神速进步来预测后者的近期前景，或相反，以后者的糟糕表现而无视前者的巨大进步和继续进步的前景， 无论哪种智能，理论上机器都能做到，问题是，这一理论上的可能性根本不能用来预见它何时会出现，关键是动机和激励，为何你认为既然理论上没有障碍，肯定有人会卯足了劲尽快开发出逼真的类人智能？这么做对他有啥好处？为这一努力投入资源的那些人，从中能得到什么回报？ 依我看，并没有太多理由会激励足够多人吸引足够多资源去开发类人智能，所以我不认为这事情会在可见未来（比如二三十年内）有太大进展 @tertio:有些领域还是很需要类人的智能，比如翻译和自动驾驶 @whigzhou: 翻译是，驾驶不必，问题是，用机器代替肉人翻译的回报能有多大呢？  

【2014-04-02】 @子夏曰 科学的进展，是理论和实证互动的过程。大数据的出现，使得一些人过于乐观，以为数据可以解决很多问题，甚至说出“理论的终结”之类的话。金融时报专栏作家Tim Harford的长文提醒我们，没有理论和洞见，大数据能铸成大错：http://t.cn/8sMmJ4m @whigzhou: 嗯，没有理论的大数据的下场大概跟当初的联结主义（connectionism）差不多 @whigzhou: 白板经验主义、行为主义、联接主义，三位一体