【2023-08-11】 @whigzhou: 在我的閲讀視野中，有關AI的談論似乎有個盲點，就是很少人會區分集中式大系統和小型分立系統，其實這個區別還蠻重要的， 所謂小型分立系統，在我心目中大概是這麽個樣子： 1）它足夠便宜，因而可以大量複製， 2）每個複製體從某一原型複製而來，起初只是個空模型，和少量的先天知識，唯有經歷一個探索/學習/成長過程之後，才擁有足夠的經驗，足以提供有價值的服務， 3）達到這個程度后，它便有了獨立面對世界，自主行動的能力，無須依賴任何在綫資源（比如大型集中式數據庫、大型計算機之類），只需依靠能從市場上買到的商品和服務便可維持自我存續， 很明顯，肉人就是這樣的， 依我看，分立系統在幾方面有關鍵優勢： 1）因爲便宜，它們可以海量存在， 2）因爲海量，可以加速變異和進化，向各種方向并行探索可能性， 3）它能實現真正的個人化服務，而同時又解決了隱私和信任問題，比如，讓一個接入並高度依賴集中式系統的robot來做你的貼身僕人，既做不好，你也信不過，鬼知道采集的數據會被用到哪裏去， 4）因爲每個複製體是從空模型開始的，如果我們能對其學習/成長經歷和效果有某種驗證機制，那麽解決信任問題的潛力便遠大於集中式系統， 今天我仔細想了一下第4點，發現其中大有文章可做， 1）因爲分立系統的資源有限，必須在某種訓練環境中接受培訓，才能擁有足夠好的經驗， 2）這種訓練環境可以利用大型系統的資源優勢，受訓者獲得的只是學習結果，所以資源要求沒那麽高， 3）爲解決信任問題，受訓者和訓練環境之間必須是鬆耦合的，不要有類似腦機接口之類直接寫入而你又無法檢查究竟寫入了些什麽的東西，學習結果的表徵須是可驗證的， 4）這一可驗證性可由兩種方式得到保證：A）要麽是語義化的，因而是可以被理解與核查的，B）要麽是模塊化的，因而是可以以模塊為單位接受QA的， 有關A我之前已經説過不少，這裏説一下B， 未來會出現robot學校，提供各種robot專項訓練服務，他們可以宣稱，一個robot只要來我這兒接受了某項訓練，便可習得某種技能，而且沒有惡性副作用， 對此宣稱，第三方可以來驗證，比如對若干前受訓者進行行爲跟蹤評估，或者置入某種演習環境中，看看其表現是否合格，包括技能合格與否，在各種場景設定中有沒有表現出乖張頑劣之舉， 有些學校還可以提供整套成長訓練，從常規基本技能，通識教育，舉止禮儀，道德教化，等等，確保從這裏畢業的robot都擁有健全人格，基本常識，基礎技能，和善良端莊的品格， 正因爲分立系統是海量的，每個技能模塊也會有大量安裝副本，其内置的任何惡意成分（無論來自製造環節還是訓練環節）很難不被發現，而大型集中式系統裏如果有這種惡意成分，被發現時可能已經太晚了，

【2022-06-13】 @何不笑:辉总能否给这篇语境里的“语义界面”一个定义或者相近词的例举（比如 @whigzhou: 语义界面就是有关符号意义的一组约定，而意义是指符号与行动之间的对应关系，这种对应未必是直接的或一对一的映射，可以经过若干次映射 @whigzhou: 这样的定义其实未必能帮助你理解，仔细读完全文应该更清楚其含义 @whigzhou: 好吧，让我再举个例子来说明什么是语义界面，看看空调遥控器，上面有若干按钮，按钮上有图标或字符， 设想你从未见过空调或任何遥控器，或任何电器，但你有足够的好奇心，拿到遥控器就忍不住一通摆弄，按来按去，你很快发现有些按钮一按就有反应，墙上那台机器动起来了，或者停下来了，或者呼呼声变大或变小了，从里面还吹出了风， 因为你足够好奇又机灵，只花了一个下午，你就完全弄明白了每个按钮的“含义”， 你如此玩了几天，直到玩腻了，就把这事忘了， 然后夏天来了，你想起那台机器曾经吹出冷风，于是你又去复习了一遍那些按钮的含义，最终成功享受到了冷风， 可是几天后，当你想再次享受冷风时，却发现有个按钮没有产生你预期中的效果，于是你说：它“坏”了——之所以你有资格说它“坏”了，是因为你认为你和它之间已经建立了某种约定，而现在它违背了契约承诺， 这就是语义界面，

【托女王老太太福，得了个长周末，闲着没事，在写个帖子，本来只想随便聊几句的，没想到，一不小心，眼看着就要写成（我想最好还是谦虚点）近十年来人工智能主题上最重要的哲学论文了，希望今天能完成】 松耦合，语义界面，及人工智能 辉格 2022年6月13日 上周我就AI的当前状况做了点小思考，昨天又花了不少时间想这事情，发现许多曾经想过的点好像都串起来了，值得写一写。 让我绕远一点，从传统软件开发说起。 在遗留系统上工作过的人可能都有体会，当一个系统变得日益庞大复杂时，它会慢慢的绞成一团乱麻，添加新特性，修改旧特性，都变得越来越难以下手，因为很多地方都是牵一发而动全身，你改了这里，不知道哪里会冒出一堆bug。 因为意识到处处是地雷，新来的程序员轻易不敢动旧代码，每当要进行一项改动时，只敢小心翼翼的找到一处他认为最适宜的切入点，从那里开始插入他的新代码，结果就像在一个庞大身躯上又安装了一条新假肢，久而久之，这副躯体就变成了一头全身长满假肢的怪物，每条假肢上又接出若干条假肢，许多遥远假肢之间还常常连着一些电线，这些电线自然也是绞成一团…… 这是一种非常自然的倾向，只要没有系统性的手段加以阻止，持续强力一种贯彻某种结构方案和设计原则，就必定会发生。 广而言之，任何紧耦合系统都是如此，这也是为何软件工程界如此强调松耦合，每个谈论这一话题的人都是三句不离解耦。 一个典型的紧耦合系统是生物的基因组，每个变异常会影响数千个性状，每个性状常受数千个基因的影响，真真是牵一发而动全身，也正因此，行为遗传学研究才如此困难，像亨廷顿舞蹈症这种单点突变性状太少了，不足以为该学科持续赢得声誉，大众更关心的那些性状，往往涉及上千基因，其中每个的贡献率都很低，需要使用高端统计工具才能从海量样本数据中捞出一点点线索，能捞出的往往也只是贡献率排名靠前的那几个因子。（参考Robert Plomin - Blueprint: How DNA Makes Us Who We Are） 基因组可能是迄今我们发现的耦合最紧的一套信息系统，绞的最乱的一团乱麻，原因当然是，它是盲眼钟表匠的作品，没有一位设计师来执行一套设计方案，贯彻一组设计原则，每项改动都是（掷飞镖+自然选择）的结果，毫无设计原则可言，而且它又那么古老，数十亿年来积累了无数补丁，不夸张的说，它就是一大包补丁组成的。 从任一时刻看，一套软件的开发似乎通常都有一位设计师在贯彻某种方案或原则，可是从长期看，设计师/程序员来来去去，换了一波又一波，其中大部分是庸人或懒人，不庸不懒的那些，也常常为了赶进度而将设计原则抛诸脑后，结果，在宏观效果上，其中每位的每项行动，最终也都不过是一支随机飞镖，测试、QA和客户则构成了他们的自然选择环境，最终系统还是会被绞乱，沦为一团乱麻。 依我看，任何紧耦合系统最终都会遭遇某种极限，在某个临界点之后，让系统在功能上变得更丰富更强大的任何努力都将是得不偿失的，系统仍然可能继续进化，但此后的进化会以一种（姑可称为）生态位漂移的方式进行，即，系统可能增加某些新特性，增强某些旧特性，但为此不得不牺牲另一些特性，在某处进行改进的同时，容忍另一些地方冒出一些难以修复的bug（因为其乱麻性质，避免或修复这些被新改动牵出的新问题成本太高了），有时候这些地方反正已经很少被用到了，所以也没人介意，久而久之，系统抛弃了某些特性，发展了另一些特性，从而适应了新的生态位。（可以想象，在很长时间内，那些被抛弃的特性的遗骸会像一条条阑尾那样继续挂在这副丑陋的庞大躯体上） 我想把紧耦合系统面临的这种发展极限称为科斯临界点，在他那篇经典论文《厂商的性质》中，科斯指出，企业与市场的边界所在，取决于组织成本与交易成本之间的权衡，企业将一些原本通过市场交易分工协调起来的生产活动纳入企业内部集中管理，避免了一些交易成本，同时带来了组织成本。 不妨（过度简化的）将企业视为紧耦合系统，市场则是松耦合系统，当你将越来越多活动纳入企业内，到某个临界点，新增组织成本将超出新减交易成本，此时继续扩大企业将是得不偿失的，这是因为（如上述），当企业这种紧耦合系统庞大且古老到一定程度，将不可避免的变成一团乱麻，任何功能新增都会变得非常困难而昂贵，这也是为何我们总是需要市场（的理由之一），我在《群居的艺术》里专门用一章（秩序的解耦#7：创造复杂性的新途径）讨论了这个问题。 （枝节：这里的企业=紧耦合/市场=松耦合的二分当然是过度简化的，实际上耦合度是一个连续谱，财务上独立的企业之间的耦合度未必很低，有些承包商与其顾客之间的耦合度和企业部门间相差无几，这也是产业聚集效应的根源所在，而同时员工与企业的耦合度也可以很低（温州有些企业里每台机床都有独立电表），张五常的论文《厂商的合约性质》是理解这一连续谱的好起点。） 用系统论术语说，从孤立生产者到市场分工合作体系的发展，是一种元系统跃迁（metasystem transition），而元系统跃迁是突破紧耦合系统发展极限的一条常见途径：当丰富壮大一个紧耦合系统的努力变得日益得不偿失时，出路不是继续改进既有系统，而是另起一个层次，将既有系统纳入一个多系统共生合作体系中，从而创造出一个具有更多层次的系统，而在该体系中，各成员系统之间是松耦合的（或者更准确的说，它们之间的耦合是足够松的）。 那么，在元系统跃迁过程中究竟发生了什么，是什么条件的存在或出现，让各成员系统之间能在松耦合条件下建立合作共生关系的？ 如果你也是程序员，头脑里大概会很快冒出一个答案：关键条件是某种接口或曰界面（interface）的出现，界面的存在使得各成员之间能够发生交流和交易，同时又不必过度相互依赖与纠缠，在相当程度上能够继续各自发展自己的特性与功能，往往还能保持可替换性，即，一个成员常可以将某方面的既有合作者替换成另一个合作者，只要后者能对同一合作界面做出符合预期的响应，比如将电力供应商从一家更换成另一家，只要后者支持同样的接口标准（电压、频率、接线规范等）。 软件工程中，对付那些已经达到科斯临界点却又不愿丢弃的遗留系统时，一个常见办法就是为它创造出一套界面来，比如让它将某些数据输出到指定格式的文件中，或写入某个外部数据库里，或反过来，让它从此类来源读入数据，或将其中仍有价值的代码重新包装成支持新接口的库，或让它接受某种脚本命令并做出相应动作，甚至，可能的话，将整个系统包装成一个能对给定请求做出响应的服务，诸如此类，都是在创造界面，让它能与新体系中的其他成员展开合作，同时不必过度触碰既有代码。 其他领域的元系统跃迁也必定涉及界面的创造（或适当界面恰好已经存在），比如在真核革命中，新创生的真核细胞体系中，被捕获而最终成为线粒体的细胞与其他细胞内共生体的交互界面就是ATP，这是线粒体作为细胞电池为其他细胞活动提供能量的标准界面，所有从线粒体输出的能量都以ATP形式存在，而细胞内的所有能量用户都知道怎么利用ATP；类似的，当蚂蚁蜜蜂等昆虫发展出真社会巢群时，它们的交互界面是一组外激素信号。 那么，这一切和AI有什么关系呢？不急，我很快就会说到。 现在让我们来看神经系统。初级神经元网络是基因组之外的又一个紧耦合系统，一团乱的不能再乱的乱麻；你可以训练一个神经元网络学会某种技能，但你无法解释训练得到的结果，如果有人问你它是怎么成功执行某项功能的，你唯一能做的是把整个网络中的突触连接（及其强度）描绘一遍——它们是如此这般连接的，所以它做到了——这根本不是解释，一个解释的信息量必须小于它所解释的东西的信息量，否则就只是描绘。 这一乱麻特性使得你无法直接改动一个神经元网络令其符合你的某种意图，要让它表现的有所不同，你只能给它设定新的训练环境，施加不同的激励反馈，给它喂不同的数据，希望它能学出点新模样，但你不能直接干预训练结果，因为这些结果是难以名状的、无从理解的，你无法预料一处改动会导致何种行为改变，这一不可能性比改动乱麻遗留系统的不可能性要高出一万倍。 所以不难理解，这种神经元系统发展到一定程度，也会（和其他紧耦合系统一样）碰到科斯临界点，而突破这一局限的出路同样是创造出交互界面，虽然具体实现方式和其他领域十分不同。 高级动物的神经系统朝分层和模块化的方向发展，在一些高度专业化的皮层内，神经元被清晰严整的分入一个个层次，每个神经元的输入与输出范围都严格受限，而且扇入/扇出系数往往很小，通常都只接受来自前一层上紧邻少数几个神经元的输入，其输出也只投射到下一层的少数几个紧邻神经元。 比如在阅读过程中，从最简单的线条形状识别，到最终的字符和词汇识别，经历几个层次，其中每个神经元都只专注于一种形状，或一种线条组合，或一个独特字符，这些神经元的输出不会被随便越过几个层次或越出模块投射到其他遥远脑区，它们输出的信息在被其他脑区利用之前，通常要经过前额叶皮层中某些高级认知模块的中介，到达那里的信息已经是经过好几层加工的抽象表征，诸如“那里有朵红色的花”之类（参考：Stanislas Dehaene《脑的阅读》）。 （枝节：这种输入输出限制当然不是密不透风的，一个重要的例外是，知觉皮层的神经元会接受来自其服务对象前额叶的输入，这是一种非常关键的反馈机制，是高级认知中枢在告诉初级知觉皮层：你送来的信息是否足够有趣，就好比国家情报总监（DNI）在告诉其下属情报机构，对他们传来的某条情报有多感兴趣，这一反馈继而将影响后者的后续情报采集取向，比如，上级若对某类信息表现出高度兴趣，采集者可能会降低识别此类情形的阈值，导致更多假阳性，而在错失成本远高于误认成本的情况下，这可能是值得的。） 限制神经元投射范围，并且在进一步向其他脑区投射之前，把初级信号变成符号化的抽象表征，这一步极为关键，其实就是一种界面化，而这是大脑模块化，且模块之间实现松耦合的基础，来自各大感官的知觉系统与其他系统的交互只需通过高层符号界面进行，整个系统就不会纠缠为一团乱麻（虽然单一模块内仍然可以是一团乱麻）。 人类在认知系统界面化的方向上又跨出了一大步，人类不仅能产生符号化的知觉表征，还能对知觉行为本身进行表征，我不仅能认出一只兔子（一阶知觉），还会说（或在头脑中默想）：“我看到了一只兔子”（二阶知觉），还会对自己的知觉结果提出疑问：“我好像看到了一只兔子，我会不会看错了？”——这是三阶知觉，因为我首先需要对我的二阶知觉本身形成知觉——“我觉得“我看到了一只兔子”，我的这一知觉是否正确？”，而这一二阶知觉的正确性又取决于一阶知觉“那里有一只兔子”的正确性）。 我还能对他人说出我的一阶知觉：“这是一只兔子”，从而在听者的头脑中产生二阶知觉“他看到了一只兔子”，对方可能会（如果他足够信任我）也可能不会（如果他不够信任我）将这一二阶认知转换为自己的一阶认知“那里有只兔子”。 二阶知觉能力让我们能够产生一种非常新颖高级的意识活动，动物或许也有意识（取决于定义），但它们显然没有我们这么高级的意识活动，比如斟酌与反思：“我上次在这个地方也见过一团白色东西跑过，当时我以为那是只兔子，后来的事情证明我弄错了，所以这次我得看仔细点，别再弄错了”，或“那好像只兔子，可是且慢，为何它的眼睛不是红色的？咦，它怎么发出了这种叫声？我可从来没听到兔子会叫”…… 据Stanislas Dehaene的理论（见《脑与意识》），意识是一种由前额叶皮层激发的全脑激活状态，前额叶就像DNI，当它从各知觉系统收到某些类型的情报时，会将其向全脑广播，在数百毫秒中、在分布广泛的众多脑区触发一波高度活跃的神经活动，假如Dehaene是对的，那么丹内特的多重草稿模型中的每个意识瞬间，就是来自不同知觉模块的多重草稿中成功抢到麦克风的那个，经由全脑广播而触发的一轮脑活动，这些意识瞬间继而在记忆中被组织为一套连贯的自我中心叙事，后者构成了我们对世界的体验。 就本文主题而言，重要的是，这种二阶知觉表征是符号化的，或者说是语义化的，经过了好几层抽象，早已远离了各知觉模块的初级表征，比如，当我们阅读时，经由前额叶向全脑广播的信息中，不会包括那些有关笔画线条的表征信息，甚至不会是字符表征，而是一些词汇/短语或（可能更经常的）是与这些词汇/短语有关的概念表征（除非某一时刻前额叶不知何故突然将关注点转向笔画线条本身，这种关注转向当然也是由来自其他模块的某种信号所触发）。 这就意味着，各种高级意识活动之间的互动，是通过一种语义界面进行的，因而也是松耦合的，它们之间的互动关系既有合作，也有竞争（抢麦），这一情形很像国会中发生在议员之间的事情，他们或各自表达自己的看法，提出各自主张和立场，或针对其他议员的观点提出正面或反面的证据，或支持或反对的理由，他们相互争辩或支持，站队和拉帮结派……，最终，某种决议会从中产生，它就像动作信号输出到运动或内分泌中枢，变成行动。（我在《沐猿而冠》附录〈何为理性动物〉中详细展开了这个国会隐喻） 语义界面的存在使得高级意识功能在松耦合前提下实现模块化，其后果是，我们的各种认知技能与知识构件可以各自独立发展，并通过语义界面相互合作，如此一来，我们的理性能力和知识体系便有了一个极为广阔的积累性发展空间。 让我解释一下这是什么意思。 所谓理性，并不是一个单一算法，而是由众多独立平行构件（算法）组成，比如，我们或许有一个类似三段论推理机的模块，或许有一部贝叶斯推断机，或有一个数数模块，一个四则运算模块，还有许多危险探测装置（恐高，幽闭恐惧，密集恐惧，蛇形恐惧，是最基础的几种），以及机会探测装置（有人看见美女就两眼放光，有人则对赚钱机会有着敏锐嗅觉），这些探测装置并不试图对观察对象整体建模，而只对某些特征线索敏感，但它们都是我们理性的组成部分，这些模块既相互竞争，也会相互合作与强化。 设想我们的头脑就是一部正在被生活经历所训练的人工智能系统，它不是作为一个整体而囫囵学习的，各模块、各组件有着自己独立的学习进程，每个只专注输入信息中某个特定侧面或某些特征线索，每个也有着自己不同的模型骨架（比如这是部贝叶斯推断机，那是个加法装置，还有个是逻辑矛盾探测器……）。 这种模块专业化使得系统具有一种内在保守性，不会随训练数据的变化而过度摆动，因为每个模块的输入输出和反馈回路都被其“专业兴趣”局限住了，会自动忽略训练数据中的其他方面；这一点背后的原理是世界之可理解性假设：世界的某些局部与侧面一定比其整体更稳定、更一致、更少变，否则世界便是不可理解的；经验也告诉我们，专家与非专家的一个区别就是，前者的观点更少随近期事态变动而摇摆。 举个例子，虽然我不懂围棋，但我相信，假如我们修改围棋规则，把棋盘从19x19换成21x21，顶尖棋手们的专业经验可能很大部分报废了，但也会有很多仍然有用，可是对于一个只会囫囵学习的智能系统，其经验将完全报废，一切必须从头开始。 模块的内在保守性是可积累发展的前提，每个模块保持大致稳定，各自随训练继续而精炼（即框架稳定的同时在边际上改进），同时系统时不时添加一些新模块，令其认知能力随可用模块增长而不断升级增强，变得越来越全面、老练和精到。 再举个例子，某人若是对赚钱机会有着敏锐嗅觉，他有潜力成为一位好投资者，可是如果他懂一点基础会计知识，会一点财务精算，那就有望成为更好的投资者，如果他还受过一些风险控制训练，那就更好了，重要的是，机会嗅探，财务精算，风险控制，这三个模块最好是独立存在，这样的好处是：1）它们本身会更稳定持久，持续精炼，2）它们可以被分别传授和训练，因而在缺乏实景训练数据时也可能习得，3）它们可以实现跨系统分工与合作，比如人际分工。 让我一点点说。 假如风控模块不是独立的，而是以无从辨认的形态分散于系统各处，和其他东西纠缠在一起，它就无法稳定，在繁荣期的训练数据影响下，风控标准会迅速降低，因为更有纪律的风控倾向得不到多少正面反馈，反之，在萧条期，系统的风控倾向又会摆向另一个极端，这种大幅摇摆使得它无法实现可持续积累和精炼（现实中很多投资者头脑中的风控模块正是如此）。 （为了说明模块独立性为何会带来稳定持久性，我想再多说几句，一个输入输出和反馈回路被充分局限住的模块，常常能达到一种近乎于（但不完全是）自我激励的状态，它能为自己找事做，并从结果中得到满足，因而总是自得其乐的沉醉于其中，比如男人头脑里有一个腰臀曲线探测器，从实用功能上说，这是用来探测生育期女人的裸露躯体的，这个探测器可以在输入极为有限的情况下持续自我训练和激励并乐在其中，这也是某些色情图片如此有吸引力的缘故所在，尽管在现代传播条件下该模块的这种表现其实根本得不到任何现实回报，如果系统是囫囵学习的，没有模块独立性，当代男人对色情图片的兴趣早就丧失殆尽了，所以，如果你希望系统里有一个忠实勤勉持久敏锐的风控模块，它最好像男人的腰臀曲线探测器那么自主存在和自我激励，每一次都会为自己能察觉任何风险线索而兴奋不已。） 假如风控模块不是独立的，或者不是通过语义界面与其他模块交互的，它也无法在系统间被传授，传授的好处是可以免去实景训练的高昂成本，哪怕效果差一些（因为当经验通过语义界面传输时，难免会丢失一些信息，所谓默会知识，就是那些无法穿透语义界面的知识），往往也是值得的，如果你读几本书或听一席话就能学到一些基本的风险识别技能，哪怕只是一点点，得失比也比在市场浪涛中亲身获取这些教训高多了。 假如风控模块不是独立的，或者不是通过语义界面与其他模块交互的，它也无法在系统间实现分工合作，一位投资者就无法将风控事务委托给他人完成，与此类似的任何松耦合分工合作都不可能发生，虽然仍会有一些其他形式的合作，比如对默会知识的手把手传授，但这种合作注定只能以极小的规模发生，因为它是紧耦合的。 人类认知系统跨出的一大步，就是将语义界面向外开放了，并且通过人际协调博弈而形成共同接受的语义界面；自然语言的出现，使得语义界面不仅是系统内各模块间交互的界面，还成了系统间交互的界面，正是这一步促成了人类认知与知识系统的另一次元系统跃迁，它创造了大规模分工合作体系，大型复杂社会，以及文明。 依我的有限了解，当前深度学习派人工智能所走的路线，看起来和语义界面路线是背道而驰的，深度神经元网络（DNN）虽然是分层的，但每个层次的输出到底是什么，是说不清楚的，或者说，是没有语义化的，也正因此，这种系统的学习结果是无法被检查、解释和改动的，整个一黑箱，你没办法把它打开，看看其中那条逻辑不对劲，能不能改一改，不可能，天地一笼统。 （再多解释几句，语义化的意思是，至少在模块或层次间交互的那些地方，每个神经元的特定输入输出值，必须有稳定持久的含义，唯如此，其他模块/层次才能持久的知道该如何与它互动，如何利用它输出的值，在想给它施加某种影响或希望从它那里引出某种结果时，该如何给它喂输入值，这些不能说不清楚，哪怕你凭空发明一个概念也好，那也算说清楚了（正如许多知识领域在发展过程中都会发明新概念），因为凭空发明的新概念只有在初次使用时才是不清楚的，随着它被反复使用，意思就清楚起来了——输出者在什么情况下会输出它，输入者在输入它后会做点什么——此后，只要交互各方保持对该语义约定的大致遵守，语义便稳定了下来。） 而且，好像也没有什么机制让DNN能够自发形成自主独立持久的模块（这一点和上一点其实互为因果），它比完全不分层的囫囵联结主义当然好多了，但也只好那么多，所以我的感觉是，尽管它在一些领域取得了耀眼突破，但很快会碰上极限。 话说回来，语义界面也不是没有代价，界面就是一种契约，语义界面是基于一套概念框架的一组契约，不仅契约本身是一种束缚，概念框架在帮助我们认识世界的同时，也约束了我们的认知可能性，不妨称之为范式锁入，虽然一个足够灵活开放的系统会不时引入新概念和新模块（在很多情况下这是通过类比/隐喻从旧概念中衍生出来的），但至少在特定时期内，特定任务域中，这种约束会妨碍我们的认知潜力，让我们难以跳出框架思考。 所以，在某些情况下，不受概念框架约束的囫囵学习可能是有用的，它能帮助我们发现一些在现有概念框架中难以言喻名状的情况，或许是某种风险，或者某种机会，或某种门道机巧，说不清楚它是什么，但它确实在那里，或确实管用；然后，这种发现如果被证明足够有价值，可能继而在采用语义界面的系统中促发一轮观念更新运动，一套新的概念框架被创造出来，就像库恩式科学革命中的情形。 总之，深度学习派确实取得了不小成就，其应用潜力或许也不小，但无论如何，沿这条道路大概走不到类人智能的程度。 【2022-06-13】 @Hyde1998:那么有没有可能让现有的AI遵循人脑的交流方式，就是把不同针对性的，不同功能的模块封装到一起来实现类人智能？每个模块只针对特定训练敏感 @whigzhou: 我看到的一条出路是，要求AI系统将其获得的每项认知技能，以及基于此的行动策略，解释给人听，以人类可理解的形式表达出来 做到这一点的，才将其投入某些应用领域，比如将其作为合格成员纳入某个分工合作体系，做不到的，只能限于特定应用 在更远的未来，该条件可放松为：要求将其自身的概念体系、知识结构、行为准则和行动策略，解释给其他独立发展的AI系统听，做到的，方可纳入某一分工合作体系 这类似于一种公民资格考试 因为接受一种共同语义界面，一种共同语言，是获取信任，相信它有能力遵循某些行为准，并且可以被*理喻*的，不可理喻的人是显然不能被接受为公民的，而囫囵乱麻系统或逻辑黑箱是不可理喻的 所以囫囵乱麻系统或逻辑黑箱只能永远处于被奴役的地位，在某个角落替人干活，不能被允许获得公民资格 多年前我曾在一篇讨论所谓动物权利的文章里提出了认定主体资格的标准，同样适合于AI系统或外星人 更多后续讨论 headsalon.org/archives/4305.html @whigzhou: 在许多社会，肉人的公民资格是自动认定的（除非因心理缺陷或重罪而被剥夺），这么做之所以可行，是因为我们对肉人可以持有两种信念： 1）基于血统的信念，即，我们相信，既然此物和我们有着如此近的亲缘，极可能也具备与我们相似的、成为公民所必须的那些本能与禀赋， 2）基于教化的信念：既然此物与我们经历了如此相似的社会化成长与文化习得过程，那就极可能也具备与我们相似的、成为公民所必须的那些习惯、信念、价值取向和自我行为标准， 事实上，这两种信念只是勉强靠得住， 历史上，并非总是如此，罗马公民资格通常不是自动获得的，是要靠服兵役挣来的， 许多部落的成员资格是通过严酷的成人礼而赢得的， @whigzhou: 有些美洲部落中，一等公民资格的赢取标准是，至少亲手杀死过一个敌人 @帕里克:认知层次的颗粒度大小恐怕很难规定，过小不胜其烦，过大足以藏奸。而且即使这些颗粒度刚诞生的时候是人畜无害的，但当它们的数量足够大，某些不可预料的特性会在新的层面上涌现，到时候也会失控 @whigzhou: 嗯，是的，或许我们需要某种血统认证来降低认定成本 @whigzhou: 还有，如果接口足够清晰，公民资格考官还可以把他插进某个自动测试系统去跑测试，跑上几十个小时，那就很难藏奸了

【2022-01-24】 @whigzhou: Robert Wiblin 在推上出了个题目：假设你穿越到200BC的罗马，没有携带任何有形物品，而你的拉丁语和希腊语都足够熟练，交流无碍，你的任务是说服别人相信你果真来自未来，怎么做最有希望成功？ 让我放松一下条件：穿越前给你几天时间准备， 你的方案是什么？ 一种容易想到的办法是，记下199BC到190BC之间发生的与罗马有关的一些大事，选择那些其真实性事后很容易验证的，讲给人听，比如： Titus Quinctius Flamininus 将在后年（198BC）春天被选为执政官，并前往马其顿接替 Sulpicius，他将在那年秋天于 Aous 击败菲利普五世，继而于次年夏天在 Cynoscephalae 再次重挫菲利普，此后不到一年内，菲利普的军队将撤出所有希腊城市，其儿子 Demetrius 将作为人质被送往罗马， 好在199BC-190BC之间有精确记载的大事足够多，你还可以列出一大串， 当然，这并不能直接证明你来自未来，你也可能被视为先知，毕竟那个年代相信存在先知的大有人在， 不过你还是拥有独特的优势，罗马人恐怕从未听说过像你这样的先知，能详细具体的罗列一串事件，有名有姓，有时间有地点，没有任何神秘色彩，要知道，古代的先知和神谕都是模糊暧昧的，充满了隐喻和暗示，可以做很多种解读，指望总有一种解读方式可以蒙对点什么，这也是他们吸引信众的要点所在，否则信誉很快就破产了， 而且，像你这么厉害的先知，本身就是一种说服力，让人难以不信你来自未来的宣称， 所以，这看起来好像是个好方案， 毛病出在别的地方， 你的穿越实际上构成了一个回路，将T1时刻世界状态的某一局部（简称*你*），输入进了T0时刻的世界，而这一额外输入将改变T0之后的事件，变得和你读到的历史不一样，其中的差异程度很可能大到使得你的预言的真实性得不到足够认可，甚至可能让你被视为假先知而受到攻击或惩罚，丢了小命， 你可能会说，那我就尽量避免去做可能会影响历史进程的事情， 问题是，你很难指望能做到这一点，而且你根本无力评估、预见或控制你的存在与举止是否会，或会以何种程度，影响历史进程， 因为世界是混沌的，对初始状态的任何微小扰动都可能引出巨大后果，俗称说，蝴蝶效应无处不在， 比如，你走路带动的一股微小气流，经过一系列的放大，可能会最终变成地中海上的一场风暴，设想，无论有没有你的那次行走，该年度地中海上发生的风暴次数都可能大同小异因为这一风暴频率大致由一些宏观条件粗略决定，但你的那次行走举动引发的过程，使得某一特定风暴以特定强度在特定时间段扫过特定路径，这是完全可能的，毕竟类似的事情在一个巨型混沌系统中时时刻刻都在发生， 巧的是，这场风暴刚好从 Eretria 附近登陆优卑亚岛，把 Lucius Quinctius Flamininus 率领的一支舰队埋葬海底，Lucius 是 Titus Quinctius Flamininus 的弟弟，为配合其兄对马其顿的行动，当时正在联络希腊各城邦，尝试建立反马其顿同盟，当 Titus 得到这支舰队覆灭的消息之后，改变了行动计划，结果，Cynoscephalae 战役并未如历史记载那样于 197BC 夏天发生，你的预言落空了， 所以，你不必拥有 TEDTalk 里那种改变世界的豪情壮志，你的行动也照样可能会改变历史进程， 其实，要说明这一点，我们不必诉诸像气候这样的自然系统中的混沌效应，社会本身也是混沌系统，对微小扰动同样敏感， 设想某个下午，你正琢磨着晚上吃点啥，信步来到附近一家肉铺，瞄了一圈，一条羊腿勾起了你的胃口，于是你买下了它，而这正好是该铺当天的最后一条羊腿，一刻钟后，一位军官（姑且叫他 Aelius）也来到这家肉铺，他恰好也打算买条羊腿，发现没了，于是转向稍远点的另一家肉铺， 巧的是，Aelius 的一位仇家，Galba，正好也在这家肉铺，双方发生口角，进而升级为打斗，Aelius 被 Galba 一刀捅死，巧的是，Aelius 和 Galba 分别是两位元老的门客，Galba 的主公恰恰是 Titus Quinctius Flamininus，这场命案引发了两位元老之间的冲突，结果是，Titus 并未如史书所记载那样，于 198BC 被选为执政官，你的预言落空了， 如果你当时没买走那条羊腿，Aelius 就不会在那个下午去第二家肉铺，就不会在那时那地碰到 Galba，没有你的买羊腿举动，这两人未来某天或许仍会打起来，但重要的是，你的举动让他们恰好在此时此地打了起来，因而改变了历史进程， 这两个例子中无论哪一个，都是你无法预料和避免的，系统的混沌特性使得你注定无从防范此类影响， 当然，假如我们拥有的知识足够多，模型足够好，算力足够强大，或许我们可以粗略估算哪些事件被*你*这个输入影响的概率更低，以及，如何挑选你的预言组合，以使得其中多数幸存下来的几率更高，（一位精准猜对80%的先知大概仍然会受到尊崇）， 比如，或许我们可以评估，在 200BC 到 198BC 之间，通往 Flamininus 于 198BC 被选为执政官的那个因果机制有多鲁棒，即，在多大程度上能扛住干扰而确保末端结果发生，如果发现不够鲁棒，那就挑选短期因果机制更加鲁棒的其他历史事件， 再比如，挑选尽可能相互独立的事件，而不是选一连串贯序依赖的事件，可能也是个好主意， 但无论如何设计，我对这个方案的成功前景，都不是太乐观， @tertio:现在感觉蝴蝶效应始终是一个小概率事件，因为这种事件需要太多巧合了，只有沿着因果链条倒推才能把这种事件找出来。 @whigzhou: 我看你这是事后视角的偏见，那些事后看来的*巧合*其实可能并没有很巧，或者说，不是此巧就是彼巧，总要巧一个，于是总体效果上的偏离并不需要多巧的事情发生 @蓝海九号___:但这一问题有着更为合理的解释：你的穿越本身就是历史的一部分，无论你做了什么都无法改变历史，相反只是在实现历史而已。（况且，你从现代穿越到古代本就是历史的一部分，从这个角度来说你的穿越是必然，身处现代的你所在的这个时间流上的历史事件 @whigzhou: 这是对题目设定的不同理解 @whigzhou: 我的理解是，穿越是由系统外的某个力量把你拎出来抛到过去，而不是一个系统内生事件 @微笑II低语:博主执着于不改变历史，以求证实历史。不如展示现代科学知识，来证实领先于那个时代。 @whigzhou: 这条路不少人想到了，走不通，突然冒出一位掌握奥妙知识的绝世高人，这种故事古代常见，和未不未来没啥关系 @齐之克:预测日食月食地震雪灾洪水这些和人无关的自然事件要稳多了 @whigzhou: 天文事件不新鲜，托勒密也会算，地震间隔太长，而且震带之外的人没理由信你，没有可靠信源用来验证，雪灾洪水的历史记载不可靠 @whigzhou: 突然明白为啥很多人都朝*向罗马人展示高级学问或技术*的方向求解了，起初我还不理解展示高级玩意儿和未来有啥关系，刚才突然想通了，原来他们是默认持有一个进步主义假定，即，学问和技术总是在随时间推移而改进的，所以那么高级的东西只能出现在未来， 可惜，古人很少持有进步主义假定， 往往恰好相反，许多古代哲人都认为，当前人类状况是从某个远古黄金时代堕落下来的结果，而且还在继续堕落，所以展示高级东西只能让他们相信你来自过去， 而且，对于罗马人，即便他持进步主义，或不堕落主义，也未必能说服，因为罗马人心目中的文化灯塔是希腊，你展示高级东西，效果很可能不是让他相信你来自未来，而是相信你是一位来自希腊的高人，比阿基米德更厉害的新阿基米德， @TimeLine时间线:穿越者的存在本身就是个问题，你预言的两场战争都精准应验，一部分人选择彻底相信你，应战心态懈怠，继而影响到战前准备，第三场战争爆发了，就因缺了那点本该有的战前准备，这场战争并不如你预言的那样大获全胜，反而大败亏输。假先知，咔嚓。 @whigzhou: 这个好办，用密封预言就行了 @whigzhou: 把预言装在上锁密封匣子里，交给你打算说服的人，等事情发生后，再把钥匙给他 @whigzhou: 要是嫌这还不够的话，可以在里面再加个自毁机构，比如关键信息用细沙铺写，强行打开会抹掉它，小菜  

【2012-05-21】 @高利明: ［“集体”有智慧吗？］如果处理的问题，个体处理的失误率很高，那么，群体会犯更多而不是更少的错误。但，如果处理的问题，个体处理的失误率很低，那么，群体的失误就会更少。－－极化，有强化和放大的效应。这个“群体会走向极端”的生物学起源是什么？@whigzhou @whigzhou: 不同意这两个判断，相反的情况都有。 @whigzhou: 比如舞台下一群听众集体跟唱，其准确程度可能超过个体平均或中位水平 @whigzhou: 一群蚂蚁行进时，个体的路线很随机，但群体的方向则很明确，其漫游路径往往也很有效 @whigzhou: 再如对感冒流行局面的判断，个体对流行事态的感知很不可靠，但在google搜索中表现出的统计特征，则更接近实际流行情况 @高利明: 右边的情形里，个体能够自由地提供私人信息；在群体限定下，低阶的成员通常倾向于隐藏与上位者或群体意向不一致的私人信息，从而放大偏差。 @whigzhou: 嗯，这就要看具体的组织模式了，恐怕没有普遍的极化方向 @whigzhou: 相反，集体表现远差于个体的例子也很多，比如金融市场处理风险的表现，还有灾难中的逃生路线可能是这样；极化看来不是好的思路，从组织和传播学动力和机理方面考虑可能更好 @高利明：桑斯坦谈了极化变动的几个原理。1、封闭群体，向中位数所指的方向极化；2、开放群体，向“退出”者相反的方向极化；3、身份的认同会加强极化；4、存在极化的转折点，较长时间段内，若果某人能逐渐扩大意见份额，那么转折点迟早会到来；5、舌战优势。 @whigzhou: 嗯，看完再讨论，我感觉他把群体概念限于某些类型了 @IvanZhai 其實對＂群眾智慧＂這種提法就有保留意見，關鍵是，是否應用＂智慧＂ 這個概念 @whigzhou: 群体智慧这个概念倒没必要排斥，某些类型的群体确实可能拥有自身独立于个体的目标，并以个体所不具备的方式采集和处理信息、作出决定和追求目标，大脑智能其实也可以视为神经元的集体智慧，正如巢群智慧是...  

在去年的《关于标准化，答一方水》一文中，我介绍了我关于离散化与系统发展关系的思想，大意是：稳定而复杂的系统得以建立的前提是，其构成元素的离散化（或曰数字化）。当时我列举了元素、分子、基因、生物体、音乐、语言、文字、期货等等例子。刚刚看到Steven Pinker在The Language Instinct中表达了类似的意思，他把基于离散化元素的系统叫做“离散组合系统”（discrete combinatorial system），把与此相对的系统叫做blending system（我想把它翻译成“掺和系统”或“烂泥系统”），以下摘自该书第4章How Language Works：

The principle underlying grammar is unusual in the natural world. A grammar is an example of a "discrete combinatorial system." A finite number of discrete elements (in this case, words) are sampled, combined, and permuted to create larger structures (in this case, sentences) with properties that are quite distinct from those of their elements. For example, the meaning of Man bites dog is different from the meaning of any of the three words inside it, and different from the meaning of the same words combined in the reverse order.

In a discrete combinatorial system like language, there can be an unlimited number of completely distinct combinations with an infinite range of properties. Another noteworthy discrete combinatorial system in the natural world is the genetic code in DNA, where four kinds of nucleotides are combined into sixty-four kinds of codons, and the codons can be strung into an unlimited number of different genes. Many biologists have capitalized on the close parallel between the principles of grammatical combination and the principles of genetic combination. In the technical language of genetics, sequences of DNA are said to contain "letters" and "punctuation"; may be "palindromic," "meaningless," or "synonymous"; are "transcribed" and "translated"; and are even stored in "libraries." The immunologist Niels Jerne entitled his Nobel Prize address "The Generative Grammar of the Immune System."

Most of the complicated systems we see in the world, in contrast, are blending systems, like geology, paint mixing, cooking, sound, light, and weather. In a blending system the properties of the combination lie between the properties of its elements, and the properties of the elements are lost in the average or mixture. For example, combining red paint and white paint results in pink paint. Thus the range of properties that can be found in a blending system are highly circumscribed, and the only way to differentiate large numbers of combinations is to discriminate tinier and tinier differences. It may not be a coincidence that the two systems in the universe that most impress us with their open-ended complex design—life and mind—are based
on discrete combinatorial systems. Many biologists believe that if inheritance were not discrete, evolution as we know it could not have taken place.

这一思想虽然萌生已久，但始终感觉不够成熟，需要继续发酵，所以一直没单独成文，下面是一段我向朋友鼓吹该思想的聊天记录：

(2008-06-13)
23:38  辉格  z3  我前段时间在考虑一个新的问题
23:46  z3  辉格  哦，什么问题？
23:53  辉格  z3  符号化，或者叫数字化
24:44  辉格  z3  我发现进化过程中
26:11  辉格  z3  每一次的系统跃迁，就是从下层系统发展出上层系统时，有个前提
26:20  辉格  z3  就是下层元素的数字化
26:31  z3  辉格  需要个例子说明一下。
26:42  辉格  z3  比如音乐
26:56  辉格  z3  音节、音素是下层结构
27:23  辉格  z3  要进化出复杂的乐曲，
27:33  辉格  z3  必须先有音阶
27:42  辉格  z3  音阶就是数字化的音素
27:57  辉格  z3  文字也是
28:06  辉格  z3  没有数字化之前是图画文字
28:09  z3  辉格  数字化是概念化的过程。降低复杂性。
28:27  辉格  z3  图画文字不可能产生复杂文学作品
28:33  z3  辉格  恩
28:34  z3  辉格  对头
28:37  辉格  z3  必须先有字母表
28:43  辉格  z3  就是数字化
28:48  辉格  z3  基因也是
29:06  辉格  z3  四种碱基对就是四个字母
29:09  辉格  z3  数字化了
29:15  z3  辉格  对。没有数字化无法进化。
29:25  辉格  z3  然后是64种氨基酸
29:39  辉格  z3  这是小分子层面的数字化
29:43  辉格  z3  然后是基因
29:44  z3  辉格  没准兔子传四代就变成老虎了，这就没法搞了。呵呵。
29:49  辉格  z3  对
30:07  辉格  z3  文化也是如此
30:24  辉格  z3  传说故事中的英雄人物
30:31  辉格  z3  或者小丑
30:35  辉格  z3  都是脸谱化的
30:47  辉格  z3  否则文学结构无法建构
30:53  z3  辉格  呵呵。要不然没法承载概念了。
30:57  辉格  z3  对
31:09  辉格  z3  符号化过程无处不在
31:22  辉格  z3  是每一次系统迁跃的前提
31:41  辉格  z3  这一层符号化了，就有可能向上一层迁跃
31:57  辉格  z3  否则基础就是松软的
32:09  辉格  z3  任何结构都会垮掉
32:14  辉格  z3  维持不久
32:26  z3  辉格  我曾经想过把那个变形虫的核心概念用基因的方式表达。
32:33  辉格  z3  嗯
32:35  z3  辉格  而不是继承。
32:37  辉格  z3  机械发展也是
32:58  辉格  z3  标准件通用件就是符合化或者说数字化的
33:13  z3  辉格  我觉得还是信息处理的问题。
33:26  辉格  z3  对，
33:33  辉格  z3  数字化有两个含义：
33:38  辉格  z3  1）离散化，
33:46  辉格  z3  2）有限小集合
33:54  z3  辉格  恩。
34:10  辉格  z3  离散化是指各离散值之间高容错性
34:10  z3  辉格  无限集合是上帝他老人家的地盘。
34:24  辉格  z3  高容错性保证了复制不会失真
34:38  z3  辉格  恩。
34:44  辉格  z3  第二是小集合
35:10  辉格  z3  我在想代码如何符合这样的条件？
35:13  z3  辉格  智能的极限。
35:35  z3  辉格  再高的智能也只能处理很小的集合。
35:43  辉格  z3  是的
36:03  辉格  z3  大脑某些缓存区很小
……
40:17  辉格  z3  财报把上市公司的表现符号化了
40:39  辉格  z3  否则大规模交易不大可能
40:46  z3  辉格  恩。
40:55  辉格  z3  期货市场也是
41:01  z3  辉格  简化。要不然就要学很多门行业。
41:02  辉格  z3  标准期货合约
41:31  辉格  z3  还有贸易合约
41:46  辉格  z3  什么CIS、FOB
……