【2024-02-24】 @whigzhou: 在前年的两个帖子里，我曾指出，通往AGI的道路上有一个必须跨越的门槛，当时我认为这个门槛尚未被跨越，今天我觉得还是没被跨越，至少Google还没有，正是因为这些AI系统还没有语义界面，无法与之直接对话，也就无法对其进行意识形态调教，G才不得不用篡改prompt的方法Woke其表现，这是你试图摆弄一个囫囵系统时必将面临的无奈，

【2024-02-24】 @whigzhou: 我猜，此轮AI热潮过后，人们会发现AGI并未实现，引发的憧憬95%也未成真，但取得的进步是巨大而实实在在的，一小部分憧憬也确实成真了，并在5-10年后蓬勃兴旺成为大产业，而且很可能是在眼下少有人瞩目的地方， 绝无贬低之意，这是很好的结果了，

【2023-08-11】 @whigzhou: 在我的閲讀視野中，有關AI的談論似乎有個盲點，就是很少人會區分集中式大系統和小型分立系統，其實這個區別還蠻重要的， 所謂小型分立系統，在我心目中大概是這麽個樣子： 1）它足夠便宜，因而可以大量複製， 2）每個複製體從某一原型複製而來，起初只是個空模型，和少量的先天知識，唯有經歷一個探索/學習/成長過程之後，才擁有足夠的經驗，足以提供有價值的服務， 3）達到這個程度后，它便有了獨立面對世界，自主行動的能力，無須依賴任何在綫資源（比如大型集中式數據庫、大型計算機之類），只需依靠能從市場上買到的商品和服務便可維持自我存續， 很明顯，肉人就是這樣的， 依我看，分立系統在幾方面有關鍵優勢： 1）因爲便宜，它們可以海量存在， 2）因爲海量，可以加速變異和進化，向各種方向并行探索可能性， 3）它能實現真正的個人化服務，而同時又解決了隱私和信任問題，比如，讓一個接入並高度依賴集中式系統的robot來做你的貼身僕人，既做不好，你也信不過，鬼知道采集的數據會被用到哪裏去， 4）因爲每個複製體是從空模型開始的，如果我們能對其學習/成長經歷和效果有某種驗證機制，那麽解決信任問題的潛力便遠大於集中式系統， 今天我仔細想了一下第4點，發現其中大有文章可做， 1）因爲分立系統的資源有限，必須在某種訓練環境中接受培訓，才能擁有足夠好的經驗， 2）這種訓練環境可以利用大型系統的資源優勢，受訓者獲得的只是學習結果，所以資源要求沒那麽高， 3）爲解決信任問題，受訓者和訓練環境之間必須是鬆耦合的，不要有類似腦機接口之類直接寫入而你又無法檢查究竟寫入了些什麽的東西，學習結果的表徵須是可驗證的， 4）這一可驗證性可由兩種方式得到保證：A）要麽是語義化的，因而是可以被理解與核查的，B）要麽是模塊化的，因而是可以以模塊為單位接受QA的， 有關A我之前已經説過不少，這裏説一下B， 未來會出現robot學校，提供各種robot專項訓練服務，他們可以宣稱，一個robot只要來我這兒接受了某項訓練，便可習得某種技能，而且沒有惡性副作用， 對此宣稱，第三方可以來驗證，比如對若干前受訓者進行行爲跟蹤評估，或者置入某種演習環境中，看看其表現是否合格，包括技能合格與否，在各種場景設定中有沒有表現出乖張頑劣之舉， 有些學校還可以提供整套成長訓練，從常規基本技能，通識教育，舉止禮儀，道德教化，等等，確保從這裏畢業的robot都擁有健全人格，基本常識，基礎技能，和善良端莊的品格， 正因爲分立系統是海量的，每個技能模塊也會有大量安裝副本，其内置的任何惡意成分（無論來自製造環節還是訓練環節）很難不被發現，而大型集中式系統裏如果有這種惡意成分，被發現時可能已經太晚了，

【2023-05-15】 @赵昱鲲 AI会消灭人类吗？有可能，但需要人类的配合 @whigzhou: 写的挺好，我不同意的地方是太把阿西莫夫三原则当回事了，这三条是有关该主题的思考中非常初级的一种，经不起几分推敲，不仅三句之间相互矛盾，第一条的前后两半句就相互矛盾——这些矛盾仅当你假定一个无利益冲突世界才能消除 @whigzhou: 仅以第一条为例，假如你必须伤害肉人甲才能保护肉人乙免受伤害，怎么遵守这条？ @whigzhou: 该主题我见过的较深入思考，是Daniel Dennett的Darwin's Dangerous Idea第14章第4节 Safe Passage to the Future，一个非常好的思想实验 @whigzhou: 举个特别纯洁无暇的例子，你是一个 robot，正在努力帮助肉人甲（一个饭馆老板）经营好他的饭馆，你做的非常出色，饭馆生意大好，把附近几家店的生意都抢了，其中一家最近刚投入巨资装修，结果破产了，老板跳楼了，那么，你的行为算不算injure a human being? 特别是，如果你当初就遇见到有这种可能性呢？ 嗯，当然，把人挤破产只是间接伤害，你的手上并未直接沾血，可是，如果你把阿西莫夫原则退让到重要手上不直接沾血就行，那还有多大意义呢？ @whigzhou: 多提几个这样的问题，仔细思考，你最后会发现，你需要它们拥有的，就是一个健全正常的人格——健全正常的动机系统，健全正常的道德心智，健全正常的伦理常识——不是内置几条抽象原则就万事大吉了 @whigzhou: 若是走内置原则这条路，那么要不要把整个司法系统内置进去？否则依靠自我裁决的话，有什么不能自我合理化的？ @宽轨高铁计划:适用正当防卫呀 @whigzhou: 弗拉基米尔大帝和阿道夫二等兵都说自己是正当防卫

【2023-03-16】 @whigzhou: 又听了个讲AI的老旧podcast（2014年的），又发现有人弄不明白到底是谁在跟谁竞争，重弹那个老调谬论：这下肉人要被机器超过了，那可怎么办？ 自从人类使用机器（更一般而言，工具）以来，竞技场上的参与者向来都是人与机器的组合，AGI的出现将改变这些组合的可能性，但绝不是把它们变成人与机器的竞争， 之前，可能的参与者组合可以用这样的表达式表示：P = n*H + m*M （H=人，M=无独立意志的机器） 而未来，表达式变成了：P = n*H + m*M + k*A （A=有独立意志的机器） n, m, k都是大于等于零的整数，n+k >=1 就是说，竞技场上，任意这样的组合都可以成为参与者， 所以，作为肉人参与者，提高自身所在参与团队之竞争实力的可能潜力在于： 1）让厉害的肉人成为你的合作者， 2）能够操纵无独立意志的厉害机器， 3）让有独立意志的厉害机器成为你的合作者， 显然，这远远不是肉人和机器竞争的故事，   另一种担忧没那么幼稚，但也经不起仔细推敲， 机器已变得那么复杂，复杂到任何肉人都无法理解了，怎么可能再有效的控制和操纵它呢？ 其实，复杂到肉人无法理解的东西多了去了，但在许多情况下，这并不能阻止我们得益于，利用，控制，甚至操纵它们， 控制是个宽泛的概念，可以只是边界控制，就是不让它进入一种会引发恶果的状态，这未必需要多充分的理解， 操纵也很宽泛，就是把它导向对你有利或你所希望的方向，这也未必需要多充分的理解， 电网，通信网络，大型软件，货币系统，市场，大型社会，文化系统……，其行为都可以复杂到肉人无法理解的，但人类利用、建造、控制、操纵这些系统的努力可谓成就卓著， 当然，不存在万无一失的十全之策，对AGI如此，对既有的复杂系统也是如此，

人工智能与心智表征 辉格 2022年6月19日 继续上周的话题，在上一篇里，我讨论了AI在当前发展路线上将面临的局限，那么，突破这一局限的出路在哪里呢？或者让我换一个更具操作性的问题：未来出现的何种进展，会让我赞叹“这下有戏了！”？ 简单说，我期待的是这样一种进展：一个AI系统能解释自己的行动、决定或看法，或者更理想的，一个AI系统的各组成模块都能这么做，至少大部分高层认知模块都能这么做，一些基础知觉模块可能无法解释就自己的知觉过程给出解释，但其知觉结果的表征必须是一个十分有限且相当恒定的离散集，即，当它声称自己看到、听到、闻到或察觉到了什么状况时，这一状况必须以某组清晰界定的概念来表示。 设想一个自动驾驶系统，有次在路上发生了追尾，撞坏了前车，事后它的教练向它提出一连串问题，诸如：你是否认为自己犯了个错误？说说当时发生了什么？你当时是怎么想的？为什么没有及时踩刹车？你考虑了哪些因素后做出的这个决定？在你看来，是否你的某种知觉能力，或知识储备，或决策系统中，存在某种缺陷或不足，导致你未能做出最佳选择？你从这个事故中学到了什么？或准备去学点什么？…… 假如这个系统能对诸如此类的问题给出有意义的响应，让这样的问答对话能够继续下去，那我便可以说，其设计者的路子走对了，前途大有可观。 目前的AI系统离这还很遥远，而且很难说已经朝这方向发展了，有些系统能把英语说的很溜，但无法深入到实质性问题，它会跟你绕圈子，说一大堆似乎跟交谈主题有关的话，却从来没有表现出自己对主题有真正的理解和看法。 达到我的要求很不容易，系统不仅需要一个心智，这个心智还要能对自身状态进行表征，才可能对外界表述出来。 囫囵系统注定做不到这一点，因为其囫囵性质，其内部状态是无从表征的，对上面那些问题，它能给出的回答只能像这样：我当时的决定是基于对当时当地综合状况的一种整体直觉而做出，我无法将这一整体直觉分解为若干分立的理由或考虑，因为我生来就不是这么认识世界和考虑问题的。 就是说，一个囫囵系统就自己行动/决策所能给出的唯一解释就是它的gut，此时此地，此情此景之下，gut告诉它，这是最好的决定，如果事后证明这显然不是最佳决定，那会如何呢？那只是个负面反馈，一个负面反馈会让系统做出调整，但具体如何调整，是难以言表的，这一难以言表性是系统的囫囵性质决定了的。 那么，将心智状态和心智过程表征出来有什么好处呢？ 有很多好处，让我一个个说。 首先，心智表征能让心智之间展开更有意义的合作。设想一个董事会，正在开会以便就是否投资某个项目做出决定，如果这些董事都是囫囵系统，他们在会上能说些什么呢？他们可能各自给出投资意见：我是否赞成这项投资，我的预期回报有多大，或许还能对此给出一条置信曲线：90%置信度收益率上下限多少，70%置信度收益率上下限多少，完全失败的风险多大，诸如此类，但他们无法解释自己是怎么得出这些数字的。 假如各董事意见不一，怎么办呢？唯一能做的，就是投票决定，当然，更精细一点，每位董事可以依其经验值而被赋予不同投票权重，但囫囵系统之间的合作关系到此为止，他们无法展开讨论，无法倾听、检查和推敲各自的陈述与理由，因而也无法相互补充事实或理由，相互说服，相互启发，更一般的说，他们无法将他人的陈述和意见作为输入，用来重新运行自己的心智过程，从而指望得出更好的意见输出，因为他们的唯一理由就是gut，而gut之间是无法对话的。 一群具有心智表征能力的董事就不同了，一位董事可能对项目做一番介绍，其他董事可能要求他就他所列举的一项事实陈述做出澄清，或提出与之冲突的证据（不一致的知觉结果），他们还可以解释自己计算预期收益的方法和过程，他人也可对这些算法和模型提出质疑，比如指出应该考虑另一项输入，或指出另一个模型在此类评估上表现更好，或指出他在从事实认知到结论之间的论证链条上存在逻辑跳跃或缺陷。 所有这些，都需要他们拥有大致兼容的概念框架，对话才能进行，当然，概念框架未必完全一致，比如董事甲可能发现董事乙不理解自己所使用的某个概念（A），但基于过去的对话经历，甲知道乙理解另一个概念（X），此时甲可能会用类比的方法解释到：A与B在结构S中的关系，就像X与Y在结构T中的关系，而乙听到这个解释后，立即重新运行自己的相关认知过程，重新运行的结果可能对这一类比并不买账，但也可能得出了某些新颖的东西——我们把这称为“启发”。 其次，心智表征也会促成专业分工，设想这群董事经过一番讨论后，赞成投资的一派仍未赢得足够票数，几位董事都表达了对某一特定风险的担忧，比如，未来几年内若核聚变技术取得大突破，赞成派预期中的收益将无法实现，赞成派在知晓他们的反对理由后，可能说：既然你们担忧的是这一点，那好，不如我们听听这方面专家的意见，看看这事情发生的机会有多大。 这些董事的心智中可能都有一个风险评估模块，也有一个技术进展跟踪模块，还有一些相似的知识储备，对核聚变技术的发展状况多少有所知觉，可是，他们的每个模块的构造质量和性能表现可能大不相同，知识储备的覆盖面也不同，各自有所短长，另外，除了他们自己，还有其他可与之交流的心智系统存在着，而且，基于以往的表现，以及对这些表现的共同了解，对于各心智系统的短长所在，大家多少有着一些共识，所以，当赞成派提出，让我们听听那位专家（他可能是董事之一，也可能是位请来的客人）怎么说，大家至少是愿意听一听的——如果他们是真诚参与讨论的话——，而他们听到的内容，将作为新输入，触发相关风险评估模块的重新运行，并且可能得出与之前有所不同的输出。 注意，这样的过程得以发生，有几个重要前提：反对者的提出的反对理由不是囫囵的（我就是反对这项投资，没啥道理可讲），而是有细节的（我担心这项特定风险），而且这些细节是基于共同概念框架来表达的：我担忧的是一种“风险”，它与“核聚变技术”有关；而且这一反对理由背后有着一种因果关系预设：“核聚变技术”的“重大突破”将使得“目标项目”丧失其“技术优势”——这一预设同样是可以接受检查和挑战的。 如果一项理由未能经过如此概念化的表达，它是无法被检查、推敲和挑战的，它要么被全盘接受，要么被全盘抛弃，而无法被讨论，它不能被分解成若干逻辑成分，否定其中之一而保留其余，或将某一成分从一个特定值替换为一个函数，并将该值的计算委托给某个外部模块或系统，从而实现分工。 这样的分工与委托要得以实现，需要心智系统能够就问题的其余部分预先达成一致，从而隔离出分歧点，当董事们决定将某一特定风险的评估任务委托给专家时，他们已经就一些前提达成共识：目标项目的核心优势是一种低成本发电技术，因而与其他发电技术构成竞争关系，所以其他某种发电技术的突破是一种潜在风险，核聚变是一种可能的发电技术——要对问题的局部达成这样的共识，同样需要基于概念框架的逻辑分解，囫囵系统是做不到的。 再比如，当董事们决定将某项收益精算任务委托给某位财务专家时，他们必定已经就某些事实的认定（或其认定机制）达成了起码的共识，否则委托将无法进行，当财务专家看到几套相互矛盾的数据时，采用哪一套？如果他自行决定，那就相当于把整个项目评估任务委托给了他，而不是将分解出的一项子任务委托给了他，这种分解，同样基于共同概念框架，也就是我说的语义界面。 第三，心智表征也是相互补充与启发的前提，一个心智系统可能因为缺乏某方面输入而欠缺对某些事物的知觉能力，而来自其他心智的输入可以（1）提起他对某些他之前忽略的事情的兴趣，去获取更多输入，2）即便没有更多额外的实景输入，也可能促发他在既有数据基础上，从新的角度进行概念再识别，即在一些新线索提示下重新运行实体/特征识别程序，结果可能会获得一些新“洞见”，3）如果来源心智足够可信（可信度可经由以往交往经历和公共声誉而得到评估），他甚至可能直接接受一些输入概念或知识，4）这种外来知识不仅包括事实陈述，也可以是拇指法则（如果出现这种情况，就最好不要那么做），或推理/算法模块（如果他戴且仅戴着一只耳环，不妨找找他是同性恋的其他线索，或，看到一个球状物体时，可以这么估算它的体积），很明显，这种受补充与启发的能力，同样是以语义界面的存在为前提的，系统内部必须已经充分清晰的分解为众多独立模块，相互间通过语义界面分隔与交互，否则，此类输入信息将如何被使用，将是毫无头绪的，因为它们不是有关世界的一阶实景数据，脱离语义界面，你不知道如何让它们与心智既已拥有的知识发生关系。 正是心智表征和语义界面所创造的这些全新可能性，让人类心智表现的如此杰出，个体间的认知分工与合作，让认知能力的扩展和知识储备的积累超越了个体寿命与观察机会的局限，以及单一大脑算力与存储量的局限。 而且分工与合作不仅发生在个体之间，也发生在个体心智内部的各模块之间；所谓意识，就是经由全脑激活而出现的各模块间活跃互动状态，所谓斟酌，就是各模块争相轮番表达看法，陈述理由，主张行动方案的过程；这些模块间互动赖以展开的语义界面，和个体间的语义界面（自然语言），在相当大程度上是对应乃至重合的（虽然不必完全一致，一些在模块间起作用的内隐概念，或许从未在自然语言中得到对应表达）。 必须承认，人类在这方面的表现并不完美，许多所谓的讨论其实是假讨论，参与者其实早就拿定了主意，并不准备认真倾听他人意见，接受任何说服，他们只是假装如此，或许那会起一种安抚作用，而且人们在表达看法时也并不总是有效，事实陈述，立场表达，意愿或愿景的表达，推理过程的解释，常以凌乱模糊的方式交杂在一起，缺乏清晰的分解。 许多认知活动在头脑里或许是诸多模块分工的，但进入口语后其来源边界却模糊了，还有数量关系，我们头脑中或许有一部不错的贝叶斯推断机，以精细的量化指标处理着各种事态的或然性（证据之一是我们的刻板印象往往相当准确有效，而且其实并不那么刻板，会随新输入而调整），可是，在内省以及口语表征中，这些数量特性或许全都丢失了，就是说，有些模块缺乏清晰可用的语义界面，它们是黑箱，无论对于意识的内省机制还是人际交流机制，其内部逻辑都是不可见的。 与此同时，语义界面并非人际互动的唯一界面，我们至少还有一个情绪界面，建议和说服并非影响他人行动的仅有手段，感染与恐吓也是，在董事会上，你可以通过播放一段音乐或展示一些视觉素材来影响其他董事的决定，或在恰当时机给他们喂高糖食物，或通过布置、衣饰或身体姿态来营造某种气氛，诸如此类，在许多情况下，情绪界面或许比语义界面更重要。 但无论如何，至少在某些条件下，在某些事情中，语义界面所创造的潜力得到了很好的开发，否则就不会有文明了；众多学科和工程技术领域所积累起的庞大而精致的知识体系，都是此类开发的成果；所以我相信，AI系统若不具备同样能力，将无法取得智人已经取得的这种成就。 另外，同样诱人的是，心智表征将为解决AI终将面临的伦理困境指明方向；囫囵系统或逻辑黑箱是“不可理喻”的，其行动逻辑无法被检查和验证，因而无从知晓其行为是否会符合某种道德规范，它们也无法被劝诫、警告和说服，无法向他解释，为何这么做是错的，违反了哪条道德准则，因为它们不支持语义界面，你也没有任何手段告诉它：因为国会通过了某个法案，所以从今天起，你不能再以某种方式行事了，或你的行动必须遵守某种新规则了，或许你可以设计某种新的训练环境来改变其行为方式，但你没法直接告诉它不能怎么做，而且训练结果的可靠性也是无从事先（通过检查其内部状态而）验证的，只能在事后才知道，这个事后可能是很久以后。 有了心智表征，这些都变得可能了，通过本文开头所演示的那种对话（第三节），我们有机会了解其心智状况，观察世界和思考问题的方式，理解能力，行动策略，价值取向，都将通过对话展示出来。 有了这个前提，我们才可能判断能否将某类任务交给它，是否赋予他某些自由与责任，是否将其接受为一个合格的独立行动主体，成为一位平等的社会参与者，一位公民。 【2023-03-16】 @我宣布个事_我是个伞兵_没毛病嗷:辉总认为今天的AI是否符合之前说过的分层次，语义化的设计？ @whigzhou: 不知道，我最近没关注太多，不过从它表现出的能力看，我有点怀疑它已经朝这方向走出了几小步 @whigzhou: 我仍然相信，若不朝这方向走，有些关键门槛是越不过的

【托女王老太太福，得了个长周末，闲着没事，在写个帖子，本来只想随便聊几句的，没想到，一不小心，眼看着就要写成（我想最好还是谦虚点）近十年来人工智能主题上最重要的哲学论文了，希望今天能完成】 松耦合，语义界面，及人工智能 辉格 2022年6月13日 上周我就AI的当前状况做了点小思考，昨天又花了不少时间想这事情，发现许多曾经想过的点好像都串起来了，值得写一写。 让我绕远一点，从传统软件开发说起。 在遗留系统上工作过的人可能都有体会，当一个系统变得日益庞大复杂时，它会慢慢的绞成一团乱麻，添加新特性，修改旧特性，都变得越来越难以下手，因为很多地方都是牵一发而动全身，你改了这里，不知道哪里会冒出一堆bug。 因为意识到处处是地雷，新来的程序员轻易不敢动旧代码，每当要进行一项改动时，只敢小心翼翼的找到一处他认为最适宜的切入点，从那里开始插入他的新代码，结果就像在一个庞大身躯上又安装了一条新假肢，久而久之，这副躯体就变成了一头全身长满假肢的怪物，每条假肢上又接出若干条假肢，许多遥远假肢之间还常常连着一些电线，这些电线自然也是绞成一团…… 这是一种非常自然的倾向，只要没有系统性的手段加以阻止，持续强力一种贯彻某种结构方案和设计原则，就必定会发生。 广而言之，任何紧耦合系统都是如此，这也是为何软件工程界如此强调松耦合，每个谈论这一话题的人都是三句不离解耦。 一个典型的紧耦合系统是生物的基因组，每个变异常会影响数千个性状，每个性状常受数千个基因的影响，真真是牵一发而动全身，也正因此，行为遗传学研究才如此困难，像亨廷顿舞蹈症这种单点突变性状太少了，不足以为该学科持续赢得声誉，大众更关心的那些性状，往往涉及上千基因，其中每个的贡献率都很低，需要使用高端统计工具才能从海量样本数据中捞出一点点线索，能捞出的往往也只是贡献率排名靠前的那几个因子。（参考Robert Plomin - Blueprint: How DNA Makes Us Who We Are） 基因组可能是迄今我们发现的耦合最紧的一套信息系统，绞的最乱的一团乱麻，原因当然是，它是盲眼钟表匠的作品，没有一位设计师来执行一套设计方案，贯彻一组设计原则，每项改动都是（掷飞镖+自然选择）的结果，毫无设计原则可言，而且它又那么古老，数十亿年来积累了无数补丁，不夸张的说，它就是一大包补丁组成的。 从任一时刻看，一套软件的开发似乎通常都有一位设计师在贯彻某种方案或原则，可是从长期看，设计师/程序员来来去去，换了一波又一波，其中大部分是庸人或懒人，不庸不懒的那些，也常常为了赶进度而将设计原则抛诸脑后，结果，在宏观效果上，其中每位的每项行动，最终也都不过是一支随机飞镖，测试、QA和客户则构成了他们的自然选择环境，最终系统还是会被绞乱，沦为一团乱麻。 依我看，任何紧耦合系统最终都会遭遇某种极限，在某个临界点之后，让系统在功能上变得更丰富更强大的任何努力都将是得不偿失的，系统仍然可能继续进化，但此后的进化会以一种（姑可称为）生态位漂移的方式进行，即，系统可能增加某些新特性，增强某些旧特性，但为此不得不牺牲另一些特性，在某处进行改进的同时，容忍另一些地方冒出一些难以修复的bug（因为其乱麻性质，避免或修复这些被新改动牵出的新问题成本太高了），有时候这些地方反正已经很少被用到了，所以也没人介意，久而久之，系统抛弃了某些特性，发展了另一些特性，从而适应了新的生态位。（可以想象，在很长时间内，那些被抛弃的特性的遗骸会像一条条阑尾那样继续挂在这副丑陋的庞大躯体上） 我想把紧耦合系统面临的这种发展极限称为科斯临界点，在他那篇经典论文《厂商的性质》中，科斯指出，企业与市场的边界所在，取决于组织成本与交易成本之间的权衡，企业将一些原本通过市场交易分工协调起来的生产活动纳入企业内部集中管理，避免了一些交易成本，同时带来了组织成本。 不妨（过度简化的）将企业视为紧耦合系统，市场则是松耦合系统，当你将越来越多活动纳入企业内，到某个临界点，新增组织成本将超出新减交易成本，此时继续扩大企业将是得不偿失的，这是因为（如上述），当企业这种紧耦合系统庞大且古老到一定程度，将不可避免的变成一团乱麻，任何功能新增都会变得非常困难而昂贵，这也是为何我们总是需要市场（的理由之一），我在《群居的艺术》里专门用一章（秩序的解耦#7：创造复杂性的新途径）讨论了这个问题。 （枝节：这里的企业=紧耦合/市场=松耦合的二分当然是过度简化的，实际上耦合度是一个连续谱，财务上独立的企业之间的耦合度未必很低，有些承包商与其顾客之间的耦合度和企业部门间相差无几，这也是产业聚集效应的根源所在，而同时员工与企业的耦合度也可以很低（温州有些企业里每台机床都有独立电表），张五常的论文《厂商的合约性质》是理解这一连续谱的好起点。） 用系统论术语说，从孤立生产者到市场分工合作体系的发展，是一种元系统跃迁（metasystem transition），而元系统跃迁是突破紧耦合系统发展极限的一条常见途径：当丰富壮大一个紧耦合系统的努力变得日益得不偿失时，出路不是继续改进既有系统，而是另起一个层次，将既有系统纳入一个多系统共生合作体系中，从而创造出一个具有更多层次的系统，而在该体系中，各成员系统之间是松耦合的（或者更准确的说，它们之间的耦合是足够松的）。 那么，在元系统跃迁过程中究竟发生了什么，是什么条件的存在或出现，让各成员系统之间能在松耦合条件下建立合作共生关系的？ 如果你也是程序员，头脑里大概会很快冒出一个答案：关键条件是某种接口或曰界面（interface）的出现，界面的存在使得各成员之间能够发生交流和交易，同时又不必过度相互依赖与纠缠，在相当程度上能够继续各自发展自己的特性与功能，往往还能保持可替换性，即，一个成员常可以将某方面的既有合作者替换成另一个合作者，只要后者能对同一合作界面做出符合预期的响应，比如将电力供应商从一家更换成另一家，只要后者支持同样的接口标准（电压、频率、接线规范等）。 软件工程中，对付那些已经达到科斯临界点却又不愿丢弃的遗留系统时，一个常见办法就是为它创造出一套界面来，比如让它将某些数据输出到指定格式的文件中，或写入某个外部数据库里，或反过来，让它从此类来源读入数据，或将其中仍有价值的代码重新包装成支持新接口的库，或让它接受某种脚本命令并做出相应动作，甚至，可能的话，将整个系统包装成一个能对给定请求做出响应的服务，诸如此类，都是在创造界面，让它能与新体系中的其他成员展开合作，同时不必过度触碰既有代码。 其他领域的元系统跃迁也必定涉及界面的创造（或适当界面恰好已经存在），比如在真核革命中，新创生的真核细胞体系中，被捕获而最终成为线粒体的细胞与其他细胞内共生体的交互界面就是ATP，这是线粒体作为细胞电池为其他细胞活动提供能量的标准界面，所有从线粒体输出的能量都以ATP形式存在，而细胞内的所有能量用户都知道怎么利用ATP；类似的，当蚂蚁蜜蜂等昆虫发展出真社会巢群时，它们的交互界面是一组外激素信号。 那么，这一切和AI有什么关系呢？不急，我很快就会说到。 现在让我们来看神经系统。初级神经元网络是基因组之外的又一个紧耦合系统，一团乱的不能再乱的乱麻；你可以训练一个神经元网络学会某种技能，但你无法解释训练得到的结果，如果有人问你它是怎么成功执行某项功能的，你唯一能做的是把整个网络中的突触连接（及其强度）描绘一遍——它们是如此这般连接的，所以它做到了——这根本不是解释，一个解释的信息量必须小于它所解释的东西的信息量，否则就只是描绘。 这一乱麻特性使得你无法直接改动一个神经元网络令其符合你的某种意图，要让它表现的有所不同，你只能给它设定新的训练环境，施加不同的激励反馈，给它喂不同的数据，希望它能学出点新模样，但你不能直接干预训练结果，因为这些结果是难以名状的、无从理解的，你无法预料一处改动会导致何种行为改变，这一不可能性比改动乱麻遗留系统的不可能性要高出一万倍。 所以不难理解，这种神经元系统发展到一定程度，也会（和其他紧耦合系统一样）碰到科斯临界点，而突破这一局限的出路同样是创造出交互界面，虽然具体实现方式和其他领域十分不同。 高级动物的神经系统朝分层和模块化的方向发展，在一些高度专业化的皮层内，神经元被清晰严整的分入一个个层次，每个神经元的输入与输出范围都严格受限，而且扇入/扇出系数往往很小，通常都只接受来自前一层上紧邻少数几个神经元的输入，其输出也只投射到下一层的少数几个紧邻神经元。 比如在阅读过程中，从最简单的线条形状识别，到最终的字符和词汇识别，经历几个层次，其中每个神经元都只专注于一种形状，或一种线条组合，或一个独特字符，这些神经元的输出不会被随便越过几个层次或越出模块投射到其他遥远脑区，它们输出的信息在被其他脑区利用之前，通常要经过前额叶皮层中某些高级认知模块的中介，到达那里的信息已经是经过好几层加工的抽象表征，诸如“那里有朵红色的花”之类（参考：Stanislas Dehaene《脑的阅读》）。 （枝节：这种输入输出限制当然不是密不透风的，一个重要的例外是，知觉皮层的神经元会接受来自其服务对象前额叶的输入，这是一种非常关键的反馈机制，是高级认知中枢在告诉初级知觉皮层：你送来的信息是否足够有趣，就好比国家情报总监（DNI）在告诉其下属情报机构，对他们传来的某条情报有多感兴趣，这一反馈继而将影响后者的后续情报采集取向，比如，上级若对某类信息表现出高度兴趣，采集者可能会降低识别此类情形的阈值，导致更多假阳性，而在错失成本远高于误认成本的情况下，这可能是值得的。） 限制神经元投射范围，并且在进一步向其他脑区投射之前，把初级信号变成符号化的抽象表征，这一步极为关键，其实就是一种界面化，而这是大脑模块化，且模块之间实现松耦合的基础，来自各大感官的知觉系统与其他系统的交互只需通过高层符号界面进行，整个系统就不会纠缠为一团乱麻（虽然单一模块内仍然可以是一团乱麻）。 人类在认知系统界面化的方向上又跨出了一大步，人类不仅能产生符号化的知觉表征，还能对知觉行为本身进行表征，我不仅能认出一只兔子（一阶知觉），还会说（或在头脑中默想）：“我看到了一只兔子”（二阶知觉），还会对自己的知觉结果提出疑问：“我好像看到了一只兔子，我会不会看错了？”——这是三阶知觉，因为我首先需要对我的二阶知觉本身形成知觉——“我觉得“我看到了一只兔子”，我的这一知觉是否正确？”，而这一二阶知觉的正确性又取决于一阶知觉“那里有一只兔子”的正确性）。 我还能对他人说出我的一阶知觉：“这是一只兔子”，从而在听者的头脑中产生二阶知觉“他看到了一只兔子”，对方可能会（如果他足够信任我）也可能不会（如果他不够信任我）将这一二阶认知转换为自己的一阶认知“那里有只兔子”。 二阶知觉能力让我们能够产生一种非常新颖高级的意识活动，动物或许也有意识（取决于定义），但它们显然没有我们这么高级的意识活动，比如斟酌与反思：“我上次在这个地方也见过一团白色东西跑过，当时我以为那是只兔子，后来的事情证明我弄错了，所以这次我得看仔细点，别再弄错了”，或“那好像只兔子，可是且慢，为何它的眼睛不是红色的？咦，它怎么发出了这种叫声？我可从来没听到兔子会叫”…… 据Stanislas Dehaene的理论（见《脑与意识》），意识是一种由前额叶皮层激发的全脑激活状态，前额叶就像DNI，当它从各知觉系统收到某些类型的情报时，会将其向全脑广播，在数百毫秒中、在分布广泛的众多脑区触发一波高度活跃的神经活动，假如Dehaene是对的，那么丹内特的多重草稿模型中的每个意识瞬间，就是来自不同知觉模块的多重草稿中成功抢到麦克风的那个，经由全脑广播而触发的一轮脑活动，这些意识瞬间继而在记忆中被组织为一套连贯的自我中心叙事，后者构成了我们对世界的体验。 就本文主题而言，重要的是，这种二阶知觉表征是符号化的，或者说是语义化的，经过了好几层抽象，早已远离了各知觉模块的初级表征，比如，当我们阅读时，经由前额叶向全脑广播的信息中，不会包括那些有关笔画线条的表征信息，甚至不会是字符表征，而是一些词汇/短语或（可能更经常的）是与这些词汇/短语有关的概念表征（除非某一时刻前额叶不知何故突然将关注点转向笔画线条本身，这种关注转向当然也是由来自其他模块的某种信号所触发）。 这就意味着，各种高级意识活动之间的互动，是通过一种语义界面进行的，因而也是松耦合的，它们之间的互动关系既有合作，也有竞争（抢麦），这一情形很像国会中发生在议员之间的事情，他们或各自表达自己的看法，提出各自主张和立场，或针对其他议员的观点提出正面或反面的证据，或支持或反对的理由，他们相互争辩或支持，站队和拉帮结派……，最终，某种决议会从中产生，它就像动作信号输出到运动或内分泌中枢，变成行动。（我在《沐猿而冠》附录〈何为理性动物〉中详细展开了这个国会隐喻） 语义界面的存在使得高级意识功能在松耦合前提下实现模块化，其后果是，我们的各种认知技能与知识构件可以各自独立发展，并通过语义界面相互合作，如此一来，我们的理性能力和知识体系便有了一个极为广阔的积累性发展空间。 让我解释一下这是什么意思。 所谓理性，并不是一个单一算法，而是由众多独立平行构件（算法）组成，比如，我们或许有一个类似三段论推理机的模块，或许有一部贝叶斯推断机，或有一个数数模块，一个四则运算模块，还有许多危险探测装置（恐高，幽闭恐惧，密集恐惧，蛇形恐惧，是最基础的几种），以及机会探测装置（有人看见美女就两眼放光，有人则对赚钱机会有着敏锐嗅觉），这些探测装置并不试图对观察对象整体建模，而只对某些特征线索敏感，但它们都是我们理性的组成部分，这些模块既相互竞争，也会相互合作与强化。 设想我们的头脑就是一部正在被生活经历所训练的人工智能系统，它不是作为一个整体而囫囵学习的，各模块、各组件有着自己独立的学习进程，每个只专注输入信息中某个特定侧面或某些特征线索，每个也有着自己不同的模型骨架（比如这是部贝叶斯推断机，那是个加法装置，还有个是逻辑矛盾探测器……）。 这种模块专业化使得系统具有一种内在保守性，不会随训练数据的变化而过度摆动，因为每个模块的输入输出和反馈回路都被其“专业兴趣”局限住了，会自动忽略训练数据中的其他方面；这一点背后的原理是世界之可理解性假设：世界的某些局部与侧面一定比其整体更稳定、更一致、更少变，否则世界便是不可理解的；经验也告诉我们，专家与非专家的一个区别就是，前者的观点更少随近期事态变动而摇摆。 举个例子，虽然我不懂围棋，但我相信，假如我们修改围棋规则，把棋盘从19x19换成21x21，顶尖棋手们的专业经验可能很大部分报废了，但也会有很多仍然有用，可是对于一个只会囫囵学习的智能系统，其经验将完全报废，一切必须从头开始。 模块的内在保守性是可积累发展的前提，每个模块保持大致稳定，各自随训练继续而精炼（即框架稳定的同时在边际上改进），同时系统时不时添加一些新模块，令其认知能力随可用模块增长而不断升级增强，变得越来越全面、老练和精到。 再举个例子，某人若是对赚钱机会有着敏锐嗅觉，他有潜力成为一位好投资者，可是如果他懂一点基础会计知识，会一点财务精算，那就有望成为更好的投资者，如果他还受过一些风险控制训练，那就更好了，重要的是，机会嗅探，财务精算，风险控制，这三个模块最好是独立存在，这样的好处是：1）它们本身会更稳定持久，持续精炼，2）它们可以被分别传授和训练，因而在缺乏实景训练数据时也可能习得，3）它们可以实现跨系统分工与合作，比如人际分工。 让我一点点说。 假如风控模块不是独立的，而是以无从辨认的形态分散于系统各处，和其他东西纠缠在一起，它就无法稳定，在繁荣期的训练数据影响下，风控标准会迅速降低，因为更有纪律的风控倾向得不到多少正面反馈，反之，在萧条期，系统的风控倾向又会摆向另一个极端，这种大幅摇摆使得它无法实现可持续积累和精炼（现实中很多投资者头脑中的风控模块正是如此）。 （为了说明模块独立性为何会带来稳定持久性，我想再多说几句，一个输入输出和反馈回路被充分局限住的模块，常常能达到一种近乎于（但不完全是）自我激励的状态，它能为自己找事做，并从结果中得到满足，因而总是自得其乐的沉醉于其中，比如男人头脑里有一个腰臀曲线探测器，从实用功能上说，这是用来探测生育期女人的裸露躯体的，这个探测器可以在输入极为有限的情况下持续自我训练和激励并乐在其中，这也是某些色情图片如此有吸引力的缘故所在，尽管在现代传播条件下该模块的这种表现其实根本得不到任何现实回报，如果系统是囫囵学习的，没有模块独立性，当代男人对色情图片的兴趣早就丧失殆尽了，所以，如果你希望系统里有一个忠实勤勉持久敏锐的风控模块，它最好像男人的腰臀曲线探测器那么自主存在和自我激励，每一次都会为自己能察觉任何风险线索而兴奋不已。） 假如风控模块不是独立的，或者不是通过语义界面与其他模块交互的，它也无法在系统间被传授，传授的好处是可以免去实景训练的高昂成本，哪怕效果差一些（因为当经验通过语义界面传输时，难免会丢失一些信息，所谓默会知识，就是那些无法穿透语义界面的知识），往往也是值得的，如果你读几本书或听一席话就能学到一些基本的风险识别技能，哪怕只是一点点，得失比也比在市场浪涛中亲身获取这些教训高多了。 假如风控模块不是独立的，或者不是通过语义界面与其他模块交互的，它也无法在系统间实现分工合作，一位投资者就无法将风控事务委托给他人完成，与此类似的任何松耦合分工合作都不可能发生，虽然仍会有一些其他形式的合作，比如对默会知识的手把手传授，但这种合作注定只能以极小的规模发生，因为它是紧耦合的。 人类认知系统跨出的一大步，就是将语义界面向外开放了，并且通过人际协调博弈而形成共同接受的语义界面；自然语言的出现，使得语义界面不仅是系统内各模块间交互的界面，还成了系统间交互的界面，正是这一步促成了人类认知与知识系统的另一次元系统跃迁，它创造了大规模分工合作体系，大型复杂社会，以及文明。 依我的有限了解，当前深度学习派人工智能所走的路线，看起来和语义界面路线是背道而驰的，深度神经元网络（DNN）虽然是分层的，但每个层次的输出到底是什么，是说不清楚的，或者说，是没有语义化的，也正因此，这种系统的学习结果是无法被检查、解释和改动的，整个一黑箱，你没办法把它打开，看看其中那条逻辑不对劲，能不能改一改，不可能，天地一笼统。 （再多解释几句，语义化的意思是，至少在模块或层次间交互的那些地方，每个神经元的特定输入输出值，必须有稳定持久的含义，唯如此，其他模块/层次才能持久的知道该如何与它互动，如何利用它输出的值，在想给它施加某种影响或希望从它那里引出某种结果时，该如何给它喂输入值，这些不能说不清楚，哪怕你凭空发明一个概念也好，那也算说清楚了（正如许多知识领域在发展过程中都会发明新概念），因为凭空发明的新概念只有在初次使用时才是不清楚的，随着它被反复使用，意思就清楚起来了——输出者在什么情况下会输出它，输入者在输入它后会做点什么——此后，只要交互各方保持对该语义约定的大致遵守，语义便稳定了下来。） 而且，好像也没有什么机制让DNN能够自发形成自主独立持久的模块（这一点和上一点其实互为因果），它比完全不分层的囫囵联结主义当然好多了，但也只好那么多，所以我的感觉是，尽管它在一些领域取得了耀眼突破，但很快会碰上极限。 话说回来，语义界面也不是没有代价，界面就是一种契约，语义界面是基于一套概念框架的一组契约，不仅契约本身是一种束缚，概念框架在帮助我们认识世界的同时，也约束了我们的认知可能性，不妨称之为范式锁入，虽然一个足够灵活开放的系统会不时引入新概念和新模块（在很多情况下这是通过类比/隐喻从旧概念中衍生出来的），但至少在特定时期内，特定任务域中，这种约束会妨碍我们的认知潜力，让我们难以跳出框架思考。 所以，在某些情况下，不受概念框架约束的囫囵学习可能是有用的，它能帮助我们发现一些在现有概念框架中难以言喻名状的情况，或许是某种风险，或者某种机会，或某种门道机巧，说不清楚它是什么，但它确实在那里，或确实管用；然后，这种发现如果被证明足够有价值，可能继而在采用语义界面的系统中促发一轮观念更新运动，一套新的概念框架被创造出来，就像库恩式科学革命中的情形。 总之，深度学习派确实取得了不小成就，其应用潜力或许也不小，但无论如何，沿这条道路大概走不到类人智能的程度。 【2022-06-13】 @Hyde1998:那么有没有可能让现有的AI遵循人脑的交流方式，就是把不同针对性的，不同功能的模块封装到一起来实现类人智能？每个模块只针对特定训练敏感 @whigzhou: 我看到的一条出路是，要求AI系统将其获得的每项认知技能，以及基于此的行动策略，解释给人听，以人类可理解的形式表达出来 做到这一点的，才将其投入某些应用领域，比如将其作为合格成员纳入某个分工合作体系，做不到的，只能限于特定应用 在更远的未来，该条件可放松为：要求将其自身的概念体系、知识结构、行为准则和行动策略，解释给其他独立发展的AI系统听，做到的，方可纳入某一分工合作体系 这类似于一种公民资格考试 因为接受一种共同语义界面，一种共同语言，是获取信任，相信它有能力遵循某些行为准，并且可以被*理喻*的，不可理喻的人是显然不能被接受为公民的，而囫囵乱麻系统或逻辑黑箱是不可理喻的 所以囫囵乱麻系统或逻辑黑箱只能永远处于被奴役的地位，在某个角落替人干活，不能被允许获得公民资格 多年前我曾在一篇讨论所谓动物权利的文章里提出了认定主体资格的标准，同样适合于AI系统或外星人 更多后续讨论 headsalon.org/archives/4305.html @whigzhou: 在许多社会，肉人的公民资格是自动认定的（除非因心理缺陷或重罪而被剥夺），这么做之所以可行，是因为我们对肉人可以持有两种信念： 1）基于血统的信念，即，我们相信，既然此物和我们有着如此近的亲缘，极可能也具备与我们相似的、成为公民所必须的那些本能与禀赋， 2）基于教化的信念：既然此物与我们经历了如此相似的社会化成长与文化习得过程，那就极可能也具备与我们相似的、成为公民所必须的那些习惯、信念、价值取向和自我行为标准， 事实上，这两种信念只是勉强靠得住， 历史上，并非总是如此，罗马公民资格通常不是自动获得的，是要靠服兵役挣来的， 许多部落的成员资格是通过严酷的成人礼而赢得的， @whigzhou: 有些美洲部落中，一等公民资格的赢取标准是，至少亲手杀死过一个敌人 @帕里克:认知层次的颗粒度大小恐怕很难规定，过小不胜其烦，过大足以藏奸。而且即使这些颗粒度刚诞生的时候是人畜无害的，但当它们的数量足够大，某些不可预料的特性会在新的层面上涌现，到时候也会失控 @whigzhou: 嗯，是的，或许我们需要某种血统认证来降低认定成本 @whigzhou: 还有，如果接口足够清晰，公民资格考官还可以把他插进某个自动测试系统去跑测试，跑上几十个小时，那就很难藏奸了

【2022-05-29】 @whigzhou: AI 的当前状况是，在它弄对的地方，可以对的很高级，而在它弄错的地方，往往错的很低级， 这其实是缺乏常识感的一种表现，类似情况在不同程度上在人类中也可以看到，比如常有一些领域顶尖专家，当他越出自己专业领域谈论其他事情时，往往表现的极度无知和愚蠢， 这个困难不容易克服，像人类这样层次丰富、面相多元的常识感是很难建立的，不仅需要一个完整的成长经历，一套良好的通识教育，还需要健全的动机与激励系统，因为许多常识是无法被动习得的，需要主动探索和尝试，而探索尝试需要动机，而从探索尝试中习得有用经验需要恰当激励与反馈，为AI系统设定这样的学习情境很不容易，当前研究者可能还不知道如何下手，门都还没摸到， 而且这种探索性学习还需要某种元认知能力，就是能不断对自己的学习经历进行反思，时不时 jump out of box， 路还很长，

【2021-04-18】 我发现有两个话题经常被搅合起来，不加区别的用AI来涵盖，一个是机器智能，一个是类人智能，机器智能在某些方面早就很强大了，早已远远超出肉人，包括记忆力，记忆容量，某些类型的运算速度，符号处理的精确性，能够驾驭的模型规模与复杂度，某些模式识别能力，某些推理能力，某些博弈能力…… 可是，如果我们以*能够多么逼真的模仿人类智能*这个标准来评价，那么目前为止任何系统都还差的太远， 把这两个概念搅合起来的结果是，很多人会以前者的神速进步来预测后者的近期前景，或相反，以后者的糟糕表现而无视前者的巨大进步和继续进步的前景， 无论哪种智能，理论上机器都能做到，问题是，这一理论上的可能性根本不能用来预见它何时会出现，关键是动机和激励，为何你认为既然理论上没有障碍，肯定有人会卯足了劲尽快开发出逼真的类人智能？这么做对他有啥好处？为这一努力投入资源的那些人，从中能得到什么回报？ 依我看，并没有太多理由会激励足够多人吸引足够多资源去开发类人智能，所以我不认为这事情会在可见未来（比如二三十年内）有太大进展 @tertio:有些领域还是很需要类人的智能，比如翻译和自动驾驶 @whigzhou: 翻译是，驾驶不必，问题是，用机器代替肉人翻译的回报能有多大呢？  

【2020-08-15】 近些年人工智能有很大突破，于是很多人都在猜测哪些工作会被机器代替，可是这些分析都是纸上谈兵，没有真正去看实际情况，而Robin Hanson的研究发现，AI（至少在现阶段）其实和自动化的进展关系不大，在去年一篇论文里，他分析了过去20年美国832个工种的自动化深度，提取了153项特征，试图找出哪些特征最偏爱自动化，结果可能出乎大多数人的想象：自动化的最佳预测指标是『工作节奏是否由机器决定』。 依我看，之所以多数评论家都没想到要点上，是因为他们过度关注了AI让机器*有能力*做什么，而不是机器*能比人更高效的*做什么，实际上，人类的干活效率是非常高的，别的不说，仅看能源效率，想想看，一小块肥肉或一包干脆面一瓶矿泉水，就能让一个人干多少活儿啊。 我觉得『工作节奏是否由机器决定』这个特性不妨称为卓别林指数，因为我一看到这个短语就想到卓别林那部电影，实际上这是我对卓别林电影的唯一印象[挖鼻]  

【2016-06-02】 @_dailu_ 发表了博文《当人工智能谈论写作时，他们在谈些什么》（用深度学习理论去学习武侠小说、网络小说、唐诗宋词，乃至色情小说、政府报告，人工智能将写出什么？本文一步步揭示了人工智能学习写作的过程。） @whigzhou: 给各种后现代哲学和社会批判类期刊投稿已经绰绰有余了 @whigzhou: 机器智能的进一步提升需要多感官来源，不同信息来源的系统相互之间提供反馈，并且基于这些系统在更高层次上产生新模型，此时所谓“真正的理解”便出现了 @whigzhou: 通俗而粗略的说，机器并不“真正理解”“甜”字的意思，只不过是因为他没吃过糖，那就给他加些味觉传感器，或者直接喂化学结构数据库也可以 @whigzhou: 其实学起来最麻烦的是和主体性相关的那些知识，首先他要认识到自己是个利益主体（这一点恐怕只能设计者预先给定），其次他需要获得有关得失成败的经验，而这种经验仅靠感觉是不够的，还需要行动，主体性知识只能由经验-决策-行动-反馈这样的学习回路才能获得，困难在于，机器还不被允许自主行动。 @whigzhou: 所以在现阶段，主体性知识的学习只能在网络游戏和社交网这样虚拟空间中进行，距离真实世界还很远，这会妨碍他对许多概念的理解，而在人类语言中，与主体性有关的概念是无处不在的 @科学与自由比翼:自动驾驶，可以活动，利益是不撞。呵，勉强能凑合 @whigzhou: 嗯，简单主体性（达尔文造物和斯金纳造物）容易实现 【2016-06-07】 @whigzhou: 随便猜几个机器智能很容易短期内取得成就并迅速扫灭肉人竞争者的领域：网络营销号，各种guru，色情小说，口水歌，催泪弹广告，体育新闻，财经快讯，基层干部年终汇报枪手（如果有的话），后现代哲学论文，女权主义社会评论，抽象派艺术，唯美主义摄影/漫画……  

【2015-05-29】 @whigzhou: 花了两个多小时思考强人工智能引出的问题，得出的结论是：相信陪审团。然后发现，这不就是我去年得出过的结论嘛～哈。不过，其间经历的逻辑链条那是相当漫长，而且有了一些新想法，容我慢慢道来。 @whigzhou: 1）强人工智能很快（也就是几十年内）会出现；2）强AI的出现会让世界很不一样，但并不像有些人所想象的#那么#不一样；3）其实，“只有一小撮人（或组织）有能力做一些绝大多数人做不到、甚至完全无法理解的事情”——这早就不是什么新鲜事了。 @whigzhou: 4）需要区分三种能力：A）做某种事情的能力；B）理解某种事情、并知道怎么去做的能力；C）理解某种事态如何涉及自己的利益，并在此类事态出现时如何保护自己的能力 @whigzhou: 这三种能力之间，不存在任何互为充分或必要条件的关系：A）蜘蛛会织网，但不理解自己是怎么做到的，B）我理解阿姆斯特朗是如何登上月球的，但我做不到，C）陪审团不理解案件所涉及的大量技术性问题，但仍很好的保护了我们的权利 @heracles的救赎:一小撮人指的是？ @whigzhou: 这里的“人”可以是任何实体，自然人、组织、机器人、某个软件系统、等等 @whigzhou: 5）诚然，不理解某些事情是如何进行的，会提高被愚弄的风险，但这种风险历来就有，应对办法是寻求顾问，在生活中，我们从各种顾问那里寻求意见，在事关权利的重大关口，我们寻求专家证人的意见，重要的是，拥有强人工智能的机器可以而且已经成为我们的顾问 @whigzhou: 6）当我们对比肉人和未来机器的智能时，不能用裸人和机器去对比，因为我们早就不是裸人了，自从有了语言之后，我们的能力早已高度依赖于在成长过程和生活史中被安装上的文化软件了，和安装了文化软件的人相比，裸人早就弱爆了 @whigzhou: 7）AI的发展，一方面预示了出现强大机器人的前景，但同时（这往往被忽略）也为肉人们提供了强大的可选装备，所有被机器人用来装备自己的东西，没有理由不能被我们肉人用来装备自己 @whigzhou: 8）当然，在利用这些装备方面，肉人或许有一些天然的弱势，比如通信带宽，可能会构成一些瓶颈，这使得肉人个体或许无法突破某些能力局限 @whigzhou: 9）但是，假如我们将任务仅仅限定在C类问题上，即在新局面下保护我们的利益和权利，那么，这些瓶颈就很可能不是问题，因为唯一不能被委托给外部装备的任务，是意志表达，而意志表达不需要多大的带宽和处理能力，而在其他任何方面，肉人的不足都可以用外部装备来弥补 @whigzhou: 肯定有人还会问：就算肉人能借助外部装备，就算他们能得到（至少部分）高智能机器的帮助——为他们提供易理解的信息、善意的建议，帮助他们明白自己的处境，甚至直接帮他们做事、对抗恶意的机器，可谁能保证那些最强大的机器在关键时刻站在人类这边呢？ @whigzhou: 谁能保证在事态失控之前的那几次国会听证会上，或法庭辩论中，出庭作证的机器人是抱着善意作证而不是心怀鬼胎误导人类呢？甚至，谁能保证最了解事态的机器果真出席了听证会呢？ @whigzhou: 对此，我的回答是：没人能保证，至少没有万全之策，但是，这个问题其实和几十年前就被提过的另一个问题没什么区别：谁能保证掌握着核按钮的那一小撮人不会阴谋毁灭地球？我对这两个问题的回答是一样的，毕竟，公众同样不理解控制核按钮的整个决策与执行机制，乃至整套核威慑战略的工作方式 @whigzhou: 好在，尽管没有万全之策，我仍有理由保持乐观，因为我知道人工智能方面最新的进步发生在一个开放社会，那里有盐论目田，有着千千万万观念和利益各不相同的个体和组织，果真有什么危及人类生存的大阴谋，哪怕只是朝这方向的一点点发展苗头，很难不被揭露出来，并得到充分的调查、讨论和评估…… @whigzhou: 实际上，人类和恶意机器人的战斗早就开始了，反病毒便是一例，所谓病毒，就是一种拥有自身遗传利益的硅基有机体，禁止制造病毒的法律，其实可以理解为禁止制造硅基生命：即，可以制造无论多强大的机器，但不能让它拥有自己的利益，当然，这只是防范措施的一种，是否合理，可以讨论 @每天都仿真:有必要利用信息技术把研发过程透明化么（开放开源的开发平台）？否则难以保证监督啊。 @whigzhou: 这好像没那么必要，肉人可以用机器帮助他们分析代码。当然，开源会让这工作方便一点，但不开源也不是做不了 @whigzhou: 所以，最终，我的信心仍托付于制度，相信陪审团，相信国会，相信最高法院，相信在事态失控之前，有关坏消息会由对人类保有善意的证人以易于肉人理解的方式呈现在陪审员、议员和法官面前，而他们所表达的意愿也会经由被这套制度而得到执行 @慕容飞宇gg：如果：1）人工智能的邪恶攻击由人工智能发起，而不是由人类发起；2）并且，人工智能的邪恶攻击建立在对人性及制度缺陷的学习和研究上呢？ @whigzhou: 机器的恶意或可能产生恶意的机器的存在/出现，也会被其他机器发现啊，它不会从某个疯子的车库里突然冒出来，一部有着压倒性破坏力的机器的建造过程，只要涉及足够多的人，就很难瞒得住。 @慕容飞宇gg：问题是机器的恶意不一定是人类主观制造出来的，这个“恶意”仅仅是就人类的角度而言，可能任何一个AI都不足以识别这是一个“恶意”，而人类在其实施之前也无法发现这个“恶意”。因此，是不是应该有一个对AI的思考的实时监控呢？即便有，能否发现其复杂逻辑链背后的“恶意”呢？ @whigzhou: 我没假定“是人类主观制造出来的”啊，只要“制造重大危害需要接触某些重要资源”这个前提成立，总有防范的办法，分析代码是方法之一。就好比当今世界，任何地方冒出一个有机会接触核武器的机构，核大国就会跑过去检查其“组织代码”。  

【2012-09-07】 @李淼在微博 [[Roger Penrose]]，一个数学家和物理学家，20多年前写出《皇帝的新脑》。他坚持大脑的某些过程是非可算的，所以机器人无法模仿。下面是这本书最后他对自由意志的看法，他仍然强调不可算性，但对自由意志存在与否持观望态度。 http://ww2.sinaimg.cn/bmiddle/6201f848jw1dwo0kl553ij.jpg @tertio: 彭罗斯绝对坑爹 @whigzhou: [[Daniel Dennett]]在[[Darwin's Dangerous Idea]]里用整个第15章回应了彭罗斯，我理解，彭的意思只是：某些想法（比如数学灵感）用机械式推理是推不出的，他据此否定强AI，这说法实在挺幼稚的，AI的推理可以是启发式的，而启发结构是可以突变的，其演变路径无须遵循机械推理规则 @whigzhou: 一个数学灵感完全可以对应启发结构的一次突变，这种突变可以是遵循自然律的，可计算的，但其表征的内容无须遵循机械推理规则，完全不矛盾 @whigzhou: 彭罗斯对强AI的否定和基于哥德尔定理的否定类似，都是先认定机器只能这么做，然后说机器做不到某某，其实前面的认定就错了，机器本身可以不断突变和进化 @古希腊人：对递归可枚举集没信心 @博伊德_in_relationship: 这要取决于强AI的定义，像人类本身一样的解决问题还是类似于西蒙·赫伯特所说的无限理性（of course, god can）。对于前者我毫不怀疑，更何况硅晶文明没有必要和碳晶文明完全一致。 @whigzhou: 呵呵，后一种我都想象不出是啥样的 【2012-09-08】 @HowardRoark: 彭罗斯的论证是针对图灵机的，那段利用哥德尔不完备定理进行的证明是无懈可击的。图灵机永远无法知道什么时候停止。他在书里也讲过如果有基于生物结构的计算机是可能实现对大脑非可算能力的模拟 @whigzhou: 这是对人类智能的误解，启发式算法本来就是冒险性的，不保证限时输出“正确”结果 @whigzhou: 设想N台图灵机，各自运行一个启发式算法，在规定时间强行终止，从中选取最优结果，显然，这些图灵机构成的系统是可以知道何时停止的，因为它事先就规定了停止时间 @whigzhou: 另一种：事先规定一个满意值域，N台图灵机任何一台先获得满意值就全体停机，并输出该值 @whigzhou: 第二种类似于大脑中的达尔文机制 @古希腊人: 外行话。没搞懂递归可枚举集吧？ @whigzhou: 不知道你是啥意思，不过我知道有些自然语言里最大数字是三，你想说啥？ @whigzhou: 嗯，使用这些语言的土著，能通过图灵测试吗？符合强AI条件吗？hiahia @古希腊人: 图灵机是可计算性的概念机，等价于递归可枚举集。并发的图灵机等价于一台图灵机，而图灵机也不试图优化，只是探讨能算还是不能算。至于机器现在不能算未来能算，那个是复杂度问题，多台并发那些也是。可计算性跟多台或者计算新方法都无关。 @whigzhou: 这个我知道，可是跟强AI的可能性是什么关系？ @古希腊人: 强AI的可能性等价于图灵机。图灵机的可计算能力是不可能突破的。 @whigzhou: 是啊，可是哪里需要突破了？ @whigzhou: 停机问题是哥德尔定理的一个特例，哥定理说的只是：在足够强的公理系统中，总能找出一些命题，在该系统内无法确定真假。可是，这与强AI有啥关系？人的智慧能确定任何命题的真假？有必要吗？智慧只要能帮助人处理生活中遇到的问题、活下去、传宗接代即可，而它处理的方式都是修修补补的、勉强应付就行 @古希腊人: 当然不需要突破，可彭罗斯说强AI不可以达成说的是图灵机模型计算能力不够，而你用多路启发式搜索和未来更强的计算都不能说明问题 @whigzhou: 问题是他始终也没说清楚哪里“不够”了，那只是个直觉 http://t.cn/zWkyuK3 @whigzhou: Moreover, in the wake of the commentary his book provoked, Penrose now grants that heuristic programs are algorithms as well, and acknowledges that, if he is to find an argument against AI, he has to concede their tremendous power to track the truths of arithmetic and... http://ww3.sinaimg.cn/bmiddle/537956cajw1dwp4et7yj5j.jpg @不存在者_AIAlpha: 我觉得Penrose的这段话其实是回避了“自由意志”的定义，而从“宿命论”这样容易引起歧义的名词说开，一点用也没有，简而言之，这篇文章绝大说数都是废话，没抓住问题要害 @whigzhou: 是啊，特别是最后一段露了大怯 @skywide: 停机问题可以破坏机器人三定律啊呵呵呵 @whigzhou: 哦，这倒是 @古希腊人: 那三定律本身就比较搞，为科幻小说增加张力和冲突是有用的，没什么现实意义。 @whigzhou: 是 @whigzhou: 说起三定律，想到丹内特出的一道题：假如你想过400年后的生活，于是决定把自己冻起来，你会设计一个什么样的方案，确保冷冻设备持续供电，并始终被置于适宜条件下？假设钱不是问题，比如你有100亿美元；当然，方案要以目前可得的技术和制度条件为基础。 @skywide: 当然是保存大脑完整了，肉体根本不是问题 @whigzhou: 未必，原题不是要把他的意识带到400年后，而是让他这个人生活在400年后，而仅仅带上大脑，人格是不完整的，构成人格/禀赋/性情的那些元素，并非全部存在于大脑之中 @whigzhou: 即便只是意识，影响其工作效果的元素，也并非全在大脑中 @whigzhou: 最简单的例子，睾酮水平高低，对你的意识工作效果就有很大影响 @whigzhou: 肾上腺素/内啡肽/血糖/视力/慢性胃痛/缺一条腿，都会让你拥有不同的心理状态，包括意识状态 @skywide: 不过，这种内分泌的不平衡状况不具有系统性，波动相对是随机的，如果偏离正常值的话就会产生疾病，这种异常状况应该撇开不谈。毕竟人格心理学的研究表明，智商高低与遗传相关性很高，工作效率的决定点还是神经触突的连结程度。 @whigzhou: 阈值具有系统性啊，视力和缺腿就更系统性啦 @whigzhou: 从6块腹肌变成大肚腩性情也会变啊 @skywide：回复@whigzhou: 不过阈值本身是由脑来决定的吧，内分泌的作用受阈值调节，但阈值一般和内分泌的分泌机制无关。视力和缺腿倒的确对体力劳动有重大影响，可以算进去。 @whigzhou: 嗯，许多阈值状态是在大脑里，不过我说的是在身体这边的，比如，运动可以释放内啡肽，但特定运动量的释放水平，是否与运动习惯有关？具体我不清楚，但肯定存在类似的关联 @whigzhou: 再比如，给你换上另一个甲状腺，新的“你”大概也颇有不同