@whigzhou: 《危险、担忧与公共政策》 某类危险的死亡几率越高，就越“值得担心”，也越值得在公共政策上得到优先处理？

@whigzhou: Pinker式乐观主义就是出于类似的无知，仅以死亡率/谋杀率之类简单数字衡量公共安全，忽略了安全问题的很多重要方面，举个简单例子：A/B两个城市谋杀率同为千分之五，A的谋杀案均匀分布于全市，B的全部集中于其第9区，两市市民对公共安全的感觉完全不同，而且这种不同十分合理。

@whigzhou: 再极端一点，假如B市的谋杀案全部属于黑帮火拼，那么该市良民就会（十分合理的）觉得这个城市非常安全

@whigzhou: 这就是为什么面向非特定人群的恐怖攻击，尽管造成的伤亡对社会总他杀率的贡献率很低，但仍足以引起恐慌，并值得被当作重大安全问题对待，的理由所在

@whigzhou: 花了两个多小时思考强人工智能引出的问题，得出的结论是：相信陪审团。然后发现，这不就是我去年得出过的结论嘛～哈。不过，其间经历的逻辑链条那是相当漫长，而且有了一些新想法，容我慢慢道来。

@whigzhou: 1）强人工智能很快（也就是几十年内）会出现；2）强AI的出现会让世界很不一样，但并不像有些人所想象的#那么#不一样；3）其实，“只有一小撮人（或组织）有能力做一些绝大多数人做不到、甚至完全无法理解的事情”——这早就不是什么新鲜事了。

@whigzhou: 4）需要区分三种能力：A）做某种事情的能力；B）理解某种事情、并知道怎么去做的能力；C）理解某种事态如何涉及自己的利益，并在此类事态出现时如何保护自己的能力

@whigzhou: 这三种能力之间，不存在任何互为充分或必要条件的关系：A）蜘蛛会织网，但不理解自己是怎么做到的，B）我理解阿姆斯特朗是如何登上月球的，但我做不到，C）陪审团不理解案件所涉及的大量技术性问题，但仍很好的保护了我们的权利

@heracles的救赎:一小撮人指的是？

@whigzhou: 这里的“人”可以是任何实体，自然人、组织、机器人、某个软件系统、等等

@whigzhou: 5）诚然，不理解某些事情是如何进行的，会提高被愚弄的风险，但这种风险历来就有，应对办法是寻求顾问，在生活中，我们从各种顾问那里寻求意见，在事关权利的重大关口，我们寻求专家证人的意见，重要的是，拥有强人工智能的机器可以而且已经成为我们的顾问

@whigzhou: 6）当我们对比肉人和未来机器的智能时，不能用裸人和机器去对比，因为我们早就不是裸人了，自从有了语言之后，我们的能力早已高度依赖于在成长过程和生活史中被安装上的文化软件了，和安装了文化软件的人相比，裸人早就弱爆了

@whigzhou: 7）AI的发展，一方面预示了出现强大机器人的前景，但同时（这往往被忽略）也为肉人们提供了强大的可选装备，所有被机器人用来装备自己的东西，没有理由不能被我们肉人用来装备自己

@whigzhou: 8）当然，在利用这些装备方面，肉人或许有一些天然的弱势，比如通信带宽，可能会构成一些瓶颈，这使得肉人个体或许无法突破某些能力局限

@whigzhou: 9）但是，假如我们将任务仅仅限定在C类问题上，即在新局面下保护我们的利益和权利，那么，这些瓶颈就很可能不是问题，因为唯一不能被委托给外部装备的任务，是意志表达，而意志表达不需要多大的带宽和处理能力，而在其他任何方面，肉人的不足都可以用外部装备来弥补

@whigzhou: 肯定有人还会问：就算肉人能借助外部装备，就算他们能得到（至少部分）高智能机器的帮助——为他们提供易理解的信息、善意的建议，帮助他们明白自己的处境，甚至直接帮他们做事、对抗恶意的机器，可谁能保证那些最强大的机器在关键时刻站在人类这边呢？

@whigzhou: 谁能保证在事态失控之前的那几次国会听证会上，或法庭辩论中，出庭作证的机器人是抱着善意作证而不是心怀鬼胎误导人类呢？甚至，谁能保证最了解事态的机器果真出席了听证会呢？

@whigzhou: 对此，我的回答是：没人能保证，至少没有万全之策，但是，这个问题其实和几十年前就被提过的另一个问题没什么区别：谁能保证掌握着核按钮的那一小撮人不会阴谋毁灭地球？我对这两个问题的回答是一样的，毕竟，公众同样不理解控制核按钮的整个决策与执行机制，乃至整套核威慑战略的工作方式

@whigzhou: 好在，尽管没有万全之策，我仍有理由保持乐观，因为我知道人工智能方面最新的进步发生在一个开放社会，那里有盐论目田，有着千千万万观念和利益各不相同的个体和组织，果真有什么危及人类生存的大阴谋，哪怕只是朝这方向的一点点发展苗头，很难不被揭露出来，并得到充分的调查、讨论和评估……

@whigzhou: 实际上，人类和恶意机器人的战斗早就开始了，反病毒便是一例，所谓病毒，就是一种拥有自身遗传利益的硅基有机体，禁止制造病毒的法律，其实可以理解为禁止制造硅基生命：即，可以制造无论多强大的机器，但不能让它拥有自己的利益，当然，这只是防范措施的一种，是否合理，可以讨论

@每天都仿真:有必要利用信息技术把研发过程透明化么（开放开源的开发平台）？否则难以保证监督啊。

@whigzhou: 这好像没那么必要，肉人可以用机器帮助他们分析代码。当然，开源会让这工作方便一点，但不开源也不是做不了

@whigzhou: 所以，最终，我的信心仍托付于制度，相信陪审团，相信国会，相信最高法院，相信在事态失控之前，有关坏消息会由对人类保有善意的证人以易于肉人理解的方式呈现在陪审员、议员和法官面前，而他们所表达的意愿也会经由被这套制度而得到执行

@慕容飞宇gg：如果：1）人工智能的邪恶攻击由人工智能发起，而不是由人类发起；2）并且，人工智能的邪恶攻击建立在对人性及制度缺陷的学习和研究上呢？

@whigzhou: 机器的恶意或可能产生恶意的机器的存在/出现，也会被其他机器发现啊，它不会从某个疯子的车库里突然冒出来，一部有着压倒性破坏力的机器的建造过程，只要涉及足够多的人，就很难瞒得住。

@慕容飞宇gg：问题是机器的恶意不一定是人类主观制造出来的，这个“恶意”仅仅是就人类的角度而言，可能任何一个AI都不足以识别这是一个“恶意”，而人类在其实施之前也无法发现这个“恶意”。因此，是不是应该有一个对AI的思考的实时监控呢？即便有，能否发现其复杂逻辑链背后的“恶意”呢？

@whigzhou: 我没假定“是人类主观制造出来的”啊，只要“制造重大危害需要接触某些重要资源”这个前提成立，总有防范的办法，分析代码是方法之一。就好比当今世界，任何地方冒出一个有机会接触核武器的机构，核大国就会跑过去检查其“组织代码”。

本月中旬，山东枣庄在六天内连续发生了七起灰狼伤人事件，其中一次造成一位妇女死亡，一个上学途中的孩子重伤；幸好，伤人的那头狼在经过警方的艰难追捕后最终被击毙；期间，当地警方显然提高了防狼警惕，并因此而围捕了几只流浪在外的、外观与狼较为相似的家犬，捕捉过程也不可避免的对它们造成了一些伤害。

奇怪的是，此后媒体的采访报道和网友们的评论，焦点都迅速聚集到了对警方为何不能正确辨认灰狼和哈士奇的质疑之上，有人在讨论或传授辨别灰狼和哈士奇的方法，更多的人则质疑警方是否有权以公共安全为由，在难以辨认的情况下伤害甚至击毙“疑似灰狼”，也有人对警方迟迟不肯承认错捕误杀表达不满，认为这是“放不下架子”。

可与此同时，我却看不到任何一家媒体，或任何一位“公共知识分子”，正在关切、调查和追问：那位被咬伤的孩子怎么样了？那位不幸丧生狼口的妇女的家人邻居现在感受如何？当地居民中是否仍弥漫着对灰狼的恐惧？那头狼到底是怎么出现在居民区的？是从养殖场逃逸的吗？是否加强了防范？是从远处山林偶然游荡而来？它所来自的那个种群是否膨胀了？这样的游荡是否会越来越频繁？甚至已在本地形成了野生种群？此类新种群的出现对居民构成了何种风险？如何防范？遭遇灰狼时应如何自保？——没有，完全看不到。

这真是咄咄怪事。当然，作为个人，选择关注哪个问题，都是无可厚非的，你大可以认为自己的宠物比别人的生命更重要，甚至比自己的生命还重要，可是，假如整个社会在这样一个热门事件中，居然没有人关注生活在狼出没地区的人的安全，同时却有很多人在关心如何避免误伤流浪哈士奇，那我就想问问：这是怎么啦？难道这个社会的伦理氛围，已经被新近才蔓延到此的动物保护主义改造成了这副模样？

爱护动物的理念是值得赞赏的，这一赞赏乃基于这样一个假设：你在面对动物时都能表现的如此富有同情心，叫我怎么能怀疑你在对待旁人时会残忍无情呢？可是，假如你要把动物福利的优先级放到人的前面，那么上面的前提就不成立了，我非但要收回我的赞赏，还要提高对你的警惕，离你远一点，你的价值观让我感觉毛骨悚然。

不光要离你远一点，我还要尽我所能的阻止你的价值观成为主流，让我生活于其中的、我的安全和福祉端赖于它的伦理和法律体系免受它的影响，并且我也相信，尽管有了上面的咄咄怪事，我仍可找到足够多的同类来拒绝你的价值观，一旦他们看清你们这种动物保护主义背后并没有通常以为的那种对人的同情心，更没有将人视为至高无上的神圣原则，他们是会和我一样撤回赞许的。

当一个人口密集的居民区频频有野狼出没，并且造成了严重伤害时，警方当然应该尽力捕杀，此时人的安全是第一位的；当地警察此前很少有机会遇见灰狼，而哈士奇与灰狼确实颇为相似，在已经抓到之后，从容而细致的观察下或许容易区分，但追捕过程中的视觉条件和时机要求都不容许从容而细致的观察，当场击毙或采用伤害性手段抓捕，都是无可厚非的。

更何况，让家养大型犬逃逸到野外，且没有为其佩戴项圈等显著标识，本身就是主人的过错，即便警方明知是家犬，出于公共安全的考虑而加以捕杀，也很难说是错的，因为他们无从判断这些流浪犬是否患有狂犬病或其他恶性传染病，是否富有攻击性因而对居民构成威胁，逐个甄别的费用太高而无力承担，纳税人或许不愿意付这笔钱，而他们又提出了很高的公共安全要求，这时警方便别无选择。