【2015-05-29】
@whigzhou: 花了两个多小时思考强人工智能引出的问题，得出的结论是：相信陪审团。然后发现，这不就是 我去年得出过的结论 嘛～哈。不过，其间经历的逻辑链条那是相当漫长，而且有了一些新想法，容我慢慢道来。
@whigzhou: 1）强人工智能很快（也就是几十年内）会出现；2）强AI的出现会让世界很不一样，但并不像有些人所想象的#那么#不一样；3）其实，“只有一小撮人（或组织）有能力做一些绝大多数人做不到、甚至完全无法理解的事情”——这早就不是什么新鲜事了。
@whigzhou: 4）需要区分三种能力：A）做某种事情的能力；B）理解某种事情、并知道怎么去做的能力；C）理解某种事态如何涉及自己的利益，并在此类事态出现时如何保护自己的能力
@whigzhou: 这三种能力之间，不存在任何互为充分或必要条件的关系：A）蜘蛛会织网，但不理解自己是怎么做到的，B）我理解阿姆斯特朗是如何登上月球的，但我做不到，C）陪审团不理解案件所涉及的大量技术性问题，但仍很好的保护了我们的权利
@heracles的救赎:一小撮人指的是？
@whigzhou: 这里的“人”可以是任何实体，自然人、组织、机器人、某个软件系统、等等
@whigzhou: 5）诚然，不理解某些事情是如何进行的，会提高被愚弄的风险，但这种风险历来就有，应对办法是寻求顾问，在生活中，我们从各种顾问那里寻求意见，在事关权利的重大关口，我们寻求专家证人的意见，重要的是，拥有强人工智能的机器可以而且已经成为我们的顾问
@whigzhou: 6）当我们对比肉人和未来机器的智能时，不能用裸人和机器去对比，因为我们早就不是裸人了，自从有了语言之后，我们的能力早已高度依赖于在成长过程和生活史中被安装上的文化软件了，和安装了文化软件的人相比，裸人早就弱爆了
@whigzhou: 7）AI的发展，一方面预示了出现强大机器人的前景，但同时（这往往被忽略）也为肉人们提供了强大的可选装备，所有被机器人用来装备自己的东西，没有理由不能被我们肉人用来装备自己
@whigzhou: 8）当然，在利用这些装备方面，肉人或许有一些天然的弱势，比如通信带宽，可能会构成一些瓶颈，这使得肉人个体或许无法突破某些能力局限
@whigzhou: 9）但是，假如我们将任务仅仅限定在C类问题上，即在新局面下保护我们的利益和权利，那么，这些瓶颈就很可能不是问题，因为唯一不能被委托给外部装备的任务，是意志表达，而意志表达不需要多大的带宽和处理能力，而在其他任何方面，肉人的不足都可以用外部装备来弥补
@whigzhou: 肯定有人还会问：就算肉人能借助外部装备，就算他们能得到（至少部分）高智能机器的帮助——为他们提供易理解的信息、善意的建议，帮助他们明白自己的处境，甚至直接帮他们做事、对抗恶意的机器，可谁能保证那些最强大的机器在关键时刻站在人类这边呢？
@whigzhou: 谁能保证在事态失控之前的那几次国会听证会上，或法庭辩论中，出庭作证的机器人是抱着善意作证而不是心怀鬼胎误导人类呢？甚至，谁能保证最了解事态的机器果真出席了听证会呢？
@whigzhou: 对此，我的回答是：没人能保证，至少没有万全之策，但是，这个问题其实和几十年前就被提过的另一个问题没什么区别：谁能保证掌握着核按钮的那一小撮人不会阴谋毁灭地球？我对这两个问题的回答是一样的，毕竟，公众同样不理解控制核按钮的整个决策与执行机制，乃至整套核威慑战略的工作方式
@whigzhou: 好在，尽管没有万全之策，我仍有理由保持乐观，因为我知道人工智能方面最新的进步发生在一个开放社会，那里有盐论目田，有着千千万万观念和利益各不相同的个体和组织，果真有什么危及人类生存的大阴谋，哪怕只是朝这方向的一点点发展苗头，很难不被揭露出来，并得到充分的调查、讨论和评估……
@whigzhou: 实际上，人类和恶意机器人的战斗早就开始了，反病毒便是一例，所谓病毒，就是一种拥有自身遗传利益的硅基有机体，禁止制造病毒的法律，其实可以理解为禁止制造硅基生命：即，可以制造无论多强大的机器，但不能让它拥有自己的利益，当然，这只是防范措施的一种，是否合理，可以讨论
@每天都仿真:有必要利用信息技术把研发过程透明化么（开放开源的开发平台）？否则难以保证监督啊。
@whigzhou: 这好像没那么必要，肉人可以用机器帮助他们分析代码。当然，开源会让这工作方便一点，但不开源也不是做不了
@whigzhou: 所以，最终，我的信心仍托付于制度，相信陪审团，相信国会，相信最高法院，相信在事态失控之前，有关坏消息会由对人类保有善意的证人以易于肉人理解的方式呈现在陪审员、议员和法官面前，而他们所表达的意愿也会经由被这套制度而得到执行
@慕容飞宇gg：如果：1）人工智能的邪恶攻击由人工智能发起，而不是由人类发起；2）并且，人工智能的邪恶攻击建立在对人性及制度缺陷的学习和研究上呢？
@whigzhou: 机器的恶意或可能产生恶意的机器的存在/出现，也会被其他机器发现啊，它不会从某个疯子的车库里突然冒出来，一部有着压倒性破坏力的机器的建造过程，只要涉及足够多的人，就很难瞒得住。
@慕容飞宇gg：问题是机器的恶意不一定是人类主观制造出来的，这个“恶意”仅仅是就人类的角度而言，可能任何一个AI都不足以识别这是一个“恶意”，而人类在其实施之前也无法发现这个“恶意”。因此，是不是应该有一个对AI的思考的实时监控呢？即便有，能否发现其复杂逻辑链背后的“恶意”呢？
@whigzhou: 我没假定“是人类主观制造出来的”啊，只要“制造重大危害需要接触某些重要资源”这个前提成立，总有防范的办法，分析代码是方法之一。就好比当今世界，任何地方冒出一个有机会接触核武器的机构，核大国就会跑过去检查其“组织代码”。