人工智能会脱离控制、毁灭人类吗？
Jaan Tallinn在2007年的一篇网络文章《Staring into the Singularity》中看到了这段话。文中的“它”指的是人类文明。这篇文章的作者预测，随着人工智能的出现，人类将不复存在。
“人工智能”一词最早出现在1956年，也就是第一台电子数字计算机问世仅10年后。有关该领域的预言最初都豪情万丈，但到了20世纪70年代，当早期的预测都没有实现时，人工智能的冬天来临了。当Tallinn发现Yudkowsky的随笔时，人工智能正在经历一场复兴。
科学家们正在开发在特定领域表现出色——比如会下棋、清理厨房地板和识别人类语言——的人工智能。（此时距离AlphaGo大胜人类不到10年。）尽管下棋的人工智能不能扫地，也不能把你从一个地方带到另一个地方。但Tallinn相信，总有一天会出现一种超级的人工智能，它会是一个集许多功能为一体的多面手，它甚至还可能利用随身携带智能手机的人生成的数据，在社交方面表现出色。
人工智能会威胁人类吗？
生存风险——或者像Tallinn所说的X-risk——是对人类存在和延续的威胁。除了人工智能，CSER的20多位研究人员还研究气候变化、核战争和生物武器。但对Tallinn来说，其他学科主要是帮助合法化失控的人工智能的威胁。
他告诉我：“跟人工智能比起来，那些真的只是小巫见大巫。”对气候变化等更广泛接受的威胁的担忧，可能会吸引人们加入进来。他希望，超级人工智能机器统治世界的恐惧将说服他们留下来。他现在在这里参加一个会议，因为他希望大家能认真对待人工智能安全方面的话题。
每个人工智能都需要一个躯壳，老人表示，没有某种物理外壳，它怎么可能进行物理控制？Tallinn回答道：“把我关在有互联网连接的地下室里，我一样可以会造成很大的破坏。”
如何确保人工智能对人类的安全不造成威胁？
Tallinn警告说，任何确保人工智能安全的方法可能都不正确。他解释说，如果人工智能足够聪明，它可能会比它的创造者更好地理解约束和限制。想象一下，他说，“在一群5岁的盲童建造的监狱里醒来，对于一个由人类制定约束的超级人工智能来说，情况可能就是这样。”
最令研究人员兴奋的方法是，找到一种让人工智能坚持人类价值观的方法——不是通过编程，而是通过教人工智能学习价值观。在一个党派政治占主导地位的世界里，人们常常会放大我们的差异。但是，Tallinn指出，人类有很多共同点：“我们希望人工智能能够被教会识别这些不可改变的规则。”
人工智能需要意识吗？
Tallinn在剑桥的最后一晚，我和他以及两位研究人员一起在一家英国牛排馆共进晚餐。一个服务员把我们这群人安排在一个粉刷成白色的酒窖里，酒窖里有一种洞穴般的气氛。他递给我们一页菜单，上面有三种不同的土豆泥。一对夫妇在我们旁边的桌子旁坐下，几分钟后要求搬到别处去。“我感觉太幽闭了，有点恐怖，”这位女士抱怨道。我想起Tallinn的那些话，他说即使自己被锁在一个只有互联网连接的地下室里，同样可以造成破坏。