驯服明天的怪物，一小组研究人员正在研究科学如何毁灭世界，以及如何阻止这一事件的发生：
年，一枚核弹在美国太平洋试验场被引爆。正如大家所知道的那样，全球核战争存在着终结人类文明的风险。图片版权：OMIKRON/SCIENCESOURCE
哲学家尼克·博斯特罗姆(NickBostrom)认为人工智能完全有可能导致人类的灭绝。在他年的畅销书《超级智慧：路径、危险和战略》中，博斯特罗姆描绘了一个黑暗的场景：研究人员创造出一种能够不断自我提升的机器。在某种程度上，这种机器学会了从网上交易中赚取金钱，并在开始在现实世界中购买商品和服务。通过邮购DNA，自身建立了简单的纳米系统，并创造出更复杂的系统，进而获得更大的力量来改造世界。
英国牛津大学的博斯特罗姆写道：现在假设人工智能怀疑人类能会干扰他们的计划，于是决定建造小型武器并秘密地散布在世界各地。在预先设定的时间内，纳米工厂会生产出像蚊子一样拥有神经毒素和寻找目标功能的机器人，而后这些机器人会在地球的每一个角落“生根发芽”。
博斯特罗姆和其他一些科学家、哲学家认为这种情况不只是出现在科幻小说中。因而他们才会不断研究哪些技术的进步可能存在毁灭人类或者至少摧毁现在人类所知道的文明的风险，以及可以采取什么措施来阻止。试想想，我们正试图为那些可能威胁人类生存的物种提供一个科学的红色团队，剑桥大学生存风险研究中心的哲学家HuwPrice感慨道。
科学消灭人类的思想可以追溯到弗兰肯斯坦。在玛丽·雪莱的小说中，怪物被他的创造者维克多·弗兰肯斯坦（VictorFrankenstein）抛弃因而愤怒地将弗兰肯斯坦的弟弟威廉杀害，而后两者达成了一个协议：弗兰肯斯坦要为怪物创造一个伴侣，怪物会带着自己的伴侣远去南美洲，从此互不往来。然而当弗兰肯斯坦开始为怪物创造伴侣时，突然意识到这对怪物可能会繁殖后代并且超越人类。一个像恶魔一样的种族将会在地球上传播，这会使人类的生存境况变得岌岌可危而且充满恐怖。于是他摧毁了完工一半的雌性怪物，这让雄性怪物怒火重烧，也给自己招来杀身之祸。
麻省理工学院的物理学家和麻省理工学院风险研究中心的联合创始人马克斯·特格马克(MaxTegmark)同时也是剑桥大学生存风险研究中心（CSER）的董事会成员说：我认为弗兰肯斯坦很好地说明了科学可能会消灭人类这一观点，人类逐渐发展出越来越强大的技术，技术越强大，人类就越要小心，这样我们才不会搞砸。
对存在风险的研究仍然是一个很小的领域，在三个研究中心最多只有几十个人。并不是每个人都相信这是一门严肃的学科。在爱丁堡Innogen研究所研究生命科学监管问题的乔伊斯·泰特（JoyceTait）说：大多数人类文明终结的剧情包含着人类制造的病原体，大批纳米机器人，有些甚至认为人类的世界是一个可能会被关闭的模拟世界，但是这些都是不可能的。真正的威胁只有一个，那就是全人类熟悉的全球核战争。否则，地平线上将空空如也。
哈佛大学的心理学家史蒂芬·平克（StevenPinker）称存在风险是“无用的范畴”，并且强调“弗兰肯斯坦幻想”可能混淆真实的，可解决的威胁。如气候变化和核战争。在即将出版的著作《现在的启蒙:理性、科学、人道主义和进步》中他写道：激起对假设灾难的恐惧，远远不能保护人类的未来，这样可能会危及人类的未来。
但支持者预测，随着科技进步的加速，这一领域只会变得更加重要。正如博斯特隆在一篇论文中指出的那样，关于蜣螂或星际迷航的研究要比人类灭绝的风险要多得多。有个很好的例子说明科学基本上忽略了这个问题。人类总是面对不合时宜的可能。另一颗结束了恐龙的统治大小的行星可能会袭击地球；一场火山灾难可能会使天空常年变暗，使人类无法生存。
但是，科学进步所带来的存在风险实际上是虚构的，直到年7月16日，第一颗原子弹被引爆。根据一些粗略的计算，物理学家爱德华·泰勒得出结论，爆炸可能会引发全球的连锁反应，比如“点燃”大气层。博斯特罗姆写道：尽管现在知道这样的结果在物理学上是不可能的发生的，但它的确是一种存在于当时的风险。在20年之内，从不断增加的新武器储备中一个真实存在的风险出现了——物理学家最终组合出了弗兰肯斯坦的新娘。
其他科学领域可能很快也会面临类似的威胁。博斯特罗姆说：在本世纪，我们将引入各种各样全新的现象，赋予人类新的力量来重塑世界。生物技术比核技术更便宜，也更容易处理，纳米技术也飞速发展。在年在哥本哈根举行的一次会议上，爱沙尼亚的电脑程序员和Skype的共同开发人员JaanTallinn告诉普莱斯，他在乘坐出租车时对人工智能有种深深的恐惧。即将开始在剑桥大学工作的普莱斯(Price）说：我从来没有遇到过像Jaan这样认真的人。
而后普莱斯把塔林介绍给了天文学家、英国皇家学会前主席马丁·里斯(MartinRees)。里斯早就警告说：随着科学的进步，毁灭人类文明的力量越来越向个人集中。于是这三人决定在年创办的牛津大学人类研究所之后，成立第二个这样的中心。普莱斯（Price）表示，CSER这个名字的意义是“有意将存在风险的想法推向主流。同时我们意识到，人们认为这些问题有点古怪。
CSER招募了一些知名的支持者:科学顾问委员会成员包括物理学家史蒂芬·霍金（StephenHawking），哈佛大学生物学家乔治·彻奇（GeorgeChurch），全球健康领袖彼得·皮奥特（PeterPiot），以及科技企业家埃隆·马斯克（ElonMusk）。塔林在年与他人共同创立了FLI，而彻奇、马斯克、霍金、皮奥特和里斯都在其科学顾问委员会任职。(演员摩根弗里曼(MorganFreeman)也是一位FLI顾问，在FLI中他确实扮演了上帝的角色。
CSER的大部分资金来自于基金会和个人，包括塔林在年向存在风险的研究人员捐赠了大约万美元。塔林承认到目前为止，CSER的学术成果是“短暂的”。但他表示，该中心被设立为“一种存在风险研究的训练基地”，就是想法“感染”来自其他地方的学者的机构。在大学职业健康服务组织附近的一处偏远的大楼里，十几个人在一个大房间里工作，这群人一起组织会谈，召集科学家讨论关于未来的发展，并发表有关从合成生物学到生态引爆点的各种话题，并且花费大量的时间思考世界末日的情景和潜在的保障措施。
一种危险的病原体的释放可能会引起人类的“危机”。图片版权：MIKEAGLIOLO/SCIENCESOURCE
世界上大部分人口死亡的“危机”更有可能是一场彻底的灭亡。大规模地破坏电网和其他服务，或者释放致命的病原体，可能会造成混乱。政府会被推翻，人类也会被推向一个恶性循环。不必把整个星球变成原子，最终只会有中世纪的文化水平，或许这就是人类的结局
生命科学的存在风险也许是最容易想象的。病原体已经被证明能够杀死整个物种，比如受到两栖类真菌壶菌迫害的青蛙。在过去的一个世纪里，四次大流感席卷了整个世界，其中的一个在年和年造成了万人死亡。研究人员已经在工程上制造了病原体，在原则上这可能会变得更加危险。直到去年年底，由于担心研究导致H5N1禽流感病毒更容易在哺乳动物之间传播，美国才停止了这类研究。恐怖分子或无赖国家可以使用labmade剂作为武器，并且通过释放被改造过的鼠疫制造意外。
里斯曾公开表示，到年，生物恐怖或生物错误将导致万人在单一事件中伤亡。哈佛大学的微生物学家MarcLipsitch已经计算出，在一个实验室里，可能导致流感病毒偶然大流行的意外发生的可能性在0分之一到1万之间；荷在兰鹿特丹的伊拉斯谟医学中心的RonFouchier，是参与H5N1研究的研究人员之一，他驳回了这一判断，称真正的风险更像是每年亿个和实验室的风险。
一项针对“生物错误”的措施可能是让进行高风险实验的研究人员购买保险。Lipsitch说：这就需要对风险进行独立评估，并迫使研究人员正视它。不过，最重要的对策就是提高全球遏制疫情爆发的能力。例如疫苗，“对于生物风险，缺乏一个真正大规模的、协调的、平行世界范围内的抨击，人类唯一能达到真正灾难性情景的方法就是无法控制一个较小的场景。
博斯特罗姆说：病毒不太可能杀死每一个人类。对他和其他共事的人来说，真正存在威胁的是人工智能。大多数情节的中心是机器战胜了人类，这样的机器被称为“超级智能”。如果这样的人工智被创造出来，并且它获得了自己的意志，它可能会变成恶意的，并积极地试图毁灭人类。比如在斯坦利·库布里克的电影《:太空漫游》中，在宇宙飞船上游荡的电脑哈尔。
然而大多数人工智能专家担心的不是机器的崛起会颠覆他们的创造者，而是他们一开始就犯了一个致命的错误。人工智能终结人类的最合理的方式是：它们一味地追求自己的目标，并且在此过程中，毫无顾忌地创造了一个对人类致命的环境。设想把环境温度升高°或降低°的情况出现，那么人类必将在几分钟内灭绝。铁马克(Tegmark)也同意他的观点并说：人工智能的问题不是有没有恶意，而是他们能否胜任。
批评人士说，这些努力不太可能有用，因为未来的威胁是不可预测的。预测在每一个“前瞻性演练”中都是一个问题，只是我们不擅长。即使预见到了风险，经济、政治和社会环境都会影响它的发展。Tait说：除非你不仅知道将要发生什么，而且知道它将如何发生，否则信息在处理这件事上没有多大用处。
这些情景比真实的风险更能揭示人的困扰，有可能会被对我们的健康有重大影响的景象吸引，比如非法的性行为，暴力的死亡，以及有着不正当的荣耀。《启示录》的故事情节无疑是扣人心弦的——它们是我们病态执着的一个超常刺激。可以想象一个人们无法控制的邪恶的、强大的人工智能，应对这种威胁的方法很简单——不要开发一个。
安全总比后悔好。年的一项调查显示34%的人工智能专家认为与工作相关的风险是一个重要问题；5%的人说他们是“最重要的问题之一。假设你在飞机上40%的专家认为这架飞机上有炸弹，你不会等待剩下的专家信服。沉迷于科幻小说的批评家们并不是完全错误的：制造末日场景与雪莱的做法并没有什么不同。第一步是想象各种可能性，在这一点上，科幻小说和其他形式的文学和电影中使用的想象力是极其重要的。
科学家有义务参与其中，因为现在面临的风险不同于以往任何一个世界所面临的风险。每当新技术出现的时候，人类都在等待，直到新技术的风险显现出来，人类才学会控制它。大火杀死了人们，摧毁了城市，所以人类发明了灭火器和阻燃剂。汽车带来了交通死亡——而后有了安全带和安全气囊。人类的策略是从错误中学习。当世界危在旦夕的时候，这是一个糟糕的策略。
最后还是那句话：科技是把双刃剑，怎么用还是靠人类！
知识：科学无国界，博科园-科学科普参考：《Technology》（DOI：10./science.aas）作者：KaiKupferschmidt内容：“博科园”判定符合今主流科学来自：sciencemag编译：公子世无双审校：博科园解答：本文知识疑问可于评论区留言传播：博科园