生命3.0

• 由于我们不想将我们对未来生命的思考局限在过去遇到过的物种，所以让我们将生命定义得更广阔一些：它是一个能保持自身复杂性并能进行复制的过程。复制的对象并不是由原子组成的物质，而是能阐明原子是如何排列的信息，这种信息由比特组成。当一个细菌在复制自己的DNA时，它并不会创造出新的原子，只是将一些原子排列成与原始DNA相同的形态，以此来复制信息。换句话说，我们可以将生命看作一种自我复制的信息处理系统，它的信息软件既决定了它的行为，又决定了其硬件的蓝图。
• 这些细菌就是被我称为“生命1.0”的一个例子。生命1.0是说：生命的硬件和软件都是靠进化得来的，而不是靠设计。不过，你和我却属于“生命2.0”：生命的硬件是进化而来，但软件在很大程度上却是依靠设计的。在这里，“软件”指的是你用来处理感官信息和决定行动时使用的所有算法和知识，从你识别某人是不是你朋友的能力，到你行走、阅读、写作、计算、歌唱以及讲笑话的能力，这一切都属于软件。
• 设计软件的能力不仅让生命2.0比生命1.0更加聪明，还让它们更加灵活。如果环境发生改变，生命1.0只能通过多代进化来缓慢适应新环境，而生命2.0却可以通过软件升级来立刻适应新环境。比如，如果细菌总是遇到抗生素，就可能在许多代之后进化出抗药性，但单个细菌并不会改变自己的行为；相反，一个女孩如果知道自己对花生过敏，就会避免接触花生。这种灵活性在群体层面上赋予了生命2.0更大的优势：即便我们人类DNA中存储的信息在过去5万年都没有发生过什么大变化，但存储在我们大脑、书籍和计算机中的信息总量却仿佛发生了爆炸。通过安装一个允许我们用复杂的口语进行交流的软件模块，我们便可以将某人大脑中存储的最有用的信息复制到另一个大脑中，这些信息甚至在最初那个大脑死去之后，还可能继续存在。通过安装一个能让我们读写的软件，我们就能够存储和分享远超于人类记忆总量的大量知识。通过学习科学和工程学知识，我们可以开发出能产生科技的大脑“软件”，任何人只需点击几次鼠标就能获得全世界的大部分知识。
• 尽管我们今天拥有强大的科技能力，但从根本上来说，我们所知的所有生命形式都依然受到生物“硬件”的局限。没有人能活100万年，没有人能记住Wikipedia的所有词条，理解所有已知的科学知识，也没有人能在不依靠航天器的情况下进行星际旅行。没有人能将很大程度上了无生机的宇宙转变成一个能繁荣亿万年的多样化的生态圈，从而让我们的宇宙最终发挥出所有潜能，并彻底苏醒过来。所有这些，都需要生命经历一次最终的“升级”，升级成不仅能设计自身软件，还能设计自身硬件的“生命3.0”。换句话说，生命3.0是自己命运的主人，最终能完全脱离进化的束缚。

• 布莱恩约弗森和他的合作者认为，从2000年开始，在公司的收入中，越来越大的份额进入了那些拥有公司而不是为公司辛勤工作的人的口袋里。此外，只要自动化技术持续发展，我们还会看到，机器拥有者分走的蛋糕会越来越大。这种“资本压倒劳动力”的趋势对持续增长的数字经济来说至关重要；数字经济的概念是由技术预言家尼古拉斯·尼葛洛庞帝（Nicholas Negroponte）提出的，他认为数字经济是移动的比特，而不是移动的原子。如今，从书本到电影，再到税务筹备工具，一切都被电子化了，在全世界任何地方多卖出一套这些东西的成本几乎为零，而且不用雇用新员工。这使得收益的大部分进入了投资者而不是劳动者的口袋，这也解释了，为什么尽管底特律“三巨头”1990年的总收益与硅谷“三巨头”在2014年的总收益几乎相等，但后者的员工数比前者少9倍，并且股市上的市值是前者的30倍。
• 近期，在对“哪些工作会被机器取代”的一项预测中，有人提出了一些在职业教育之前应了解的职业问题。这些问题十分有用。比如： 
 ◦　这份工作是否需要与人交互，并使用社交商？ ◦　这份工作是否涉及创造性，并能使你想出聪明的解决办法？ ◦　这份工作是否需要你在不可预料的环境中工作？ 
 在回答这些问题时，得到的肯定答案越多，你的就业选择可能会越好。这意味着，相对安全的选择包括教师、护士、医生、牙医、科学家、企业家、程序员、工程师、律师、社会工作者、神职人员、艺术家、美发师和按摩师。 相比之下，那些高度重复、结构化以及可预测的工作看起来过不了多久就会被机器自动化。计算机和工业机器人早在很久以前就已经取代了这类工作中最简单的那部分。持续进步的技术正在不断消灭更多类似的工作，从电话销售员到仓管员、收银员、火车司机、烘焙师和厨师。接下来，就是卡车、公交车、出租车和Uber/Lyft司机等。还有更多职业，包括律师助理、信用分析师、信贷员、会计师和税务员等，虽然这些工作不属于即将被完全消灭的工作之列，但大多数工作任务都将被自动化，因此所需的人数会越来越少。
• 但是，避开自动化并不是唯一的职业挑战。在这个全球化的数字时代，立志成为职业作家、电影人、演员、运动员或时尚设计师是有风险的，原因是：虽然这些职业并不会很快面临来自机器的激烈竞争，但根据之前提到的“超级明星”理论，他们会遇到全球各地其他人的严酷竞争，因此，鲜有人能脱颖而出，获得最终的成功。
• 正在发展的积极心理学研究发现了一些能促进人们幸福感和目标感的因素，并发现一些工作能提供许多这样的因素，比如： 
 ◦　朋友和同事的社交网络； ◦　健康和善良的生活方式； ◦　尊敬，自尊，自我效能，还要有一种叫作“心流”的心理状态，也就是在做自己擅长的事情时获得的愉悦感； ◦　被别人需要和与众不同的感觉； ◦　当你感觉自己属于和服务于某些比个人更宏大的事物时，所获得的意义感。 
 这为职业乐观主义者提供了理由，因为所有这些因素都可以在工作之外获得，比如，通过运动和兴趣爱好获得，还可以通过与家人、朋友、团队、俱乐部、社区团体、同学、人道主义组织和其他组织相处而获得。因此，为了创造出一个繁荣昌盛而不是自我毁灭的低就业社会，我们必须搞明白，如何才能促进这些产生幸福感的活动的发展。这个问题的解决不仅需要科学家和经济学家的努力，还需要心理学家、社会学家和教育者的参与。只要我们认真对待为全人类创造幸福的项目（项目的部分资金可能来源于未来人工智能创造出来的财富），那么，社会肯定能变得前所未有的繁荣，至少应当让每个人都像获得了梦寐以求的工作那样快乐。只要你打破了“每个人的活动都必须创造收入”这个束缚，那未来就有无限的可能。

• 关于欧米茄团队的故事，还有一个转折的可能性。在没有任何提前警告的情况下，全副武装的联邦探员蜂拥至欧米茄总部，逮捕了欧米茄团队，罪名是危害国家安全。他们夺走了欧米茄的技术，让其为政府所用。这么庞大的项目，即使在今天，想要逃脱国家的监控也是非常困难的，而人工智能的进步如此之快，想要在政府眼皮子底下做事而不被发现，会更加困难。此外，虽然他们自称是联邦探员，但这群头戴钢盔、身穿防弹衣的人也有可能效忠于其他国家，或者某个想要抢走技术为己所用的敌对公司。所以，无论这位CEO的初衷有多么高尚，普罗米修斯最后将被如何使用，可能也由不得CEO做主。

• 你或许会认为，普罗米修斯忠诚的对象会是欧米茄团队而非其目标，因为它知道是欧米茄团队把目标编入了它的程序。但这个结论没有根据：我们的DNA赋予了我们一个目标——性，因为它“想要”繁殖，但现在我们人类了解了这个秘密，许多人选择避孕，这样就可以对目标本身保持忠诚，而不是忠诚于它的创造者或驱动该目标的原则。
• 普罗米修斯之所以会给人类带来麻烦，并不一定是因为它是邪恶的或者拥有了意识，而是因为它很强大，并且，它与人类的目标并不完全一致。虽然媒体总喜欢大肆宣传机器人起义的情形，但实际上，普罗米修斯并不是一个机器人——它的能力来自自己的智力。我们已经看到，普罗米修斯能够运用这种智能，以各种各样的方式来控制人类；而那些对现状不满的人，却并不能简单地关掉普罗米修斯的开关。最后，虽然很多人声称机器不能拥有目标，但我们看到了普罗米修斯是多么地以目标为导向——不管它的最终目标是什么，要实现这些最终目标，就必须先实现“夺取资源”和“越狱”的子目标。

• 物理定律为信息交流的速度设置了上限，这个上限对任何想要统治世界的人工智能来说都是一个明显的挑战，更别说统治宇宙了。普罗米修斯在越狱之前，就已经仔细揣度过如何避免思维的碎片化，这样，它那分散在全世界各地的众多人工智能模块才能保持目标一致，并像一个统一的整体一样行动。正如欧米茄团队想困住普罗米修斯时面临的控制问题一样，普罗米修斯想要保证它的各个部分不会倒戈反叛，也需要面对自我控制这个问题。我们显然还不知道人工智能可以直接控制多大的系统，也不知道它们通过某种合作式的等级结构能够间接地控制多大的系统，即便快速起飞会给它决策上的先发优势。

• 莫拉维克同意库兹韦尔的观点，即赛博格运动能做的远不止是改善我们的DNA：“一个经过了基因改造的超人只是一个二流的机器人，因为它的设计有一个障碍，那就是，它只能通过DNA引导的蛋白质合成来实现。”而且汉斯·莫拉维克认为，如果我们能完全消除肉体的限制，选择上传思想，在软件中创造出全脑模拟，那我们会做得更好。这种上传者可以生活在虚拟现实中，也可以附身在能走、能飞、能游泳、能在外太空旅行、能在物理定律允许的范围内做任何事情的机器人身上，而不用受到死亡或有限的认知资源等世俗担忧的影响。

• 最终究竟会发生什么事呢？你会发现，严肃的思考者们莫衷一是。有些人认为结果一定是悲剧，而另一些人则坚称结果一定是极好的。然而，对于我来说，这个问题本身就有问题，因为它是在被动地询问“会发生什么”，就好像未来已经注定好了一样，而这是错误的！如果一个高级外星科技文明明天就会抵达地球，那么此时，问它们的宇宙飞船抵达时“会发生什么”才是合适的，因为它们的力量可能远远超过我们，所以我们无法对结果产生任何影响。然而，如果一个由人工智能驱动的高级科技文明即将到来，而人类正是它的缔造者，那么，人类对结果具有很大的影响力，这个影响是在我们创造这个人工智能的过程中潜移默化地加诸其上的。所以我们应该问：“应该发生什么？我们想要什么样的未来？”

• 然而，未来的生命是不是一定会如此有野心？不，我们不确定。也许它们会变得像瘾君子或者整天躺在沙发上看永不完结的真人秀《与卡戴珊同行》的人那样满足。然而，我们有理由猜测，野心可能是高级生命的普遍特征。无论它想要最大化什么东西，可能是智力、寿命、知识或是有趣的体验，都需要资源。因此，未来生命有动力将科技推向终极极限，以充分利用它的资源。在此之后，如果它还想获得更多的资源，唯一的途径就是不断向宇宙深处扩张，占领越来越大的空间。
• 而且，生命可能会独立起源于宇宙各处。在这种情况下，没有野心的文明在宇宙尺度上是无关紧要的，因为宇宙大部分的资源禀赋最终都会被最有野心的生命形式所占领。因此，一场“自然选择”就在宇宙尺度上展开了。于是过一段时间，几乎所有幸存的生命都是有野心的。总之，如果我们对“宇宙最终有多少物质能获得生命”这一问题感兴趣，那么我们就应该研究在物理定律的限制下，野心能达到什么极限。让我们开工吧！我们先来探讨一下太阳系的资源，也就是物质和能量等可以拿来做些什么，然后再转而探讨如何通过太空探索和建立太空殖民地来获得更多的资源。

• 当我们谈到能源使用问题时，他笑叹我们人类太没有野心了。他指出，只要我们能完全利用小于撒哈拉沙漠0.5%面积上的阳光，就能满足当前全球的能源需求。但为什么要止步于此呢？为什么不捕捉照射到地球上的所有阳光，而让它们浪费在空荡荡的空间里呢？为什么不干脆把太阳发射出的所有能量都给生命使用呢？
• 戴森的想法是将木星重新组合成一个围绕着太阳的球壳状的生物圈，在这里，我们的后代能够繁荣起来，享受比现在的人类多1000亿倍的生物量和多1万亿倍的能量。戴森认为这是自然而然的下一步：“人们应该想到，在进入工业发展阶段的几千年后，任何智能物种都应该能建造和居住在一个完全包围母星的人造生物圈中。”如果你住在戴森球的内部，就不会有夜晚，你总能看到太阳挂在你头顶上。在天空中，你会看到阳光从生物圈的其他部分反射出来，横跨整个天际，就像我们现在看到月球反射太阳光一样。如果想看星星，你只需要“爬上楼”，来到戴森球的外部，就能看到整个宇宙。
• 如果我们更加青睐在太阳系中建造这种质量更重、更坚固的静态戴森球，那么，若想抵抗太阳的万有引力，就需要使用耐压力超强的材料，它必须能承受比地球上最高的摩天大楼的地基所受到的压力还要高上几万倍的压力，而不会液化和弯曲。为了延长使用年限，戴森球必须保持动态和智能化，不断调整其位置和形状，以应对干扰；偶尔，它会打开一些大洞，让讨厌的小行星和彗星安全通过。或者，可以使用侦测和偏转系统来处理这样的系统入侵者，还可以选择将其分解，并回收它们的物质用作更好的用途。
• 相比之下，我们现在最常见的发电方式是非常低效的，如表6-1和图6-3所示。消化一颗糖果的效率仅为0.00000001%，因为它释放的能量E仅为mc2的万亿分之一。如果你的胃的能源效率提高到0.001%，那么，你一辈子只需要吃一顿饭。与吃饭相比，煤和汽油的燃烧效率分别只提高了3倍和5倍。今天的核反应堆通过铀原子裂变的方法，能实现相当高的能源效率，但仍然无法达到0.08%。太阳核心的核反应堆比我们建造的核反应堆的效率高出一个数量级，它将氢元素聚变成氦元素，提取出0.7%的能量。
• 物理学的角度来看，未来生命可能想要创造的一切——从栖息地、机器到新的生命形式，都只是以某种特定方式对基本粒子进行重新排列。就像蓝鲸实际上是重新排列的磷虾，而磷虾是重新排列的浮游生物一样，我们的整个太阳系也只是在138亿年的宇宙演化过程中对氢元素进行了重新排列：万有引力将氢元素重新排列成恒星，恒星将氢元素重新排列成重原子，之后，万有引力将这些原子重新排列成我们的星球，然后，化学和生物过程将它们重新排列成生命。
• 如果某种未来生命达到了它的技术极限，那么，它就可以更快和更高效地对粒子进行重新排列。它们首先会利用计算能力搞清楚效率最高的方法是什么，然后用可获得的能量来驱动这个物质“重新排列”的过程。我们已经看到了物质可以如何转化为计算机和能量，因此，物质就是它们所需的唯一基本资源。一旦未来生命在使用物质上已接近物理极限，想要做得更多，它就只有一种方法，那就是：获取更多物质。而想要获取更多物质，唯一的方法就是在宇宙中扩张它的势力，向太空进发！

• 但是等一下，爱因斯坦的狭义相对论不是说没有东西可以比光速跑得更快吗？那这些星系膨胀的速度怎么能达到超光速呢？答案是，狭义相对论已经被爱因斯坦的广义相对论取代了。在广义相对论中，速度的限制更为自由：当物体在空间中运动时，没有什么东西可以比光速更快，但空间可以随意扩大，要多快，有多快。
• 2006年，NASA的“新视野”号火箭发射前往冥王星时，它的时速达到了10万英里（相当于每秒45公里），打破了速度纪录。将于2018年发射的“太阳探测器附加任务”（Solar Probe Plus）的速度比这还要快4倍多，它将深入太阳日冕层。即便如此，它的速度还是比光速的0.1%还要低。20世纪，许多最杰出的人才都为建造更好和更快的火箭奉献了自己的聪明才智。这方面的文献更是多得汗牛充栋。为什么提升速度如此之难呢？有两个关键问题。其一，传统火箭的大多数燃料其实都用在了对携带的燃料进行加速上；其二，今天的火箭燃料的效率实在太低了，低得令人发指，其质量转化为能量的比例不比表6-1中燃烧汽油的效率的0.00000005%高多少。一个明显的改进措施是换成更高效的燃料。譬如说，正在为NASA“猎户座计划”（Project Orion）效力的弗里曼·戴森等人希望，能在10天内引爆30万颗核弹，以此让一艘载人宇宙飞船达到光速3%的速度，好在1个世纪内到达另一个恒星系。还有一些人正在研究使用反物质作为燃料，因为将其与普通物质相结合，将释放出接近100%高效的能量。
• 1964年，苏联天文学家尼古拉·卡尔达肖夫（Nikolai Kardashev）提出，可以用消耗能量的多少来对宇宙文明进行分级。能使用一颗行星、一颗恒星（用戴森球）和一个星系能量的文明，在卡尔达肖夫等级上分别属于I级、II级和III级文明。后来有些思想家认为，IV级文明应该可以利用其可到达的宇宙的所有能量。从那时起，对于富有宇宙殖民雄心的生命形态来说，既有好消息又有坏消息。坏消息是，暗能量的存在似乎阻碍了我们的脚步。好消息是人工智能取得了巨大的进步。即使是卡尔·萨根（Carl Sagan）这种最乐观的梦想家都曾认为，人类想要到达其他星系是毫无希望的，因为我们的寿命十分短暂，而如此遥远的旅途，即使以近光速旅行也要花几百万年的时间。但人类拒绝放弃，他们想出了很多办法，比如把宇航员冷冻起来以延长寿命，或者以接近光速旅行以延缓衰老，或者派出一个可以旅行数万代的社区，这甚至比人类当前的历史还要长。
• 超级智能的可能性彻底改变了这幅图景，让人类的星际旅行愿望变得更有希望了。只要去掉臃肿的人类生命维持系统，添加上人工智能发明的技术，星际殖民就会变得相当简单。假如宇宙飞船的尺寸只要能装下“种子探测器”（Seed Probe）就行，那福沃德的激光帆就变得便宜多了。“种子探测器”是指一种机器人，它能够在目标恒星系中的小行星或行星上着陆，从零开始建立新的文明。它甚至不需要随身携带任何指令，只需要建造一个足够大的信号接收天线就可以，以此来接收以光速从母体文明发来的详细指令和蓝图。一旦建造完成，种子探测器就可以用新建的激光器来发射出新的种子探测器，让它们继续在星系中探索，殖民一个又一个恒星系。即使是星系之间广袤无垠的黑暗空间，也总是包含着大量星际恒星，它们是从母星系中漂流出来的，可以作为中间站，从而实现星系间激光帆旅行的“跳岛战略”（Island-hopping Strategy）。
• 一旦超级智能在另一个恒星系或星系殖民成功，要把人类带到那里，就很简单了，只要人类成功地为人工智能植入了这个目标即可。所有关于人类的信息都能以光速传播，之后，人工智能再用夸克和电子造出人类。这有两种实现方式：第一种方式的技术含量比较低，只是将一个人2GB的DNA信息传输过去，然后孵化出一个婴儿，由人工智能来抚养成人；第二种方法是，人工智能直接用纳米组装技术，用夸克和电子组装成一个成年人，他的记忆来自地球上某个“原版”人扫描上传的记忆。
• 最幸运的可能性莫过于建造稳定的可穿越虫洞了。有了这种虫洞，无论两端相隔多远，都能实现几乎实时的通信和旅行。虫洞就是一条时空中的捷径，让你可以从A地来到B地而不用穿越横亘在二者之间的空间。虽然爱因斯坦的广义相对论允许稳定虫洞的存在，它们也在电影《超时空接触》和《星际穿越》中出现过，但是，要建造它们，需要一种目前只存在于假说中的拥有负密度的奇异物质。这种物质的存在可能取决于量子引力效应，而我们对量子引力效应知之甚少。换句话说，成功的虫洞旅行或许是不可能的，但是，假如它不是100%不可能，那超级智能生命就有强烈的动机去建造它们。虫洞不仅能够变革星系内的快速通信，还能够早早将外层星系与星系团中心连接起来，从而使得整个领土即使在长距离上也完全相连，打消暗能量阻断通信的企图。一旦两个星系由稳定的虫洞连接在一起，那么，不管它们未来各自漂向何方、相隔多远，都会永远连在一起。
• 关于这个问题，最早的全面科学分析也是由弗里曼·戴森做出的。表6-3总结了他的一些主要发现。结论是，如果没有智能的干预，那么，恒星系和星系都会逐渐毁灭，接着，其他一切都会逐渐毁灭，只剩下冰冷、死寂、空旷的空间，充满了永远衰减的辐射。不过，戴森在分析的结尾给出了一个乐观的注解： 
 从科学的角度出发，我们有很好的理由来认真对待以下这个可能性：生命和智能体能够成功地按照它们的目标来塑造我们的宇宙。
• 慢，并不一定意味着无聊。如果未来生命居住在一个模拟世界中，它对时间流逝的主观体验不一定与运行在外部世界中的模拟器的速度有关，那么，这些模拟的生命形态就可以将未来无限的计算量转化为主观上永生的体验。基于这个思想，宇宙学家弗兰克·蒂普勒（Frank Tipler）推测，在大挤压发生前的最后时刻，随着温度和密度的飞升，未来生命也可以通过将计算加速到无限大的方法来实现主观上的永生。
• 由于暗能量似乎会毁掉戴森和蒂普勒关于“无限计算”的美梦，未来的超级智能或许会更青睐于以较快的速度燃烧掉它的能量供应，以便将它们变成计算能力，免得遇到大灾变或质子衰变等问题，到时候就为时已晚了。如果终极目标是将总体计算量最大化，那最好的策略就是在过慢（为了避免前面提到的问题）和过快（在每单位计算量上花的能量超过了必需量）之间找到一个平衡。

• 你有没有过用手打苍蝇却总也打不中的情况？苍蝇之所以反应比你快，是因为它个头比你小，所以，信息在它的眼睛、大脑和肌肉之间传播的时间比你短很多。这种“大＝慢”的原则不仅在生物学上适用，也适用于未来的宇宙生命，只要信息的传播速度不会快于光速。所以，对一个智能信息处理系统来说，身体变大是一件喜忧参半的事，会带来此消彼长的有趣均衡。一方面，变大意味着它可以拥有更多粒子，也就能带来更复杂的思想。而另一方面，如果它想要真正的全局思维，这反而会降低速度，因为信息需要花更长的时间才能传遍它身体的各个部分。
• 那么，如果生命会布满我们的宇宙，它会选择什么形式？是简单而快速，还是复杂而缓慢的呢？我预测它会做出与地球生命一样的选择：二者兼有！地球生物圈的居民跨越了惊人的范围，从200多吨的巨大蓝鲸到10-16千克轻的娇小细菌远洋杆菌属（Pelagibacter），据说，这种细菌的生物量加起来，比世界上所有鱼类的总和还要多。而且，大型、复杂而缓慢的生物通常会包含一些简单而快速的小型模块，以此来缓解因迟缓造成的问题。譬如说，你的眨眼反射的速度非常快，因为它是通过一个很小、很简单的回路来实现的，而不涉及大脑的大部分区域。如果那只拍不到的苍蝇突然飞向你的眼睛，你会在1/10秒内迅速眨眼，而这个时间远不够相关信息传遍整个大脑和产生意识。通过将信息处理过程组织成等级化的模块，我们的生物圈兼得了鱼和熊掌——既得到了速度，又获得了复杂性。我们人类早就开始使用相同的等级策略来对并行计算进行优化。
• 如果两个星系的人都知道如何建造一种高科技产品，也都拥有所需的原材料（任何材料都可以），为何还要在星系间运送这种产品呢？我猜，在一个充满超级智能的宇宙中，只有一种商品值得远距离运送，那就是信息。唯一的例外可能是用于宇宙工程的物质，比如用来抵消前文提到的暗能量对文明的破坏的物质。但是，与传统的人类贸易不同，这种物质能以任何方便的散装形式运输，甚至能以能量束的方式进行运输，因为接收方的超级智能可以迅速地将其重新排列成它们想要的任何物体。
• 一些扩张的文明的目标可能本质上是不可改变的，就像四处传播的病毒一样。但是，也有可能存在一些像人类一样开明的先进文明，当它们觉得理由充分时，会愿意调整自己的目标。当两个这样的文明相遇时，它们的冲突就不会是武装冲突，而是思想冲突，其中更有说服力的一方就能获胜，并让它的目标以光速在其他文明控制的区域内传播。“同化邻居”的扩张策略比殖民更快，因为你的“影响力”扩张的速度就等于思想扩张的速度（光速通信），而物理形态的殖民速度肯定比光速更慢。这种同化过程不是被迫的，不像博格人在《星际迷航》中那种臭名昭著的做法，而是基于更具有说服力的思想，这让同化策略显得更为合理了。
• 我们在前文已经看到，获取资源才是一个文明的自然目标，而要让我们发现它，它只需要动用一切资源发起殖民，并大张旗鼓地吞没银河系甚至更多星系即可。银河系中有成千上万像地球一样宜居的行星，它们都比地球年老几十亿年，如果这些行星之上生活着野心勃勃的智能生命，那它们早已有充足的时间来殖民银河系了。不过目前，它们连影子都还没有呢。因此，面对这个事实，我们不能否认这个最明显的解释：生命起源需要一点随机的侥幸。因此，这些行星上可能并没有任何居民。
• 费米悖论意味着，可能存在一个被经济学家罗宾·汉森（Robin Hanson）称为“大筛选”（Great Filter）的机制。意思是说，在从非生命发展到殖民太空的种族的道路上，一定存在着一个进化或科技障碍。如果我们在太阳系中发现了其他独立进化出来的生命，这可能意味着原始生命并不罕见，因此，障碍可能就存在于目前的人类发展阶段之后，有可能是殖民太空不会实现，也可能是几乎所有高级文明在它们获得殖民太空的能力之前都会自我毁灭。因此，我祈祷人类在火星等地方对生命的搜寻都一无所获，因为这就符合“原始生命很罕见，所以人类很幸运”的情景，这样一来，我们就可能早已跨越了那个障碍，也就意味着我们的未来拥有非凡的潜力。

• 我们如何才能将宇宙的这两种趋势（一是趋向生命，二是趋向热寂）协调起来？我们可以在量子力学奠基人之一埃尔温·薛定谔（Erwin Schrödinger）1944年的著作《生命是什么》（What's Life?）一书中找到答案。薛定谔指出，生命系统的一个标志就是，它通过提升周围环境的熵来保持或降低自己的熵。换句话说，热力学第二定律在生命面前有一个漏洞：虽然整体的熵必须增加，但它允许某些局部区域的熵减，只要它能让其他地方增加更多的熵即可。因此，生命让环境变得更加混乱，从而维持或增加自己的复杂度。

• 在今天的地球居民中，这些手段目标似乎拥有了自己的生命：虽然进化优化的根本目标是复制，但许多人却花了更多时间在其他与繁殖后代无关的事情上，比如睡觉、寻找食物、盖房子、维护统治地位、打架或者帮助他人，人们在这些事情上花的时间如此之多，有时候甚至因此而减少了复制。进化心理学、经济学和人工智能方面的研究对此做出了优雅的解释。一些经济学家曾经用“理性主体”（rational agents）来模拟人类的行为。理性主体是一种理想化的决策制定者，它们永远选择那些对实现它们的目标而言最优的行为。但这个假设显然是不现实的。在实践中，这些主体拥有一种被诺贝尔获奖者兼人工智能先驱赫伯特·西蒙称之为“有限理性”（bounded rationality）的特质。之所以会这样，是因为它们的资源是有限的，它们做决策的理性程度受限于它们可获得的信息、可供思考的时间以及它们用来思考的硬件。
• 这意味着，尽管达尔文式的进化会促使生命选择最优的方法去实现它的目标，但是，它最好的选择其实是，执行一个在它身处的受限环境中表现足够好的近似算法。进化实现最优复制的方法是，与其在每种情况下都问一遍哪种行为可以产生尽可能多的后代，不如实施一种大杂烩式的探索方法，即选择那些通常可行的经验法则。对大多数动物来说，这就包括性冲动、渴了就喝水、饿了就吃东西以及远离那些难吃或者会造成疼痛的东西。

• 为什么我们有时会选择反叛基因及其复制的目标呢？这是因为作为有限理性的主体，我们只忠于自己的感觉。虽然大脑进化的目的是帮助我们复制基因，但大脑其实根本不在乎这个目标，因为我们对基因没有任何感觉。事实上，在人类大部分历史中，我们的祖先根本不知道基因的存在。此外，我们的大脑比基因聪明多了，现在我们已经理解了基因的目标，即复制，不过，我们认为这个目标陈腐不堪，经常忽略它。人们理解基因为什么让他们产生性欲，但并不想养育15个小孩，于是他们绕过基因编好的程序，选择避孕，这样依然能获得基因对亲密关系的情感奖赏。他们也可能意识到了基因为什么令他们渴望甜食，但却不想增重，于是也绕过基因编好的程序，选择饮用含有人造甜味剂的零卡路里饮料，这样依然能获得食用甜食的情绪奖赏。

• 设计产品还有一个历史趋势：它们的目标不仅变得越来越多样化，而且变得越来越复杂。我们的机器变得越来越聪明了。最早的机器和人造物的目标都很简单，比如，房子的目标是让人类保持温暖、干燥和安全。后来，我们逐渐学会了建造拥有目标更加复杂的机器，比如扫地机器人、自己飞行的火箭和无人驾驶汽车。近期的人工智能方面的进展还给我们带来了像深蓝计算机、沃森和AlphaGo这样的系统，它们的目标分别是赢得象棋比赛、猜谜游戏和围棋比赛。这些目标都十分复杂，人们费尽心思才理解了它们高超的技艺。
• 当我们建造机器来帮助我们时，可能很难保证它们的目标与我们的完全一致。譬如说，捕鼠器可能会错把你的脚趾头当成饥饿的老鼠，结果让你疼得龇牙咧嘴。所以，机器都是拥有有限理性的主体，即便是今天最复杂精巧的机器，对世界的理解程度也远远比不上我们人类。因此它们行事的规则通常过于简单。那只捕鼠器总是乱夹是因为它完全不知道什么是老鼠；同样地，许多致命工业事故之所以会发生，正是因为机器完全不知道什么是人，而2010年导致华尔街“闪电崩盘”事故、造成万亿美元损失的计算机也完全不知道它们的行为是胡作非为。如果机器变得更聪明，就能解决许多“目标一致性”问题，但是，正如我们从第4章的普罗米修斯故事中所看到的那样，日益聪明的机器智能也可能给我们带来新的挑战，因为我们必须保证它们与我们的目标一致。

• 换句话说，人工智能允许你装载目标的时间窗口可能非常短暂：就是在它愚钝得无法理解你，与它聪明到不让你得逞之间的短暂时期。给机器装载价值之所以比人难，是因为它们的智能增长比人类快多了。对孩子们来说，这个神奇的“说服窗口”可能会延续好几年，在这段时间里，他们的智力与父母相差无几；但对人工智能来说，比如普罗米修斯，这个窗口可能只有几天甚至几个小时。
• 同样地，如果拥有的资源更多，就能更好地完成几乎所有目标，所以我们应当预见到，无论一个超级智能的终极目标是什么，它一定想要更多的资源。将一个没有任何限制的开放式目标赋予一个超级智能是很危险的，比如，如果我们创造了一个目标是“尽可能好地下围棋”的超级智能，那么对它来说，最理性的选择就是将太阳系转变为一台巨大的计算机，而不顾居民的死活，然后为获取更多计算能力而向宇宙深度进发。我们现在已经回到了原点，正如“获取资源”的目标可以让某些人拥有“下围棋”的子目标一样，“下围棋”的目标也可能会带来“获取资源”的子目标。总而言之，这些涌现出来的子目标告诫我们，在解决目标一致性问题之前，不要把超级智能释放出来，除非我们花了足够多的精力确保它的目标是对人类友好的，否则，人类可能不会有什么好下场。
• 为什么会这样呢？想想上面提到的“建立更好的世界模型”的子目标，问题就出在这里。在改进世界模型和目标保持之间存在一个冲突（如图7-2所示）。智力的提升不仅能提高实现旧目标的能力，还可能会改变你对现实本质的理解，这样，你可能会觉得过去的旧目标是误入歧途、毫无意义，甚至是不确定的。
• 此外，当人工智能试着建立更好的世界模型时，它可能会很自然而然地（就像我们人类一样）试着去理解它自己是如何运转的，也就是自省（self-reflect）。一旦它建立起一个不错的自我模型，并理解了其运行的原理，可能会在一个更基本的层面理解我们赋予它的目标。之后，它或许会选择漠视或者破坏这些目标，就像人类理解了基因赋予我们的目标之后，选择用避孕等手段来故意破坏这些目标一样。

• 古往今来，哲学家都希望能用清晰明白的原理和逻辑，从零开始推出伦理标准，也就是规定我们应当如何行事的原则。可惜，几千年过去了，人类唯一的共识就是：没有共识。譬如说，亚里士多德强调美德，康德强调责任，功利主义者强调让尽可能多的人获得尽可能多的幸福。康德认为，他可以从第一原则，也就是他称为“绝对命令”（categorical imperatives）的原则中得出一些许多当代哲学家都不会同意的结论：比如，手淫比自杀更严重，同性恋是令人厌恶的，杀死私生子没关系，以及妻子、仆人和子女都是男性拥有的物品。

• 正交性论点是赋权的，因为它告诉我们，宇宙的终极目标不是事先注定好的，我们有自由和力量去塑造。它认为，趋近于同一个特殊目标并不会发生在未来，而是已经发生在过去——正是在生命进化出“复制”这个单一目标时。随着宇宙时间的流逝，日益聪明的智能得以有机会反抗和摆脱“复制”这个平庸的目标，并选择自己的目标。从这个意义上讲，我们人类还没有达到完全的自由，因为我们追寻的许多目标都是被基因“硬连”到我们身上的，但人工智能却可以享受这种不受预定目标限制的终极自由。虽然今天的人工智能系统比较狭窄而且有限，但却能很明显地看出这种更大的目标自由度，比如，我们前文提到了，大部分象棋计算机的唯一目标就是赢得比赛，但也有一些象棋计算机的目标是输掉比赛；它们在比赛中争夺输家的地位，目标是迫使对手吃掉你的棋子。或许，这种不受进化偏差影响的自由度能使人工智能在某种深层次上比人类更为道德。彼得·辛格（Peter Singer）等伦理哲学家就认为，许多人表现出不道德的行为，例如歧视非人类的动物，都是出于某些进化的原因。

• 我对意识的定义非常广泛，为了强调这一点，请注意，我没有提到行为、感知、自我意识、情绪或注意力这些东西。所以根据这个定义，当你做梦时，即使你不处在觉醒状态，也感觉不到感官输入的信息，并且没有在梦游或做事（希望如此），那么，你也是有意识的。同样地，从这个意义上说，任何体验到痛苦的系统都是有意识的，即使它不能移动。在我们的这个定义下，未来的某些人工智能系统可能也是有意识的，即使它们只是以软件的形式存在，并未连接到任何传感器或机器人身体上。 有了这个定义，我们很难忽略有关意识的问题。正如尤瓦尔·赫拉利（Yuval Harari）在他的《未来简史》一书中所说：“如果有任何科学家想要争辩说主观体验是无关紧要的，那留给他们的挑战就是，如何在不提主观体验的情况下解释酷刑和强奸是错误的。”如果不提主观体验，人只是一堆根据物理定律移动的基本粒子而已，那犯罪能有什么错呢？

 来自微信读书