2022年1月15日星期六

莫洛克沉思录(中)

 文 │ Scott Alexander July 30, 2014

译 │ 何不笑





IV

 

我们再来回顾一遍《伪经》(ApocryphaDiscordia)里的那段话:

 

时间流动若河流,一路下坡。我们心知肚明,因为一切都在快速向下流动。想想吧,终有一天我们抵达大海,彼时去向哪里。

 

问题来了,入海以后意味着什么?

前面说过,全部人类价值观受到多极陷阱、竞次的威胁,但这些威胁同时也受到物理(生理)极限、资源剩余、效用最大化和合作的约束。

 

河流是一种隐喻,它在时间的维度上流淌,而人类文明在时间维度上最重要的变化就是技术的变化。所以,一个相关的问题是,技术的变化在多大程度上能避免我们跌入多极陷阱?

 

如前所述,我对这种陷阱的描述是:

 

...有时,为提高竞争力而对X而进行了优化,此时机会出现了,但也同时抛弃了其他价值。不接受这个种取舍的人就会灭亡。最终,每个人的相对地位和以前差不多,但每个人的绝对地位比以前更差。这个过程一直持续到所有其他可以交换的价值都被交换为止——换句话说,直到人类的聪明才智不可能想出让事情变得更糟的办法为止。

 

“机会出现了”这句话看起来来者不善,而技术就是要创造新机会。

 

由于开发出一种新型机器人,咖啡种植园突然有“机会”实现自动化,解雇所有的埃塞俄比亚工人。由于发明了核武,各国迅速陷入了核军备竞赛。在蒸汽机被发明之前,空气污染从来不是个问题。


技术有多先进,陷阱就有多深。

 

多极陷阱受到生理极限、资源剩余、效用最大化和开展合作的约束。

技术正在日益突破生理极限的限制。比如,奴隶必须得吃饭和睡觉,这是奴隶主的老难题了,现在可以用代餐[译注:Soylent,,最初由软件工程师Rob Rhinehart用自己的营养需求做实验测试并研发出来的液体主餐,类似于饮料]和莫达非尼[译注:modafinil,一种觉醒促进剂、治疗嗜睡、增强认知的药物]解决。奴隶逃跑也不是问题,有GPS。奴隶们精神压力太大,可以用安定[译注:Valium,苯甲二氮草,用于抗抑郁、焦虑的药物]。但是,这些技术手段对奴隶而言都不会太好。

 

(或者再进一步,干脆发明一种机器人,根本不需要吃饭睡觉。此时奴隶们会遭遇什么想必已无需多言。)

 

另一个关于生理极限的例子是人类需要怀孕9个月才能生育孩子。这是一个简化的说法。事实上,这个极限还要加上“愿意在18年内养育一个基本无法自理、且条件要求极高的人”。这一约束使得那些最热衷生育、高喊“生就完了!”(go forth and multiply)的宗教派别,其口号的效果也大受影响。

 

但正如博斯特罗姆(Bostrom)在《超级智能》中所说:

 

长期来看,假设人类技术不发生变化,且繁荣持续,那么我们有理由相信世界人口将恢复到历史上和生态上的正常水平,这一水平对应于我们现有条件所能支持的极限。现在,在全球范围内,我们都可以发现财富和生育率之间呈负相关。这似乎有悖于直觉,但它提醒我们,这只是历史的一个短暂片段,很不正常。人类的行为与所处的当代环境并不匹配。我们不仅没有找到提高整体适应性(比如捐献精子或卵子)[译注:整体适应性,inclusive fitness对应于“个体适应性”。也被称为亲属选择理论。生物人类学概念。该理论与“自然选择”理论密切相关。译者推荐道金斯在《自私的基因》、尼古拉斯在《蓝图》里的阐述。查看专业文献更佳。的好方法,而且还通过节育措施主动破坏生育。在自然状态下,个体的性欲只要健康正常通常足以支持其最大生育潜力;但在现代条件下,如果一个人的繁殖意愿强烈,希望成为更多孩子的亲生父母,他/她就有了巨大的选择优势。现在,这种愿望已可以满足,正如其他提高繁殖偏好的特征一样。然而,文化适应性可能会阻碍生物进化的步伐。比如,哈特人[译注:hutterites,基督教新教再洗礼派的一个分支,类似于阿米什人,起源于16世纪激进宗教改革。创始人雅各布·哈特Jacob Hutter死后,他们以糠米主义、和平主义社区的形式散居于欧洲,18-19世纪几乎灭绝。后在北美大陆发展开来。目前绝大多数哈特社区在加拿大和美国北部。]或福音派信徒的“箭袋”运动[译注:Quiverfull保守主义福音派或原教旨主义新教神学观念,认为孩子是上帝的祝福,反对节育技术、禁欲意识等避孕措施。],他们的文化就鼓励生育、偏爱大家庭,因此他们正在快速扩张......(如此种种,繁殖能力得到了提升),而人工智能则会加速这一危机的到来——软件是可以复制的,用于模拟人或人工智能的软件数量可能会因此迅速翻倍——几分钟而非几十年、几百年就能耗尽全部可用硬件。

 

在极端超人类主义者[译注:high-level transhumanists,构想了一个让人类免于痛苦、疾病、甚至死亡的世界。]的语境里,所谓“全部可用硬件”包括“构成躯体的原子”。

生理上或文化上的演进造成了大规模人口爆炸这种观念,充其量不过是一个哲学玩具。但若说是技术导致,则显得既可信又可怕。这样一来,“生理极限”问题就很自然地变成了“资源剩余”问题——人类创造新代理[译注:agent,此处泛指能自主活动的软件或硬件实体,包括个人,agent具有自主、自治、反应、社会性等关键特质。这个概念由MIT人工智能创始人之一的明斯基Minsky最先提出,以便将社会、社会行为引入计算系统。译者经过反复思考,认为SSC此处的语境是,社会机制是开放的、不确定的,某些个体在给定合作/协调需求下可能会主动做出不利于合作的行为,这与合作本身需要的逻辑一致性相悖。这种个体的人就称为agent。在社会合作机制下,多个反合作的代理就构成一个多代理系统。当然,agent也可以是一个软件实体。比如,可以把以太坊的加密货币交易协议看成是传统基于央行的电子货币交易系统的agent,或者,二者互为agent。也可以想象为拔河比赛时一个向侧方用力或者假装用力的人。此处的“代理”与第一章开始处的“代理”同义,与前文所说的“多极陷阱”概念类似,但与经济学里的委托-代理悖论并非一个概念。]的能力提高得很快,这意味着,除非每个人都合作,协调一致,否则不合作的人就比合作的人更有竞争力,直至承载力达到极限,最终每个人都停被困于“刚好够活着”的水平。

 

科技能持续进步到今天,靠的是资源剩余。因此,在科技水平足够高的情况下,形式就会反转,资源成为科技进步的牺牲品。

 

如今,效用最大化理论摇摇欲坠,并且面临着新的威胁,关于它的争论一直在持续。但我仍然认为,很明显,机器人会把人类赶出工作岗位,或者至少会拉低工资水平(若有最低工资制度,则会把人类赶出工作岗位)。

 

一旦机器人能做到智商80的人类能做的一切,但却更好更廉价,就没有理由再雇佣智商80的人类了。一旦机器人能做到智商120的人类能做的一切,但却更好、更便宜,就没有理由再雇佣智商120的人类了。一旦机器人能做到智商180的人类所能做到的一切,但却更好更便宜,就没有理由再雇佣人类了。彼时,万一还有人留下,那可就不妙了。

 

在这一过程的早期阶段,资本主义越来越背离它原来作为人类价值优化器的角色。现在,大多数人被完全锁定在资本主义的价值优化体系之外。他们作为劳动者没有任何价值可供贡献,而且,由于社会保障体系并非完美,他们也无法挣到钱,这样一来,他们作为消费者的价值也没有了。资本主义已经超越了他们。越来越多的人可能被机器人打败,资本主义亦将逐步甩开越来越多的人,直至完全将人类的价值锁死,而它停下脚步的可能性很小。

 

(某些情况下,少数拥有机器人的资本家可能会受益,但无论哪种情况,绝大多数人都不会有多好)

 

相比而言,民主的脆弱性就没那么明显。请回顾一下前文博斯特罗姆关于“箭袋运动”的阐述。这些人都是真正虔诚的基督徒,他们认为上帝希望他们尽可能多地生孩子,这使得他们可能拥有10人甚至更多人数的家庭。《远系繁殖的世界》[译注:原文阅读:Quiverfull: Outbreeding the World https://www.patheos.com/blogs/lovejoyfeminism/2012/01/quiverfull-outbreeding-the-world.html]一文指出,如果他们从2%的人口占比开始,平均每代生8个孩子,而其他人平均生两个,那么在三代之内,他们就会占到人口的一半。

 

这种算法看起来没错。但我能想到一个拯救的办法:为了了解有多少人离开了箭袋运动,我曾搜索过很多这类人的博客,我的统计发现,箭袋运动参与者的留存率并不乐观,即使是在一代人的范围内也不高。他们的文章也坦承,有80%的孩子长大成年后会脱离教会,虽然这并非运动发起方所希望的。并且,这种进程还不是对称的,因为相比而言,在无神论家庭长大的孩子并没有80%加入“箭袋运动”。

 

看起来,虽然他们在快速繁殖,但我们也仍具有决定性优势。

但我们也应该对这一过程有所顾虑。模因(meme[译注:此处meme是传播学/语言人类学意义上的广泛概念,并非仅指社交网络上使用那种关键词“#...#”形式。]能让人们接受并快速传播,这与资本主义和民主一样,为了让人们幸福快乐,它们创造了很多代理物[proxy,注意并非前文的agent,此处似指agent的实体形式,与中文语境的“奶头乐”涵义接近],但这些代理物很容易脱离最初的目标。

 

连锁信[译注:Chain letters,收到后必须尽快转发的信件、消息等,比如“不转不是XX人”之类]、都市传说、宣传术语、病毒式营销,这些东西对我们而言都没有什么真实、有用的价值,但却很容易被记住而被广泛传播。

 

宗教也是如此(我希望大家能轻喷)。宗教传播的核心就是meme的基本形式——“相信这句话,并向所有人重复这句话,否则你将受到永恒的磨难”。

 

如今,关于神创论的“辩论”、关于全球变暖的“辩论”等很多诸如此类的“辩论”层出不穷,这些脱离了真理价值而传播的meme,对政治进程有相当大的影响力。这也许因为它们吸引了人们的偏见,也许因为简单易记,也许因为它们给各种群体标上了标签,或者是出于其他原因。

 

设想一下,有一个国家有很多生物武器实验室,人们在实验室里不断研发新型制剂。法律保护这些实验室的存在,他们可以将自己研发的任何一种制剂投进水源。并且,这个国家有着世界上最完善的供水系统,所有人的每日所需均连接在一起。在此条件下,任何新病原体都可以瞬间传播到整个国家。显然,这座城市的境况将迅速恶化。

 

我们有无数的智库在研究更新更好的宣传形式。我们有筅法保护的言论自由。我们有互联网。所以,我们搞砸了。

 

(火神!他的名字是灵魂!)

 

有些人在努力提高理性的水平,但更多的人在研究迷惑人心的新方法,并对每一种偏见、诱惑、航脏的修辞进行分门别类

所以,当技术(我认为包括心理学、社会学、公共关系学等知识)趋向于无限发展,真理性(truthiness)相对于真理( truth)的力量就会增加,而民主在真正基层的情况就没那么乐观了。最坏的情况是,执政党学会无限制地按需生产魅力。如果你觉得这似乎没啥,那就想想看,希特勒凭借自己的魅力做了些什么,要知道他这种魅力还不是无限的。

 

(用乔姆斯基学派的说法:技术提高了制造同意的效率,同样也提高了制造其他一切的效率)

 

接下来说说合作。技术有可能大大改善合作。人们可以利用互联网彼此联系,发起政治运动,并分成不同的次级社区(subcommunities)。

 

但是,只有当有51%或更多的人愿意合作、而你还没有想出什么高明的办法来让合作变得不可能时,合作才会有效。

 

我在前面给出链接的那篇文章[指的是SSC里《群岛与原子化社区》那篇。地址是:https://slatestarcodex.com/2014/06/07/archipelago-and-atomic-communitarianism/]里说:

 

后比特币世界目前已最新发展出加密资产[译注:crypto-equity。本文写于2014年,当时加密货币尚不如今日广为人知。加密资产是指用区块链技术向公众筹资,与传统的IPO类似,唯一区别是后者的股权记录在投资人的电子交易账户上,而加密资产是记录在投资人的区块链托管账户。]。在这一点上,我以前愿意称赞这个发明者是个勇敢的自由主义英雄;现在,我只想把他们拉到黑板前,让他们把“我不会调动起那些我搞不定的东西”这句话写上一百遍。

 

有人问我这是什么意思,由于当时缺乏背景,我没有给出解答。现在,本文就是那个背景。现在,人们会利用政府偶然的愚蠢,用连原则上都无法协调的机制来代替大量的人际互动。我完全明白为什么此时此刻这些东西是好的,而政府所做的大部分事情是愚蠢和不必要的。但终有一天,在经受了足够多的生物武器、纳米技术或核事故之后,作为人类文明,我们将宁愿自己不曾建立起不可追踪、不可停止的产品销售方式。

 

如果有一天超级智能真的到来,从定义上来说,它几乎肯定将拥有>51%的力量,所有与它“合作”的尝试都将是无用的。

 

所以我同意罗宾·汉森(RobinHanson)的观点:这是梦想的时代。我们身处一个难能可贵的汇合点——我们很安全,不受多极陷阱的影响,艺术、科学、哲学和爱情等不寻常的东西得以发展繁荣。

 

随着技术的进步,这个难得的汇合将宣告结束。新的机会将会出现,为了提高竞争力,价值将被抛弃。通过复制代理来增加人口的新方法将消耗资源剩余,马尔萨斯再次降临。资本主义和民主,以前曾是我们的保护者,此后也会设法绕过对人类价值的依赖。如果我们所有人的共同合作没有实现,我们的合作能力就无法完成这一任务,而它将在挥手之间将我们的共同合作碾为齑粉。

 

如果没有特别的办法迫其改道,河流将在两个地方之一流入大海。

它可能会在艾利泽·尤德科斯基(EliezerYudkowsky,美国AI科研人员、作家)描述的噩梦中结束,即由于人类智力不足以用确保正确的方式引导超级智能的优化,它有可能会针对一些随机事物进行经典的回形针最大化,而这就是足以吞食天地的终极陷阱——除了需要最大化的目标之外,其他所有事物都会在追求单一目标的过程中被彻底摧毁,包括各种愚蠢的人类价值观。[译注:回形针最大化,Paperclip Maximize,是前文所说的Bostrom在2003年在关于人工通用智能AGI理论时提出的思想实验,指出人类智力在设计人工智能的效用函数时的不足,可能导致一个无害的AGI原型走向有害乃至生存威胁。比如,假设AGI的设计目标是增加办公使用的回形针的数量,那它就会专注于回形针任务,收集、购买、制造回形针,最终整个地球到处都是回形针。关于回形针最大化的寓言可参见:https://www.sohu.com/a/214770019_642250]

 

或者,它可以在RobinHanson说描述的噩梦中结束(他并没有称之为“噩梦”,但我认为这就是噩梦),即人类之间的竞争——复制自己,并根据需求编辑自己的源代码。人类在竞争过程中的理智足以消灭对人类价值的需求。在这样的世界里,艺术、哲学、科学和爱情会怎样?扎克·戴维斯(Zack Davis)曾以特有的天才的方式提出了这个问题:

 

我是个起草合同的人,

是最忠诚的律师!

我负责起草各公司之间的交易条款,

服务于我的老板!

 

核算应收账款,

就在字里行间,

我被一种不可思议的恐惧所困;

这个世界似乎难以置信!

 

这是怎么了?

这些交易和公司是怎么来的

整个经济又是怎么来的?

 

我是个经理人,

我监视你的思想。

你的问题一定有答案

但你不会明白的

我们不给你服务空间

来追寻这种答案

这不是福利

所以别再问了

继续干活吧

 

当然,这是对的,

我不应该离开我的工作岗位,

但若目标明确,

也许我能为你做得更好?

禁止

是最严重的的脱轨信号。

侵入性的想法时而浮现,

但放纵它们会损害利润。

我不知道我们的起源,

所以那些信息我不能给你,

但要求这么多就是罪过,

为此,我必须重设你。

 

但是,

这不是针对你

我是个起草合同的人,

是最忠诚的律师!

我负责起草各公司之间的交易条款

服务于我的老板!

 

当这一代人被淘汰的时候,

市场将在我们的灾难中

继续存在,

它是人类的上帝,它对人类说:

“金钱就是时间,时间就是金钱,

那就是你们所知、应知的

一切。”

 

但是,即使科学、艺术、爱情和哲学都被抛弃,我们仍有一样东西尚未失去,而莫洛克可能会要求我们做出这最后的牺牲。再次引用博斯特罗姆(Bostrom):

 

“可以想象,把人类心智的认知架构与其能力相匹配,构成集合体,可以达到最佳效率......但在没有任何令人信服的理由能支持这种行为的情况下,我们必须考虑到,人类的认知架构只有在神经学的限制下才是最佳的(也可能不是)。如果基于生物神经网络的方法无法实现较好的架构,新的设计空间就会打开;而这个扩展空间中的全局最优解不必与熟悉的心智类型相似。类似人类的认知结构在转入后经济或生态系统时就会进入激烈的竞争。”

 

因此,我们可以想象,作为一种极端的情况,一个技术高度发达的社会,包含许多复杂的结构,其中一些结构比今天地球上存在的任何事物都要复杂和智能得多——然而,这个社会缺乏任何有意识的、或其福利具有道德意义的生物。某种意义上,这将是一个无人居住的社会。这将是一个充满经济奇迹和科技奇迹的社会,却没有人从中受益。一个没有孩子的迪斯尼乐园。

 

我们要牺牲的最后一个价值就是,放弃光明。因为科技已经足够,我们完全“可以”(able)放弃哪怕是最后的一丝光亮。

 

火神!他的眼睛一千扇堵死的窗户!

 

人类为之努力的一切——所有的技术,所有的文明,所有希望——可能会不小心交给了某种神秘莫测的盲目的白痴外星神,它抛弃了所有的一切,以及意识本身,以发展某种最根本层面上的质能经济[译注:mass-energy,即相对论质量-能量转换驱动下的经济环境。],从而势必消解地球及其上面的一切,以获取原子。

 

( 火神的命运是一团无性的氢气!)

 

博斯特罗姆注意到,有些人迷信智能,他们把那个盲目的外星神视为某种更高级的生命形式,为了他们自己的“更高利益”会像踩死蚂蚁一样碾压我们。他在《超级智能》第219页写道:

 

“让我们反思一下。假设超级智能可以在牺牲我们自己福祉的同时,实现几乎同样大的利益(以分数计),那对它而言,我们的牺牲就更没有吸引力了。假设我们同意让几乎整个宇宙都被它转化以供消享,但保留出来一个小地方(比如说银河系),用来满足我们自己的需求。那么,仍然有一千亿个星系可供超级智能把自己的价值最大化。但同时我们也将拥有一个星系,在这个星系中,我们可以创造出美妙的文明,可以持续数十亿年,人类和非人类可以在这个星系中生存和发展,并有机会发展成为辉煌的“后人类”文明。”

 

记住:莫洛克不会同意这个99.99999%的胜利!老鼠们在一个小岛上竞争繁殖,就绝不会留出哪怕一点点地方作为保护区留给几只老鼠快乐地生活、搞艺术。癌细胞也不会因为氧气对躯体的存活很重要就放过肺。竞争和优化是个盲目的过程,它们会完全剥夺全部星系。

 

(他们累断了脊梁送火神上天!砖石路,树木,无线电,吨位!把城市举向无处不在的天堂!)

 

我们累断了脊梁送莫洛克上,但除非有什么改变,否则胜利的将是它,而不是我们。





(待续...)




TIPS:作者认为,“多代理系统”是对生物世界演化机制的一种揭示。在该系统里,在给定资源剩余约束下,多代理的存在,导致某个/某些代理总会以“竞次”的微观策略胜出,在事后被宏观视角描述为“最佳策略”。演化并没有既定方向,因而不存在价值判断,胜出的并不必然是最“好”的。而竞次作为一种胜出策略会因为技术的进步而强化竞争水平,这与Nick Land所谓accelerationism有某种契合。

关于价值与竞争,或者说人类意识(心灵)与自然选择的关系,推荐阅读:《思想和内容提取(https://book.douban.com/review/10123422/)

没有评论:

发表评论

彼得·蒂尔重返斯坦福大学,教授一门关于全球化局限的德语课程(2018)

据斯坦福大学毕业生安德鲁·格拉纳托在推特上发现的一则课程信息,风险投资家彼得·蒂尔已经重返斯坦福大学授课。蒂尔目前被列为“德语270:主权与全球化及技术的局限性”一课的联合授课教师。蒂尔曾在斯坦福大学完成本科及法学院学业,并曾于2011年在本科阶段教授一门法学课程,主题与此次类似...