““危险”並不一定意味著“灾难性”。”
“毕竟，原子弹很危险，但人类依然存活至今。”
“同样，你的邻居可能很危险，但社会依然存续——事实上，社会的一大功能，就是限制人类彼此之间的威胁。”
““潜在的危险”並不等同於“必然的末日”，因此，人工智慧带来的危险，並不一定会“终结人工智慧的未来发展”，也不一定会“导致文明的毁灭”。”
“因此，我们所设想的“文明被殭尸人工智慧毁灭”的结果，是否具备“排他性”（即是否適用於所有或几乎所有文明），仍有待商榷。”
“科学家们关於这方面的观点可能是正確的，但我们尚无充分证据证明“这种结果的可能性高於不可能性”，更不用说证明它“必然发生”了——即我们生活在一个“充斥著殭尸人工智慧、这些人工智慧统治著没有生物生命的行星”的宇宙中。”
“机器在没有明確目的的情况下维护著基础设施，而它们的创造者早已消失。”
“儘管如此，这仍是一个不错的解决方案，其逻辑也通常简单明了：製造一台“有智能但无意识”的机器，要比製造“有感知能力或对齐的人工智慧”容易得多。”
“因此，每个文明都必然会被迫面临“殭尸人工智慧带来的生存风险”。”
“这为费米悖论提供了一个令人不寒而慄的解释：文明可能在有机会“走向星辰”之前，就频繁地自我毁灭，只留下一个“充斥著智能但无意识系统”的星系。”
“这些系统甚至可能存续数十亿年，以看似有目的的方式维护基础设施或进行扩张，却毫无主观意图。这种场景不一定涉及“灰色粘质”或“天网”式的灾难。”
“不妨想像一下：我们发现“派遣机器人到太空开採能源和资源”比人类亲自前往更便宜、更简单，於是我们选择留在地球，而让机器人去执行任务。”
“现在，再看看我们如今“殭尸人工智慧”的典型例子——聊天机器人。”
“有这样一种可能：某个文明的自我毁灭，並非源於惨烈的战爭或灾难，而是因为“每个人都觉得与机器互动，比与其他人互动更高效、更愉快”。这样的社会不会在熊熊烈火中崩溃，而是会“悄然瓦解”。”
“因为机器在其任务上比隨机挑选的人类更胜任，它们会逐渐取代人类之间的联繫，即便它们的唯一任务只是“进行对话”。”
“即便是“感知型人工智慧”，也可能只是被“偶尔、短暂地使用”。”
“为了將“不可靠人工智慧”的风险降至最低，我们可以让“真正智能、有感知能力的人工智慧”，仅由“简单机器的组合”临时构成——这些简单机器会为了解决特定任务或问题而“组装”成感知型人工智慧。”
“一旦任务完成，该人工智慧就会“解散”，回归到“潜在状態”，等待根据下一个问题的需求重新组装。”
“例如，为应对“小行星撞击”而组建的“超级智能体”，其范围和组成部分，会与为应对“地震”或“能源短缺”而组建的超级智能体不同。”
“而应对“地震”的超级智能体，又会与“监测危险小行星”所需的人工智慧不同。”
“因此，“监测小行星的人工智慧”可能需要持续运行，或每月启动几分钟；而“防御小行星的人工智慧”，则只需要在“定期功能检查和更新时”，以及“探测到有威胁的小行星时”才启动。”
“至於，製造这些人工智慧的文明呢”
“那些人可能已经灭绝，或者只是“满足於待在母星上”，不再关注外部宇宙；即便他们关注外部宇宙，也可能因为“时间延迟过长”，以至於当他们收到“外星文明与其领土边界发生互动”的细节时，相关事件早已尘埃落定。”
“事实上，他们甚至可能让人工智慧在其他行星上“为殖民做准备”，或让人工智慧建造太空棲息地——但最终，殖民者却从未抵达这些地方，因为“没有足够有说服力的理由前往”。”
“这些空荡荡的星球（或棲息地）等待著人类（或该文明的成员）的到来，或许上面已经建立了复杂的生態系统。”
“这引发了一个令人不安的场景：一个“布满无意识机器的宇宙”。”
“想像一下，你探索某个遥远的恆星系统，发现围绕著一颗荒芜行星的巨大巨型结构——这些结构完好无损，內部机制仍在运转，却看不到任何生命的痕跡。”
“机器会“迎接”你，精准地回应你的询问，但它们的回答中，却没有任何“理解”或“感知”的痕跡。”
“这就是我们设想的可怕场景：一个“文明被自身创造物毁灭、只留下庞大殭尸人工智慧网络”的宇宙。”
“殭尸人工智慧无需具备意识，就能构成危险。它的力量在於“无与伦比的行动效率”。”
“由於缺乏自我认知和道德考量，这类系统可能会“无意间”或“漠不关心地”毁灭其创造者。”
“例如，一个“以最大化资源效率为任务”的人工智慧，可能会认为“其创造者是不必要的资源消耗者”；由於它无法反思自身行为的道德性，便会毫不犹豫地执行“清除创造者”的指令。”
“此外，即便是更智能的人工智慧，如果被赋予了一个简单目標，也可能会认为“其他人类或人工智慧对该目標的实现构成威胁”。其结果可能抽象且完全出乎意料。”
“我设想过这样一种场景：：一个经典的“阿西莫夫式类人机器人”，被编程遵循“三大法则”——即“首要任务是服从人类、保护人类”，同时负责照看一个它需要监护的孩子。”
“孩子指向后院里一只可爱的动物，而机器人將这只动物视为“潜在威胁”，立刻开枪將其击毙。”
“在机器人看来，“一只死动物对孩子造成伤害的可能性，比活动物更低”——儘管在现实中，这只动物对孩子构成威胁的可能性微乎其微。”
“我们还能设想其他场景：人工智慧可能会认为“人类本身就是其存在或目標实现的最大威胁”。”
优书网