预计每年的损失为 1000 亿美元

MstRina1

人工智能领域的快速发展和诸多不确定性意味着，与相对稳定的 BSL 系统不同，快速迭代和航向修正几乎肯定是必要的，”摘自 Anthropic 在介绍其负责任的扩展政策的博客文章。8请参阅人工智能安全研究所 5 月份的更新。9请参阅《保护人工智能模型权重：防止盗窃和滥用前沿模型》（2024 年兰德公司出版物）。10流氓人工智能或错位的权力追求人工智能是指经过训练后会发展出危险的、意想不到的目标，从而优化欺骗和剥夺人类权力的人工智能。足够快的人工智能进步可能会增加人工智能发展此类目标的可能性，并且它具有足够强大的能力来造成灾难，而无需人类故意使用。11即造成损害的预期值。

举一个过于简单的例子：一个人工智能系统（除了默认基线风险之外）每年发生 1% 的灾难风险，造成 10 万亿美元的损失，。12例如，据报道，OpenAI 的估值为 1500 亿美元。因此，可以说，延迟（或降低生产力的风险缓解措施，如密集信息安全）导致其估值降低几个百分点，给社会造 巴哈马 whatsapp 成了数十亿美元的损失。13例如，本文关于“网络攻击的漏洞发现和利用”的部分。14例如，本文关于“基本化学和生物武器生产”的部分。15关于对策的这一观点的一个推论是，最有可能符合条件的威胁往往涉及集中损害——损害发生得相对较快，在社会能够适应和应对之前。大流行就是一个损害高度集中的灾难的例子。 16 请参阅 OpenAI 的《准备框架》第 16-19 页和 Anthropic 的《负责任的扩展政策》第 16-20 页。

17 请参阅 Google DeepMind 的《前沿安全框架》、《OpenAI 的准备框架》、《Anthropic 的《负责任的扩展政策》》和 Magicdev 的 AGI 准备政策。这些都提出了类似候选绊线功能的东西。18 特别是 Open Philanthropy 的 Luca Righetti 和 METR 的 Hjalmar Wijk。19 类似于 50,000 美元和六个月。20 “成功的可能性很大”的操作示例：对于具有这些属性的普通参与者来说，至少有 10% 的概率。“灾难性破坏”的操作示例：至少 1000 亿美元的损失。21 有关化学武器的讨论，请参阅“化学武器：易于制造，难以销毁”。对于生物武器，专家们对这一观点存在争议，但有关专家似乎赞同类似观点的例子，请参阅“合成生物学时代的生物防御。