关于AGI安全与治理的最佳实践：专家意见调查
摘要：人工智能公司OpenAI、Google DeepMind和Anthropic等许多领先的人工智能公司都设定了构建人工通用智能（AGI）的目标，即在广泛的认知任务中实现或超越人类的表现。在追求这一目标的过程中，他们可能会开发和部署具有特别重要风险的人工智能系统。尽管他们已经采取了一些措施来减轻这些风险，但目前还没有出现最佳实践。为了支持最佳实践的识别，我们向来自AGI实验室、学术界和公民社会的92位顶级专家发送了一份调查问卷，并收到了51个回复。参与者被问及他们对50个关于AGI实验室应该做什么的陈述的赞同程度。我们的主要发现是，参与者平均而言对所有陈述都表示同意。许多陈述的赞同程度非常高。例如，98%的受访者在某种程度上或强烈同意AGI实验室应进行预部署风险评估、危险能力评估、第三方模型审计、模型使用的安全限制和红队测试等。最终，我们的陈述列表可能为制定AGI实验室的最佳实践、标准和规定提供一个有用的基础。
作者：Jonas Schuett, Noemi Dreksler, Markus Anderljung, David McCaffary, Lennart Heim, Emma Bluemke, Ben Garfinkel
论文ID：2305.07153
分类：Computers and Society
分类简称：cs.CY
提交时间：2023-05-15