开放世界中的预期思维挑战：风险管理
摘要：预测思维推动我们在日常生活中管理风险的能力，从带把伞去可能下雨的地方到购买汽车保险。随着人工智能系统成为日常生活中的一部分，它们也开始管理风险。自动驾驶车辆记录了数百万英里，StarCraft和Go代理具有与人类类似的能力，可以隐含地管理对手带来的风险。为了提高这些任务的性能，超出分发评估可以表征模型的偏见，我们认为这是一种风险管理类型。然而，学习识别和减轻低频高影响风险与训练机器学习模型所需的观察偏见相矛盾。StarCraft和Go是封闭世界的领域，其风险已知且减轻方法有明确文档，非常适合通过重复学习。对抗筛选数据集提供了困难的例子，但筛选工作繁琐且静态，这两者都是真实世界风险管理的障碍。对抗鲁棒性关注的是在假设存在恶意对手的情况下进行的模型污染，而不考虑自然发生的对抗性例子。这些方法都是改进风险管理的重要步骤，但没有考虑到开放世界。我们将这些开放世界风险管理挑战与两个贡献相结合。第一个贡献是我们的感知挑战，设计用于在其环境感知不完整的代理人，其后果具有较大的影响。我们的第二个贡献是认知挑战，设计用于必须动态调整其风险敞口的代理人，因为他们发现新风险并学习新的减轻方法。我们挑战的目标是促进对解决方案的研究，评估和改进AI代理所需的预测思维，以管理开放世界和最终真实世界的风险。
作者：Adam Amos-Binks, Dustin Dannenhauer, Leilani H. Gilpin
论文ID：2306.13157
分类：Artificial Intelligence
分类简称：cs.AI
提交时间：2023-06-26