离线无限宽度基于模型的双向学习
摘要：脱机基于模型的优化中，我们努力通过仅利用设计和得分的静态数据集来最大化黑箱目标函数。这个问题在许多领域中出现，包括材料、机器人、DNA序列和蛋白质的设计。最近的方法是在静态数据集上训练深度神经网络(DNN)作为代理函数，然后在现有设计上进行梯度上升，以获得潜在的高分设计。这种方法经常遇到超出分布的问题，即代理函数经常返回较差的设计。为了缓解这个问题，我们提出了用于脱机无限宽度基于模型的优化的双向学习(BDI)。BDI包括两个映射：前向映射利用静态数据集来预测高分设计的得分，后向映射利用高分的设计来预测静态数据集的得分。前一项在以前的工作中被忽略，可以从静态数据集中提取更多信息，并有效地缓解了分布之外的问题。对于有限宽度的DNN模型，后向映射的损失函数是不可判别的，只有近似形式，这导致设计质量的显著恶化。因此，我们采用无限宽度的DNN模型，并建议使用相应的神经切线核来产生更精确的设计更新的闭合形式损失。各种任务的实验证实了BDI的有效性。代码可在https://github.com/GGchen1997/BDI上获得。
作者：Can Chen, Yingxue Zhang, Jie Fu, Xue Liu, Mark Coates
论文ID：2209.07507
分类：Computational Engineering, Finance, and Science
分类简称：cs.CE
提交时间：2023-03-07