人类和人工神经网络中通过抽象表示进行组合泛化
摘要：人类具有迅速推广到新任务的非凡能力，这在人工学习系统中很难复现。组合性被提出作为支持人类推广的关键机制，但有关其神经实现和对行为的影响的证据仍然很少。在这里，我们研究了组合性推广在人类和人工神经网络(ANNs)上的计算特性。首先，我们使用全脑功能磁共振成像(fMRI)数据鉴定了组合性推广在人类中的行为特征及其神经相关性。接下来，我们设计了辅助一种称为“原始预训练”过程的预训练范式，将组合性任务元素赋予ANN。我们发现具有这种先验知识的ANN与人的行为和神经组合性特征更好地对应。重要的是，原始预训练引发了抽象的内部表示、优秀的零样本推广和样本高效学习。此外，它产生了一个与人类fMRI数据相匹配的抽象表示层次结构，在早期感觉区域出现了感觉规则抽象，在后期运动区域出现了运动规则抽象。我们的发现为组合性推广在人类行为中的作用提供了实证支持，将抽象表示确定为其神经实现，并说明这些表示可以通过设计简单和高效的预训练过程嵌入到ANN中。
作者：Takuya Ito, Tim Klinger, Douglas H. Schultz, John D. Murray, Michael W. Cole, Mattia Rigotti
论文ID：2209.07431
分类：Neurons and Cognition
分类简称：q-bio.NC
提交时间：2022-09-22