自顶向下网络将反向传播与注意力相结合
摘要：通过结合底层向上（BU）和广泛的顶层向下（TD）处理，皮层处理在视觉和其他领域中进行。顶层向下处理所扮演的两个主要目标是学习和引导注意力。目前的网络模型通过不同的机制实现这两个角色。引导注意力通常通过扩展模型的结构来实现，而学习通常通过外部学习算法（例如反向传播）来完成。在本研究中，我们提出了一个将上述两个看似无关的功能进行整合的全新机制，该机制灵感来自于人脑。我们提出了一种新颖的底层向上顶层向下对称网络结构，可以将传统的底层向上网络与对称的顶层向下网络相结合，使得每个网络都可以互相引导和影响。例如，在多任务学习过程中，相同的顶层向下网络既用于学习（通过传播反馈信号），又用于顶层引导注意力（通过引导底层网络执行所选任务）。与标准模型相比，我们不使用外部的反向传播来进行学习。相反，我们提出了一种“反-赫布”学习方法，同时调整底层向上和顶层向下网络的权重。我们展示了我们的方法在标准的多任务学习基准上实现了竞争性的性能。然而，与现有方法不同的是，我们依靠单任务架构和优化器，没有任何任务特定的参数。这些结果表明，在统一的顶层向下过程中，通过注意力引导的多任务可以高效地与内部学习相结合，为人类视觉中的底层向上和顶层向下处理的组合提供了一种可行的模型。
作者：Roy Abel, Shimon Ullman
论文ID：2306.02415
分类：Artificial Intelligence
分类简称：cs.AI
提交时间：2023-08-31