预测编码深度神经网络中的不一致虚假运动
摘要：为什么我们在一些静态图像中会看到虚假的运动？已经提出了几种解释，基于眼动、对不同图像元素的反应延迟或图像模式和运动能量检测器之间的相互作用。最近，基于预测编码原则的经常性深度神经网络（DNN）PredNet被报道能够重现“旋转蛇”幻觉，这表明预测编码在虚假运动中起作用。我们复制了这一发现，然后使用一系列“硅中心心理物理学”实验来检查PredNet在简化的幻觉刺激变体中是否与人类观察者表现一致。我们还通过探测网络中的内部单元来测量旋转蛇图案的各个元素的响应延迟。预先训练的PredNet模型预测了旋转蛇刺激的所有子组件的错觉运动，与人类观察者一致。然而，我们发现没有在内部单元中找到简单的响应延迟，与生理数据中发现的情况相反。PredNet模型对梯度中的运动的检测是基于对比度而不是亮度的，而人类的感知是基于亮度的。最后，我们在10个相同的PredNet上测试了幻觉的稳定性，这些PredNet都是在相同的视频数据上训练的。我们发现网络在复现幻觉和对幻觉的简化变体进行运动预测的能力上存在很大差异。而且，不像人类观察者，没有一个网络对灰度变体的图案预测错觉运动。即使DNN成功地复现了人类视觉的一些特点，更详细的调查可能会揭示人类和网络之间以及同一个网络的不一致性。从不同初始化的PredNets中训练出的旋转蛇幻觉的不一致性表明，预测编码并不可靠地导致类似人类的虚假运动。
作者：O.R. Kirubeswaran, Katherine R. Storrs
论文ID：2301.07455
分类：Neurons and Cognition
分类简称：q-bio.NC
提交时间：2023-02-23