当反馈有用时的相变
摘要：计算约束的下进行的推理会受到能量成本和信道上的噪音的限制。高效编码理论描述了如何最佳利用有限资源。在其中一种实现方式中，这导致了一种预测编码的理论，其中信号减去了预测，从而减少了发送已知内容的成本。然而，该理论没有解释预测的成本或与之相关的噪音。在这里，我们提出了一种理论，可以解释前馈和反馈成本以及所有计算中的噪音。我们将这个推理问题形式化为在图上进行传递消息，并且反馈作为一种内部控制信号来最大化推理跟踪目标状态的效果，同时尽量减少计算成本。我们将这种新型的推理作为控制的形式应用于具有高斯变化的线性动力系统中隐藏标量状态的经典问题。最佳解决方案取决于系统结构约束，例如戴尔法则，即每个神经元仅产生兴奋性或抑制性的突触后连接。这种生物结构会为前馈和反馈通道创建不对称的成本。在这种条件下，我们的理论预测了最佳预测反馈增益及其如何融入推理计算中。我们展示了最佳反馈增益与计算参数和世界动态的非单调关系，导致在计算约束下反馈是否提供任何推理上的效用的相变。
作者：Lokesh Boominathan, Xaq Pitkow
论文ID：2110.07873
分类：Neurons and Cognition
分类简称：q-bio.NC
提交时间：2022-10-13