最大熵：推理的通用方法
摘要：概率和熵方法在诱导推理中的应用: 从概率和熵方法的历史发展入手，讨论了基于Cox的乘积和加法规则的概率理论的本质，以及熵与热力学熵和信息熵之间的关系。其次，介绍了Skilling的诱导方法及其推导出的ME方法，以及为什么诸如Renyi或Tsallis熵等其他熵方法在推理问题中被排除。接着，探讨了贝叶斯和ME方法的兼容性，证明了ME方法可以实现正统贝叶斯推理的所有方面，从而证明了贝叶斯和熵方法的完全兼容性。发现ME方法包含贝叶斯法则作为一种特殊情况，使得我们能够超越贝叶斯法则，同时处理数据和期望值约束。讨论了非交换约束问题的一般处理方法，以及何时应顺序处理和同时处理。得到了处理数据和矩时同时更新问题的后验分布的一般格式，这是一个重大的成就，因为它表明ME方法不仅可以处理约束信息（像MaxEnt）和数据（像贝叶斯定理）的形式，还可以同时处理这两种形式，而贝叶斯和MaxEnt不能单独实现。最后，通过将ME方法应用于潜在的问题，探讨了该方法的一些潜在应用。
作者：Adom Giffin
论文ID：0901.2987
分类：Data Analysis, Statistics and Probability
分类简称：physics.data-an
提交时间：2009-01-21