使用专家建议和随机化的Littlestone维度进行最优预测
摘要：随机学习者的最佳预期错误界限等于其随机Littlestone维度，最大维度$d$的树是否可被$\mathcal{H}$破碎，其平均深度为$2d$。在对最好的函数在$\mathcal{H}$中进行了$k$次错误的情况下，我们研究了关于无知情况的最佳错误界限。我们证明了学习具有Littlestone维度$d$的类的最佳随机错误界限为$k + \Theta(\sqrt{kd} + d)$。这也意味着确定性错误界限为$2k + \Theta(d) + O(\sqrt{kd})$，从而解决了Auer和Long [99年]提出的一个未解决的问题。作为我们理论的应用，我们重新审视了使用专家建议进行预测的经典问题：大约30年前，Cesa-Bianchi、Freund、Haussler、Helmbold、Schapire和Warmuth研究了在$n$个专家中最好的那个专家最多做$k$次错误的情况下如何进行预测，并询问了最佳错误界限是什么。Cesa-Bianchi、Freund、Helmbold和Warmuth [93年、96年]为确定性学习者提供了一个几乎最佳的界限，并将随机情况作为一个未解决的问题。我们通过提供随机情况下的最佳学习规则，并展示其预期错误界限等于Cesa-Bianchi等人 [93年，96年]确定性界限的一半，加上可忽略的附加项，解决了这个问题。与Abernethy、Langford和Warmuth [06年]以及Br^anzei和Peres [19年]的先前工作不同，我们的结果适用于所有的$n,k$对。
作者：Yuval Filmus, Steve Hanneke, Idan Mehalel and Shay Moran
论文ID：2302.13849
分类：Machine Learning
分类简称：cs.LG
提交时间：2023-08-21