无信任网络中的生成人工智能共识
摘要：亿级局部敏感哈希比较揭示了一个关键问题：在非确定性、不信任的去中心化网络中，能否验证生成式人工智能（AI）输出的“正确性”？我们从各种开源扩散和大规模语言模型中生成了数百万个数据样本，并描述了生成更或生成较少确定性输出在异构、随机网络中的程序和权衡。此外，我们分析了输出结果，提供了验证容差和误差边界的各种参数化的经验证据。最后，由于我们生成了大量的模拟数据，我们还发布了一个名为ImageNet-Gen的新训练数据集，用于增强现有的训练流程。根据我们的结果，我们表明通过三个独立验证者的多数投票，我们能够以超过99.89％的概率检测到生成AI中的图像生成感知冲突，并且在同一类中的冲突几率小于0.0267％。对于大规模语言模型（LLMs），我们能够使用贪婪的方法或N路束搜索获得100％的一致性，并在不同的LLMs上证明了这一点。在生成AI训练的背景下，我们确定和最小化了主要的随机性来源，并提出了用于可验证性的八卦和同步训练技术。因此，这项工作为AI验证和共识提供了一个实用的、坚实的基础，以在去中心化网络中最小化信任。
作者：Edward Kim, Isamu Isozaki, Naomi Sirkin, Michael Robson
论文ID：2307.01898
分类：Distributed, Parallel, and Cluster Computing
分类简称：cs.DC
提交时间：2023-07-06