InstructZero：用于黑盒大型语言模型的高效指令优化
摘要：在不允许使用反向传播的黑盒大型语言模型上，寻找最佳指令可以是一个具有挑战性的任务。为了解决这个问题，我们通过对开源大型语言模型应用低维软提示来生成指令，而不是直接优化离散指令。我们将这种方法称为InstructZero。在InstructZero的每次迭代中，软提示被转化为指令，并应用于黑盒大型语言模型进行零样本评估，然后将性能结果输入到贝叶斯优化中以生成改进零样本性能的新的软提示。我们在包括Vicuna和ChatGPT在内的不同开源大型语言模型和API组合上评估了InstructZero。实验结果表明，InstructZero在各种下游任务上优于现有自动指令方法。我们的代码和数据公开可用，链接为https://github.com/Lichang-Chen/InstructZero。
作者：Lichang Chen, Jiuhai Chen, Tom Goldstein, Heng Huang, Tianyi Zhou
论文ID：2306.03082
分类：Artificial Intelligence
分类简称：cs.AI
提交时间：2023-08-09