自我提示的零样本CoT：从语义级到代码级的自我提示，以更好地利用LLMs
摘要：改进使用LLMs的自助无样本CoT：SelfzCoT这篇论文展示了一项关于更好地利用LLMs的工作。具体来说，在零样本算术推理任务上，提出的SelfzCoT通过GSM8K的准确率从40.50％提高到82.34％，通过MultiArith的准确率从79.3％提高到94.7％，通过ADDSUB的准确率从74.70％提高到94.10％，通过SingleEq的准确率从78.70％提高到91.30％，通过AQUA的准确率从31.90％提高到82.33％，通过SVAMP的准确率从63.70％提高到79.70％。总的来说，使用前两条持久路径激活到LLM，特别是在代码级别自我提示方面，SelfzCoT在所有六个零样本算术推理任务上都有巨大的改进。此外，我们修改后的零样本CoT（MzCoT）在推理任务中也取得了显着的性能。提出的MzCoT通过GSM8K的准确率从40.50％提高到76.32％，通过MultiArith的准确率从79.3％提高到96.97％，通过ADDSUB的准确率从74.70％提高到92.39％，通过SingleEq的准确率从78.70％提高到94.60％，通过AQUA的准确率从31.90％提高到79.90％，通过SVAMP的准确率从63.70％提高到81.50％。值得注意的是，SelfzCoT在所有最近的零样本方法中在GSM8K上表现最好。
作者：Ioktong Lei and Zhidong Deng
论文ID：2305.11461
分类：Artificial Intelligence
分类简称：cs.AI
提交时间：2023-08-01