语言模型交叉：通过少样本提示引入变异
摘要：语言模型跨界是一种利用语言模型自然实现的智能变异运算符，类似于进化的杂交。具体而言，具有足够规模的语言模型展示了上下文学习的能力，即它们可以从少量输入模式之间的关联中学习，生成包含这些关联的输出（也称为少样本提示）。这种能力可以用来构建一个简单但强大的变异运算符，即用文本基因型（如代码、纯文本句子或方程式）提示语言模型，并将其对应的输出解析为这些基因型的后代。语言模型杂交的潜力在于它能够简单地演化出语义丰富的文本表示（只需少量特定于领域的调整），并且能够自然地受益于当前语言模型的进展。本文的实验通过演化二进制位串、句子、方程、文本到图像提示以及Python代码来展示语言模型杂交的多功能性。结论是，语言模型杂交是一种有望用于演化可表示为文本的基因组的方法。
作者：Elliot Meyerson and Mark J. Nelson and Herbie Bradley and Arash Moradi and Amy K. Hoover and Joel Lehman
论文ID：2302.12170
分类：Neural and Evolutionary Computing
分类简称：cs.NE
提交时间：2023-02-24