语言模型行为：一项全面调查
摘要：变压器语言模型广受关注，然而它们生成的文本甚至给自然语言处理研究人员都带来了惊喜。在这项调查中，我们讨论了250多项有关英语语言模型在特定任务微调之前的行为的最新研究。语言模型在句法、语义、语用学、世界知识和推理方面具有基本能力，但这些能力对特定输入和表面特征非常敏感。尽管生成的文本质量随着模型参数的增加而大幅提高，达到了数千亿的范围，但这些模型仍然容易产生不真实的回答、常识错误、记忆文本和社会偏见。其中许多弱点可以被视为对文本中学习到的模式的过度泛化或不足泛化。我们综合了最新的研究结果，突出了目前对大型语言模型能力的了解，为应用工作和使用语言模型的相关领域的研究提供了资源。
作者：Tyler A. Chang and Benjamin K. Bergen
论文ID：2303.11504
分类：Computation and Language
分类简称：cs.CL
提交时间：2023-08-29