大型语言模型中的数字大小比较效应
摘要：大型语言模型（LLMs）并不区分地表示数字，在文本中这些数字非常普遍。相比之下，神经科学研究已经确定了数字和单词的不同神经表征方式。在这项工作中，我们从行为角度探讨流行的LLMs对数字大小（例如$4 < 5$）的表达能力。以往关于LLMs表征能力的研究评估它们是否达到了人类水平，例如在标准基准测试中的高整体准确率。在这里，我们提出了一个不同的问题，受到认知科学的启发：LLMs的数字表征与通常表现出距离、大小和比例效应的人类语言使用者的表征有多相似？我们依赖于一个关联假设，将模型对数字词和数字的嵌入之间的相似性映射到人类的反应时间上。结果显示，尽管缺乏直接支持这些表征的神经电路，不同结构的语言模型中存在令人惊讶地类似于人类的表征。这项研究展示了使用行为基准来理解LLMs的实用性，并为未来研究LLMs的数字表征及其认知可信度指明了方向。
作者：Raj Sanjay Shah, Vijay Marupudi, Reba Koenen, Khushi Bhardwaj, Sashank Varma
论文ID：2305.10782
分类：Artificial Intelligence
分类简称：cs.AI
提交时间：2023-06-09