SOTA法律推理模型对缺乏推断性推理提供了多少支持？
摘要：法律推理中的最新模型（SOTA）在支持形式推理任务方面的表现如何？形式推理是一种逻辑推论的形式，在该过程中，根据一组观察结果提出一种假设，并使用该假设解释这些观察结果。能够提出此类假设对于律师和法学学者至关重要，因为它们有助于表达逻辑论证、解释法律和发展法律理论。我们的动机是考虑到深度学习模型，尤其是大型语言模型（LLM），将很快取代律师，因为它们在法律文本处理相关任务上表现出色。但是，我们认为，要做到这一点，需要某种形式的推理假设形成。换句话说，虽然LLMs变得越来越流行和强大，我们想要研究它们在形式推理方面的能力。为了实现这一目标，我们首先构建了一个带有498,697个样本的逻辑增强数据集，然后使用该数据集评估在法律领域中的SOTA模型的性能。我们的实验结果显示，尽管这些模型在与法律文本处理某些方面相关的任务上表现良好，但在支持形式推理任务方面仍存在不足。
作者：Ha-Thanh Nguyen, Randy Goebel, Francesca Toni, Kostas Stathis, Ken Satoh
论文ID：2304.06912
分类：Logic in Computer Science
分类简称：cs.LO
提交时间：2023-06-30