物理学生如何评估对于理解问题提供的人工智能回答？关于被认为的科学准确性和语言质量的研究
摘要：学生对ChatGPT回答物理理解问题的语言质量和科学准确性的感知评估研究：一项对102名一、二年级物理学生进行的研究，评估学生对ChatGPT回答物理理解问题的语言质量和科学准确性的感知。研究中，学生面临三个逐渐困难的问题，涉及到基础力学（滚动运动、波动和流体力学）。每个问题都有四个不同的回答选项。所有的回答都被归属于ChatGPT，但在现实中，实际上有一个样本解决方案是由研究人员创建的。研究中得到的所有ChatGPT回答都是错误的、不准确的、不完整的或误导性的。在学生对ChatGPT回答的语言质量的感知中，我们发现了一些差异，但与样本解决方案相比，并不显著。然而，在回答的科学准确性方面，学生评分显著不同，低和中难度问题的样本解决方案得分最高。样本解决方案与ChatGPT回答之间的差异随着学生对问题内容自我评估知识水平的提高而增加。对于大多数学生不熟悉的最难问题（流体力学），ChatGPT回答的评分与样本解决方案一样好。因此，该研究提供了关于学生对ChatGPT回答的感知以及影响他们感知的因素的数据。结果强调了教师和学生需谨慎评估ChatGPT回答的科学准确性。因此，未来的研究可以探索类似的“寻找机器人”的物理教育活动的潜力，以培养学生的批判性思维能力。
作者：Merten Nikolay Dahlkemper, Simon Zacharias Lahme, Pascal Klein
论文ID：2304.05906
分类：Physics Education
分类简称：physics.ed-ph
提交时间：2023-06-27