评估程序加速和其优化技术的统计方法论
摘要：计划优化与分析、代码性能评估、并行化和优化编译社区已经在主要会议和期刊上发表了数百篇研究和工程文章。这些文章研究了用于加速程序执行时间或优化其他性能指标（如MIPS、代码大小、能量/功耗、MFLOPS等）的高效算法、策略和技术。许多加速效果都已经被发布，但是没有人能够完全复现这些结果。我们的研究结果的不可复现性是这门艺术的一个黑点，如果我们不能提供严格的实验方法论，就不能称为{it计算机科学家}。本文提供了一个针对分析和衡量加速效果的正确统计协议的初步努力。正如我们将看到的，社区在已发布的文章中常犯一些错误，这些错误解释了结果不可复现性的一部分。我们目前的文章本身并不足够提供一个完整的实验方法论，社区还需要进一步努力，决定未来经验的一个共同的协议。无论如何，我们的社区应该在未来关注结果的可复现性这个方面。
作者：Sid Touati (PRISM)
论文ID：0902.1035
分类：Performance
分类简称：cs.PF
提交时间：2009-07-06