使用AVX-512指令转码Unicode字符

摘要:使用AVX-512指令,高效地在常见格式UTF-8和UTF-16之间转换字符串。通过创新算法,我们的解决方案在速度上通常是之前最佳解决方案的两倍。例如,我们将UTF-8编码的中文文本转换为UTF-16的速度超过5 GiB/s,每个字符使用少于2条CPU指令。为了确保可复现性,我们将我们的软件作为开源库免费提供。我们的库是流行的Node.js JavaScript运行时的一部分。

作者:Robert Clausecker and Daniel Lemire

论文ID:2212.05098

分类:Data Structures and Algorithms

分类简称:cs.DS

提交时间:2023-08-08

PDF 下载: 英文版 中文版pdf翻译中