现实限价挂单市场模拟中的多智能体强化学习
摘要：最优订单执行的研究被业界实践者和学术研究者广泛研究，因为它决定了投资决策和大量订单涉及的高级交易策略的盈利能力。然而，复杂且未知的市场动态为最优执行策略的开发和验证带来了重大挑战。在本文中，我们提出了一种无模型的方法，通过在一个现实市场模拟环境中训练具有多个代理的强化学习（RL）代理来解决这个问题。首先，我们在基于Agent-Based Interactive Discrete Event Simulation（ABIDES）[arXiv:1904.12066]的执行任务上构建一个多代理历史订单簿模拟环境。其次，我们在RL设置中制定了最优执行问题的模型，智能代理可以根据高频交易（HFT）中的市场微观结构交易信号进行订单执行和放置决策。第三，我们使用ABIDES环境中的Double Deep Q-Learning（DDQL）算法开发和训练了一个RL执行代理。在某些场景中，我们的RL代理会收敛到一个时间加权平均价格（TWAP）策略。最后，我们通过将其与使用真实市场限价订单簿（LOB）数据的市场回放模拟进行比较来评估我们的RL代理的模拟情况。
作者：Micha"el Karpe, Jin Fang, Zhongyao Ma, Chen Wang
论文ID：2006.05574
分类：Trading and Market Microstructure
分类简称：q-fin.TR
提交时间：2020-09-15