利用部分测量的强化学习进行减阻的尾流主动流动控制
摘要：使用强化学习（RL）进行减阻活性流控制，在二维方形钝体的涡脱落的层流条件下进行。由神经网络参数化的控制器被训练来驱动两个吹气和抽吸喷口。利用完全可观测性（在尾迹中的传感器）的RL成功地发现了一种控制策略，通过抑制尾迹中的涡脱落来减少阻力。然而，当控制器使用部分测量（在物体上的传感器）进行训练时，观察到了一个不可忽视的性能下降（减阻效果少约50%）。为了减轻这种影响，我们提出了一种动态、高能效、最大熵RL控制方案。首先，提出了一个基于能效的奖励函数，用于优化控制器的能量消耗，同时最大化减阻效果。其次，使用增强状态训练控制器，该状态包括当前和过去的观察和动作，可以形成一个非线性自回归外生模型，以缓解部分可观测性问题。第三，使用最大熵RL算法，以一种高效的样本方式促进探索和开发，并在部分测量的挑战性情况下发现接近最优的策略。使用仅在物体后面的表面压力测量，在近场尾迹中实现了对涡脱落的完全稳定，结果与具有尾迹传感器的情况下的减阻效果相似。该方法为使用部分测量进行实际配置的动态流控制开辟了新的途径。
作者：Chengwei Xia, Junjie Zhang, Eric C. Kerrigan, Georgios Rigas
论文ID：2307.12650
分类：Fluid Dynamics
分类简称：physics.flu-dyn
提交时间：2023-07-25