近日，课题组成员张苏男在Engineering Applications of Artificial Intelligence上发表了题为“A Knowledge-Guided Reinforcement Learning Method for Lateral Path Tracking”的研究论文，Engineering Applications of Artificial Intelligence是国际上计算机人工智能领域的顶级期刊，SCI期刊中科院分区2区TOP期刊，影响因子7.5。该论文第一完成单位为重庆理工大学车辆工程学院，胡博老师为第一作者，张苏男同学为共同第一作者，张毅老师为第一通讯作者(DOI: https://doi.org/10.1016/j.engappai.2024.109588)。

自动驾驶车辆中的横向控制算法通常需要在实际环境中进行在线微调过程。尽管强化学习（RL）能够通过与动态环境的反复试错交互，使车辆学习并改进横向控制性能，但将RL直接应用于现实物理世界中的安全关键应用具有挑战性，因为在学习过程中确保安全性仍然困难。为实现安全学习，一个有前景的方向是利用之前收集的离线数据，这在工程应用中通常是可获得的。在此背景下，本文提出了一组知识引导的RL算法，这些算法不仅能够充分利用事先收集的离线数据，而无需基于物理的模拟器，还能在平滑、安全且高效的方式下实现进一步的在线策略改进。为了评估所提出算法在实际控制器上的有效性，构建了一个硬件在环系统和一个小型车辆平台。与原始RL、行为克隆和现有控制器相比，所提出的算法实现了从离线训练到在线微调的横向控制问题的闭环解决方案，使其对未来类似的基于RL的控制器具有构建优势。