个人简介
招生方向
深度强化学习，自适应动态规划，强化学习，智能控制
智能驾驶，智能游戏，机器人，智能交通，能源管控
神经架构搜索，自动机器学习
教育背景
1996-09--2000-04 哈尔滨工业大学 博士
1994-09--1996-07 哈尔滨工业大学 硕士
1990-09--1994-07 哈尔滨工业大学 学士
出国学习工作
2007年8月-2008年8月，University of Arizona, 访问学者，国家留学基金委公派留学计划。
工作简历
2014-01~2014-02,新加坡科技研究局, 访问学者
2012-11~现在, 中科院自动化所, 研究员、博导
2002-04~2012-10,中国科学院自动化研究所, 副研、硕导-博导
2000-05~2002-01,清华大学, 博士后
教授课程
强化学习
智能控制
智能控制理论基础及应用
奖励信息
（1） 2017年度IEEE Transactions on Cognitive and Developmental Systems优秀论文奖（唯一）, , 其他, 2019
（2） IEEE Fellow, , 其他, 2019
（3） 《控制理论与应用》优秀编委, , 其他, 2019
（4） 中国人工智能学会优秀博士学位论文指导教师, , 部委级, 2019
（5） 2019年中国AI+创新创业大赛, 一等奖, 部委级, 2019
（6） IJCNN 2018 Best Student Paper Final List, 其他, 2018
（7） 《控制理论与应用》优秀论文奖, 其他, 2018
（8） 前方车辆距离监测第1名，2017年中国智能车未来挑战赛—复杂交通环境认知基础能力离线测试比赛, 一等奖, 国家级, 2017
（9） 前方车辆检测第1名，2017年中国智能车未来挑战赛—复杂交通环境认知基础能力离线测试比赛, 一等奖, 国家级, 2017
（10） 基于数据的非线性系统自学习最优控制理论与方法, 三等奖, 部委级, 2015
（11） 中国科学院“朱李月华优秀教师”奖, , 院级, 2014
（12） 中国石油和化工自动化应用协会科技进步一等奖, 一等奖, 部委级, 2012
（13） 北京市科学技术奖, 三等奖, 省级, 2010
（14） 中国石油和化学工业协会科技进步三等奖, 三等奖, 部委级, 2009
专利成果
（ 1 ） 极坐标方式自动水平调节吊具系统及方法, 发明, 2010, 第 1 作者, 专利号: ZL200710178782.8
（ 2 ） 转球式洗衣机及方法, 发明, 2010, 第 1 作者, 专利号: ZL200510011787.2
（ 3 ） 一种应用于互联网的网络拥塞控制系统及方法, 发明, 2010, 第 3 作者, 专利号: ZL 200610113821.1
（ 4 ） 火灾抢险机器人系统及其方法, 发明, 2010, 第 1 作者, 专利号: ZL200510126236.0
（ 5 ） 一种正交式水平自动调节吊具及方法, 发明, 2010, 第 3 作者, 专利号: ZL200710122474.3
（ 6 ） 火灾救援机器人系统及其方法, 发明, 2010, 第 1 作者, 专利号: ZL200510130759.2
（ 7 ） 街区路口交通信号优化控制方法, 发明, 2011, 第 1 作者, 专利号: ZL200910076851.3
（ 8 ） 单配重式自动水平调节吊具系统及方法, 发明, 2012, 第 1 作者, 专利号: ZL200810240941.7
（ 9 ） 车辆的自适应巡航控制系统和方法, 发明, 2013, 第 1 作者, 专利号: ZL201010615914.0
（ 10 ） 煤气化炉仿真方法, 发明, 2014, 第 1 作者, 专利号: ZL201210291386.7
（ 11 ） 模糊自适应动态规划方法, 发明, 2014, 第 1 作者, 专利号: ZL201210118982.5
（ 12 ） Adaptive Cruise Control System and Method for Vehicle, 发明, 2016, 第 1 作者, 专利号: PAT 9266533
（ 13 ） 基于监督式强化学习的最优控制方法, 发明, 2016, 第 1 作者, 专利号: ZL103324085A
（ 14 ） 基于数据的Q函数自适应动态规划方法, 发明, 2016, 第 1 作者, 专利号: ZL103217899A
（ 15 ） 一种基于稀疏强化学习的传感器网络优化方法, 发明, 2017, 第 1 作者, 专利号: ZL201310739109.2
（ 16 ） 储能电池充/放电异常行为检测方法及检测系统, 发明, 2019, 第 1 作者, 专利号: ZL201610687158.X
发表著作
（1） 全方位移动机器人导论, An introduction to Omnidirectinoal Mobile Robots, 科学出版社, 2010-05, 第 1 作者
（2） 机器人手册，第26章-面向操作任务的运动, Springer Handbook of Robotics, Chapter 26 - Motion for Manipulation Tasks, 机械工业出版社, 2013-01, 第 1 作者
（3） 机器人手册，第51章-智能车辆, Springer Handbook of Robotics, Chapter 51 - Intelligent Vehicles, 机械工业出版社, 2013-01, 第 1 作者
（4） Advances in Brain Inspired Cognitive Systems, Advances in Brain Inspired Cognitive Systems, Springer Heidelberg Dordrecht London NewYork, 2013-06, 第 3 作者
（5） Frontiers of Intelligent Control and Information Processing, Frontiers of Intelligent Control and Information Processing, World Scientific Publishing, 2014-11, 第 3 作者
（6） Advances in Neural Networks – ISNN 2015, Springer Heidelberg Dordrecht London NewYork, 2015-04, 第 4 作者
（7） Neural Information Processing, Lecture Notes in Computer Science 10636, 10637, 10638, 10639, Springer Heidelberg Dordrecht London NewYork, 2017-10, 第 4 作者
科研项目
（ 1 ） 基于数据的非线性控制系统分析与设计, 参与, 国家级, 2011-01--2014-12
（ 2 ） 汽车的智慧起停巡航控制, 主持, 省级, 2012-01--2014-12
（ 3 ） 基于监督式ADP 的汽车智能巡航控制, 主持, 国家级, 2013-01--2016-12
（ 4 ） 能源管控中心平行控制节能技术研究, 参与, 省级, 2013-04--2014-12
（ 5 ） 建筑能耗数据挖掘与分析工具包开发, 参与, 省级, 2013-12--2014-12
（ 6 ） 汽车自适应巡航控制(ACC)系统及方法, 主持, 省级, 2013-09--2016-05
（ 7 ） 人机交互的监督强化学习控制理论和方法, 主持, 研究所（学校）, 2015-01--2016-12
（ 8 ） 深度自适应动态规划理论方法和应用, 主持, 国家级, 2016-01--2019-12
（ 9 ） 基于数据的建筑群及分布式能源系统一体化建模与自学习优化控制, 参与, 国家级, 2016-01--2020-12
（ 10 ） 中国科学院海外评审专家（何海波）, 主持, 部委级, 2015-01--2016-12
（ 11 ） 智能辅助驾驶控制系统关键技术研究与产品开发, 主持, 国家级, 2016-07--2019-06
（ 12 ） 不完全信息动态博弈的优化决策, 主持, 国家级, 2017-03--2018-12
（ 13 ） 深度神经网络优化的群体协作神经动力学方法, 主持, 部委级, 2018-01--2020-12
（ 14 ） 智能驾驶危险目标检测的深度强化学习方法, 主持, 省级, 2018-01--2019-12
（ 15 ） 高度自动驾驶（L4级）电动汽车关键技术研发及验证平台开发--深度强化学习应用, 主持, 省级, 2018-01--2019-12
（ 16 ） “气虚证辨证标准的系统研究”的中医证候辨证新方法研究--中医AI, 主持, 国家级, 2018-01--2020-12
（ 17 ） 基于人工智能的智能驾驶体验科普展品, 主持, 省级, 2018-01--2018-12
（ 18 ） 强化学习技术和硬件化技术研究, 主持, 院级, 2018-09--2019-06
（ 19 ） 面向智能驾驶的深度强化学习方法研究, 主持, 院级, 2018-09--2019-08
（ 20 ） 面向地铁运营场景需求的智能感知核心技术研究, 主持, 院级, 2018-09--2019-08
（ 21 ） 非完全信息条件下的博弈决策--知识与数据共同驱动的深度强化学习算法, 主持, 国家级, 2020-01--2022-12
（ 22 ） 复杂城市交互场景下的电动汽车智能决策技术, 主持, 省级, 2019-07--2020-06
（ 23 ） 适配硬件的算子结构优化及自动并行切分技术研究, 主持, 院级, 2019-08--2020-05
参与会议
（1）Deep Reinforcement Learning for Video Game 华为多智能体强化学习研讨会 2019-04-25
（2）深度强化学习算法与医疗应用 中国中医药信息研究会临床研究分会第三届学术年会 2018-09-08
（3）深度强化学习算法与应用 中国自动化学会“深度与宽度强化学习”前沿论坛 2018-05-30
（4）Game AI with RL and DL 2018-05-21
（5）深度强化学习进展：从AlphaGo到AlphaGo Zero 第二届世界智能大会 2018-05-17
（6）Game AIs with RL and DL 2018-05-16
（7）Recent Progress on Deep Reinforcement Learning-- from AlphaGo to AlphaGo Zero 三星机器学习前沿研讨会 2018-01-15
（8）深度强化学习算法及应用 中国电力科学研究院2017年二 零八科学会议—人工智能在电力领域的研究应用方向和关键技术 2017-12-06
（9）Cooperative reinforcement learning for multiple units combat in StarCraft Kun Shao, Yuanheng Zhu, Dongbin Zhao 2017-11-28
（10）Event-triggered integral reinforcement learning for nonlinear continuous-time systems Qichao Zhang, Dongbin Zhao 2017-11-28
（11）深度强化学习进展—从AlphaGo到AlphaGo Zero 中国仿真学会智能物联专委会会议 2017-11-17
（12）Off-Policy reinforcement learning for partially unknown nonzero-sum games 2017-11-16
（13）FMR-GA -- A cooperative multi-agent reinformcement learning algorithm based on gradient ascent 2017-11-16
（14）人工智能方法及其在智慧城市中的应用 泰山科技论坛—人工智能在智慧城市建设中的应用研究 2017-11-08
（15）A Kolmogorov-Smirnov test to detect changes in stationarity in big data 2017-07-06
（16）Multi-task learning with Cartesian product-based multi-objective combination for dangerous object detection 2017-06-10
（17）Data-driven adaptive dynamic programming for two-player nonzero-sum game 2017-05-29
（18）Comparison of methods to efficient graph SLAM under general optimization framework 2017-05-19
（19）Policy gradient methods with gaussian process modelling acceleration 2017-05-16
近期论文
查看导师新发文章
（温馨提示：请注意重名现象，建议点开原文通过作者单位确认）
（1） Deep sparse representation-based mid-level visual elements discovery in fine-grained classification, Soft Computing, 2019-09, 第 2 作者
（2） Guest Editorial: Deep reinforcement learning and games, IEEE Computational Intelligence Magazine, 2019-08, 第 1 作者
（3） Control-limited adaptive dynamic programming for multi-Battery energy storage systems, IEEE Trans. on Smart Grid, 2019-07, 第 2 作者
（4） Reinforcement learning and deep learning based lateral control for autonomous driving, IEEE Computational Intelligence Magazine, 2019, 第 2 作者
（5） Adaptive cruise control via adaptive dynamic programming with experience replay, Soft Computing, 2019, 第 2 作者
（6） Adaptive optimal control of cooperative adaptive cruise control with uncertain heterogeneous vehicles, IEEE Control System Technology, 2019, 第 2 作者
（7） StarCraft micromanagement with reinforcement learning and curriculum transfer learning, IEEE Transactions on Emerging Topics in Computational Intelligence, 2019, 第 3 作者
（8） Data-based reinforcement learning for nonzero-sum games with unknown drift dynamics, IEEE Transactions on Cybernetics, 2019, 第 2 作者
（9） Policy iteration for Hinfinity optimal control of polynomial nonlinear systems via sum of squares programming, IEEE Transactions on Cybernetics, 2018, 第 2 作者
（10） Event-based robust control for uncertain nonlinear systems using adaptive dynamic programming, IEEE Transactions on Neural Networks and Learning Systems, 2018, 第 2 作者
（11） A pdf-free change detection test based on density difference estimation, IEEE Transactions on Neural Networks and Learning Systems, 2018, 第 3 作者
（12） Multi-task learning for dangerous object detection in autonomous driving, Information Sciences, 2018, 第 2 作者
（13） Comprehesive comparison of online ADP algorithms for continuous-time optimal control, Artificial Intelligence Review, 2018, 第 2 作者
（14） Iterative adaptive dynamic programming solving unknown nonlinear zero-sum game based on online measurement, IEEE Transactions on Neural Networks and Learning Systems, 2017, 第 2 作者
（15） A semi-supervised predictive sparse decomposition based on the task-driven dictionary learning, Cognitive Computation, 2017, 第 2 作者
（16） Model-free optimal control based intelligent cruise control with hardware-in-the-loop demonstration, IEEE Computational Intelligence Magazine, 2017, 第 1 作者
（17） Deep reinforcement learning with visual attention for vehicle classification, IEEE Transactions on Cognitive and Developmental Systems, 2017, 第 1 作者
（18） Event-triggered optimal control for nonlinear constrained-input systems with partially unknown dynamics via adaptive dynamic programming, IEEE Transactions on Industrial Electronics, 2017, 第 2 作者
（19） An incremental change detection test based on density difference estimation, IEEE Transactions on Systems, Man and Cybernetics: Systems, 2017, 第 2 作者
（20） Event-triggered H∞ control for continuous-time nonlinear system via concurrent learning, IEEE Transactions on Systems, Man and Cybernetics: Systems, 2017, 第 2 作者
（21） Data-driven adaptive dynamic programming for continuous-time fully cooperative games with partially constrained inputs, Neurocomputing, 2017, 第 2 作者
（22） Editorial: new developments in neural network structures for signal processing, autonomous decision, and adaptive controll, IEEE Transactions on Neural Networks and Learning Systems, 2017, 第 5 作者
（23） 深度强化学习进展—从AlphaGo到AlphaGo Zero, 控制理论与应用, 2017, 第 3 作者
（24） 深度强化学习综述: 兼论计算机围棋的发展, 控制理论与应用, 2016, 第 1 作者
（25） Experience replay for optimal control of nonzero-sum game systems with unknown dynamics, IEEE Transactions on Cybernetics, 2016, 第 1 作者
（26） Online reinforcement learning control by Bayesian inference, IET Control Theory & Applications, 2016, 第 2 作者
（27） Using reinforcement learning techniques to solve continuous-time nonlinear optimal tracking problem without system dynamics, IET Control Theory and Applications, 2016, 第 2 作者
（28） Event-triggered H∞ control for continuous-time nonlinear system via concurrent learning, IEEE Transactions on Systems, Man and Cybernetics: Systems, 2016, 第 2 作者
（29） 概率近似正确的强化学习算法解决连续状态空间控制问题, 控制理论与应用, 2016, 第 2 作者
（30） FMRQ-A multiagent reinforcement learning algorithm for fully cooperative tasks, IEEE Transactions on Cybernetics, 2016, 第 2 作者
（31） “机器智能、系统优化与最优决策”专刊, 控制理论与应用, 2016, 第 5 作者
（32） Model-free iterative adaptive dynamic programming solving unknown nonlinear zero-sum game based on online measurement, IEEE Transactions on Neural Networks and Learning Systems, 2016, 第 2 作者
（33） MEC—a near-optimal online reinforcement learning algorithm for continuous deterministic systems, IEEE Transactions on Neural Networks and Learning Systems, 2015, 第 1 作者
（34） Convergence analysis and application of fuzzy-HDP for nonlinear discrete-time HJB systems, Neurocomputing, 2015, 第 2 作者
（35） Model-free optimal control for affine nonlinear systems based on action dependent heuristic dynamic programming with convergency analysis, IEEE Transactions on Automation and Science Engineering, 2015, 第 1 作者
（36） A data-based online reinforcement learning algorithm satisfying probably approximately correct principle, Neural Computing and Applications, 2015, 第 1 作者
（37） Full range adaptive cruise control based on supervised adaptive dynamic programming, Neurocomputing, 2014, 第 1 作者
（38） Detecting and reacting to changes in sensing units: the active classifier case, IEEE Transactions on System, Man and Cybernetics Part A – Systems, 2014, 第 3 作者
（39） Dual heuristic dynamic programming for nonlinear discrete-time uncertain systems with state delay, Neurocomputing, 2014, 第 2 作者
（40） A supervised actor-critic approach for adaptive cruise control, Soft Computing, 2013, 第 1 作者
（41） A Neural-Network-Based Iterative GDHP Approach for Solving a Class of Nonlinear Optimal Control Problems with Control Constraints, Neural Computing and Applications, 2013, 第 3 作者
（42） Computational intelligence in urban traffic signal control, a survey, IEEE Transactions on System, Man and Cybernetics Part C: Applications and Reviews, 2012, 第 1 作者
（43） Self-teaching adaptive dynamic programming for Go-Moku, Neurocomputing, 2012, 第 1 作者
（44） DHP for coordinated freeway ramp metering, IEEE Transactions on Intelligent Transportation Systems, 2011, 第 1 作者
（45） Adaptive cruise control based on reinforcement leaning with shaping rewards, Journal of Advanced Computational Intelligence and Intelligent Informatics, 2011, 第 2 作者
（46） Motion and internal force control for omni-directional wheeled mobile robots, IEEE/ASME Transactions on Mechatronics, 2009, 第 1 作者
（47） Trajectory tracking control of omnidirectional wheeled mobile manipulators: robust neural network based sliding mode approach., IEEE Transactions on Systems, Man and Cybernetics Part B - Cybernetics, 2009, 第 2 作者
（48） Coordinated control of multiple ramps metering based on ADHDP (λ) Controller, International Journal of Innovative Computing, Information and Control, 2009, 第 2 作者
学术兼职
2019-12-11-2019-12-16,The 10th International Conference on Intelligent Control and Information Processing (ICICIP 2019), Marrakesh, Morocco, Program Chair
2019-12-06-2019-12-09,IEEE Symposium on Adaptive Dynamic Programming and Reinforcement Learning (ADPRL 2019), Xiamen, China, Program Chair
2019-07-13-2019-07-18,IEEE International Joint Conference on Neural Networks (IJCNN 2019), Budapest, Hungary, Program Co-Chair
2019-05-04-2019-05-06,IEEE International Conference on Computational Intelligence for Financial Engineering and Economics (CIFEr 2019), Shenzhen, China, General Co-Chair
2019-01-01-2019-12-31,IEEE CIS Technical Activities Strategy Planning Sub-Committee, Chair
2018-12-01-2018-12-04,The 25th International Conference on Neural Information Processing (ICONIP 2018), Siem Reap, Cambodia, Dec 1-4, 2018, Tutorial Chair
2018-11-18-2018-11-21,IEEE Symposium on Adaptive Dynamic Programming and Reinforcement Learning (ADPRL 2018), Bangalore, India, Nov. 18 -21, 2018, Program Chair
2018-09-01-2019-08-31,IEEE Computation Intelligence Magazine special issue on “Deep Reinforcement Learning and Games”., Lead Guest Chair
2018-06-29-2018-07-06,2018 Eighth International Conference on Information Science and Technology (ICIST 2018), Cordoba, Granada, and Seville, Spain during June 30-July 6, 2018, Program Chair
2018-06-01-今,IEEE Transactions on Neural Networks and Learning Systems special issue on “Deep Reinforcement Learning and Adaptive Dynamic Programming”, Lead Guest Editor
2018-03-01-今,IEEE Transactions on Cybernetics, Associate Editor
2017-11-26-2017-11-30,IEEE Symposium on Adaptive Dynamic Programming and Reinforcement Learning (ADPRL 2017), Honolulu, Hawaii, USA, Program Chair
2017-11-13-2017-11-17,The 24th International Conference on Neural Information Processing (ICONIP 2017), Guangzhou, China, Program Chair
2017-07-05-2017-07-27,2017 IEEE CIS Summer School on Computational and Artificial Intelligence, Chair
2017-01-01-今,IEEE计算智能学会北京分会, 主席
2016-12-05-2016-12-08,IEEE Symposium on Adaptive Dynamic Programming and Reinforcement Learning (ADPRL 2016), Athens, Greece, Program Chair
2016-07-25-2017-07-29,IEEE World Congress on Computational Intelligence (WCCI 2016), Vancouver, Canada, Publicity Co-chair
2016-06-11-2016-06-14,The 13th World Congress on Intelligent Control and Automation (WCICA 2016), Guilin, China, Program Co-Chair
2015-10-15-2015-10-18,12th International Symposium on Neural Networks (ISNN 2015), Jeju, Korea, Program Co-Chair
2015-04-24-2015-04-26,The 5th International Conference on Information Science and Technology (ICIST 2015), Changsha, China, Program Chair
2015-01-01-今,Artificial Intelligence Review, Associate Editor
2014-12-31-2016-12-31,IEEE计算智能学会自适应动态规划和强化学习技术委员会, 主席
2014-12-31-2015-12-31,IEEE计算智能学会旅行资助委员会, 主席
2014-12-31-2016-12-31,IEEE计算智能学会多媒体委员会, 主席
2014-12-31-2016-12-31,IEEE计算智能学会北京分会, 副主席
2014-12-09-2014-12-12,IEEE Symposiums Series on Computational Intelligence (SSCI 2014), Atlanta, USA, Poster Chair
2014-07-06-2014-07-11,IEEE World Congress on Computational Intelligence (WCCI 2014), Beijing, China, Finance Co-Chair
2014-07-06-2014-07-11,IEEE CIS Summer School on Automated Computational Intelligence, Beijing, China, Chair
2014-01-01-今,IEEE Computational Intelligence Magazine, Associate Editor,
2013-06-09-2013-06-11,The 4th International Conference on Intelligent Control and Information Processing (ICICIP 2013), Beijing, China, Program Chair
2012-12-31-2014-12-30,IEEE CIS Newsletter, Editor,
2012-07-11-2012-07-14,International Symposium on Neural Networks (ISNN 2012), Shenyang, China, Registration Chair
2012-07-11-2012-07-14,Brain Inspired Cognitive Systems (BICS 2012), Shenyang, China, Finance Chair
2012-01-01-今,IEEE Transactions on Neural Networks and Learning Systems, Associate Editor
2011-11-01-今,Cognitive Computation, Associate Editor,
2010-10-01-今,IEEE高级会员,
京公网安备 11010802027423号