我用夸克网盘分享了「强化学习：原理与Python实现.epub」，点击链接即可保存。打开「夸克APP」在线查看，支持多种文档格式转换。

内容简介

本书理论完备，涵盖主流经典强化学习算法和深度强化学习算法；实战性强，基于Python、Gym、TensorFlow 2、AlphaZero等构建，配套代码与综合案例。全书共12章，主要内容如下。 第1章：介绍强化学习的基础知识与强化学习环境库Gym的使用，并给出完整的编程实例。 第2～9章：介绍强化学习的理论知识。以Markov决策过程为基础模型，覆盖了所有主流强化学习理论和算法，包括资格迹等经典算法和深度确定性梯度策略等深度强化学习算法。所有章节都提供了与算法配套的Python程序，使读者完全掌握强化学习算法的原理与应用。 第10～12章：介绍了多个热门综合案例，包括电动游戏、棋盘游戏和自动驾驶。算法部分涵盖了在《自然》《科学》等权威期刊上发表的多个深度强化学习明星算法。

作者简介

肖智清 强化学习一线研发人员，清华大学工学博士，现就职于全球知名投资银行。擅长概率统计和机器学习，近5年发表SCI/EI论文十余篇，是多个顶级期刊和会议审稿人。在国内外多项程序设计和数据科学竞赛上获得冠军。

网友热评

王见现: 强化学习是一种重要的机器学习方法，买本书来学习学习。

图书目录

前言 第1章　初识强化学习1 1.1　强化学习及其关键元素1 1.2　强化学习的应用3 1.3　智能体/环境接口4 1.4　强化学习的分类6 1.4.1　按任务分类6 1.4.2　按算法分类7 1.5　如何学习强化学习8 1.5.1　学习路线9 1.5.2　学习资源9 1.6　案例：基于Gym库的智能体/环境交互9 1.6.1　安装Gym库10 1.6.2　使用Gym库10 1.6.3　小车上山12 1.7　本章小结14 第2章　Markov决策过程16 2.1　Markov决策过程模型16 2.1.1　离散时间Markov决策过程16 2.1.2　环境与动力18 2.1.3　智能体与策略19 2.1.4　奖励、回报与价值函数19 2.2　Bellman期望方程21 2.3　最优策略及其性质25 2.3.1　最优策略与最优价值函数25 2.3.2　Bellman最优方程25 2.3.3　用Bellman最优方程求解最优策略29 2.4　案例：悬崖寻路31 2.4.1　实验环境使用31 2.4.2　求解Bellman期望方程32 2.4.3　求解Bellman最优方程33 2.5　本章小结35 第3章　有模型数值迭代37 3.1　度量空间与压缩映射37 3.1.1　度量空间及其完备性37 3.1.2　压缩映射与Bellman算子38 3.1.3　Banach不动点定理39 3.2　有模型策略迭代40 3.2.1　策略评估40 3.2.2　策略改进42 3.2.3　策略迭代44 3.3　有模型价值迭代45 3.4　动态规划46 3.4.1　从动态规划看迭代算法46 3.4.2　异步动态规划47 3.5　案例：冰面滑行47 3.5.1　实验环境使用48 3.5.2　有模型策略迭代求解49 3.5.3　有模型价值迭代求解51 3.6　本章小结52 第4章　回合更新价值迭代54 4.1　同策回合更新54 4.1.1　同策回合更新策略评估54 4.1.2　带起始探索的同策回合更新58 4.1.3　基于柔性策略的同策回合更新60 4.2　异策回合更新62 4.2.1　重要性采样62 4.2.2　异策回合更新策略评估64 4.2.3　异策回合更新最优策略求解65 4.3　案例：21点游戏66 4.3.1　实验环境使用66 4.3.2　同策策略评估67 4.3.3　同策最优策略求解70 4.3.4　异策策略评估72 4.3.5　异策最优策略求解73 4.4　本章小结74 第5章　时序差分价值迭代76 5.1　同策时序差分更新76 5.1.1　时序差分更新策略评估78 5.1.2　SARSA算法81 5.1.3　期望SARSA算法83 5.2　异策时序差分更新85 5.2.1　基于重要性采样的异策算法85 5.2.2　Q学习86 5.2.3　双重Q学习87 5.3　资格迹89 5.3.1　λ回报89 5.3.2　TD(λ)90 5.4　案例：出租车调度92 5.4.1　实验环境使用93 5.4.2　同策时序差分学习调度94 5.4.3　异策时序差分学习调度97 5.4.4　资格迹学习调度99 5.5　本章小结100 第6章　函数近似方法101 6.1　函数近似原理101 6.1.1　随机梯度下降101 6.1.2　半梯度下降103 6.1.3　带资格迹的半梯度下降105 6.2　线性近似107 6.2.1　精确查找表与线性近似的关系107 6.2.2　线性最小二乘策略评估107 6.2.3　线性最小二乘最优策略求解109 6.3　函数近似的收敛性109 6.4　深度Q学习110 6.4.1　经验回放111 6.4.2　带目标网络的深度Q学习112 6.4.3　双重深度Q网络114 6.4.4　对偶深度Q网络114 6.5　案例：小车上山115 6.5.1　实验环境使用116 6.5.2　用线性近似求解最优策略117 6.5.3　用深度Q学习求解最优策略120 6.6　本章小结123 第7章　回合更新策略梯度方法125 7.1　策略梯度算法的原理125 7.1.1　函数近似与动作偏好125 7.1.2　策略梯度定理126 7.2　同策回合更新策略梯度算法128 7.2.1　简单的策略梯度算法128 7.2.2　带基线的简单策略梯度算法129 7.3　异策回合更新策略梯度算法131 7.4　策略梯度更新和极大似然估计的关系132 7.5　案例：车杆平衡132 7.5.1　同策策略梯度算法求解最优策略133 7.5.2　异策策略梯度算法求解最优策略135 7.6　本章小结137 第8章　执行者/评论者方法139 8.1　同策执行者/评论者算法139 8.1.1　动作价值执行者/评论者算法140 8.1.2　优势执行者/评论者算法141 8.1.3　带资格迹的执行者/评论者算法143 8.2　基于代理优势的同策算法143 8.2.1　代理优势144 8.2.2　邻近策略优化145 8.3　信任域算法146 8.3.1　KL散度146 8.3.2　信任域147 8.3.3　自然策略梯度算法148 8.3.4　信任域策略优化151 8.3.5　Kronecker因子信任域执行者/评论者算法152 8.4　重要性采样异策执行者/评论者算法153 8.4.1　基本的异策算法154 8.4.2　带经验回放的异策算法154 8.5　柔性执行者/评论者算法157 8.5.1　熵157 8.5.2　奖励工程和带熵的奖励158 8.5.3　柔性执行者/评论者的网络设计159 8.6　案例：双节倒立摆161 8.6.1　同策执行者/评论者算法求解最优策略162 8.6.2　异策执行者/评论者算法求解最优策略168 8.7　本章小结170 第9章　连续动作空间的确定性策略172 9.1　同策确定性算法172 9.1.1　策略梯度定理的确定性版本172 9.1.2　基本的同策确定性执行者/评论者算法174 9.2　异策确定性算法176 9.2.1　基本的异策确定性执行者/评论者算法177 9.2.2　深度确定性策略梯度算法177 9.2.3　双重延迟深度确定性策略梯度算法178 9.3　案例：倒立摆的控制180 9.3.1　用深度确定性策略梯度算法求解181 9.3.2　用双重延迟深度确定性算法求解184 9.4　本章小结187 第10章　综合案例：电动游戏188 10.1　Atari游戏环境188 10.1.1　Gym库的完整安装188 10.1.2　游戏环境使用190 10.2　基于深度Q学习的游戏AI191 10.2.1　算法设计192 10.2.2　智能体的实现193 10.2.3　智能体的训练和测试197 10.3　本章小结198 第11章　综合案例：棋盘游戏200 11.1　双人确定性棋盘游戏200 11.1.1　五子棋和井字棋200 11.1.2　黑白棋201 11.1.3　围棋202 11.2　AlphaZero算法203 11.2.1　回合更新树搜索203 11.2.2　深度残差网络206 11.2.3　自我对弈208 11.2.4　算法流程210 11.3　棋盘游戏环境boardgame2210 11.3.1　为Gym库扩展自定义环境211 11.3.2　boardgame2设计211 11.3.3　Gym环境接口的实现214 11.3.4　树搜索接口的实现216 11.4　AlphaZero算法实现218 11.4.1　智能体类的实现218 11.4.2　自我对弈的实现223 11.4.3　训练智能体224 11.5　本章小结225 第12章　综合案例：自动驾驶226 12.1　AirSim开发环境使用226 12.1.1　安装和运行AirSim226 12.1.2　用Python访问AirSim228 12.2　基于强化学习的自动驾驶229 12.2.1　为自动驾驶设计强化学习环境230 12.2.2　智能体设计和实现235 12.2.3　智能体的训练和测试237 12.3　本章小结239