本书是一本体系完整、算法和案例丰富的人工智能类教材。本书系统地讲解深度学习的理论与方法，主要内容包括绪论、深度学习基础、卷积神经网络、循环神经网络、深度序列模型、深度生成网络、图神经网络、注意力机制、深度强化学习、深度迁移学习、无监督深度学习。本书通过丰富的实例讲解方法的应用；强调深度学习的系统性、方法的时效性，同时针对深度学习快速发展的特点，讲解深度学习的最新技术，本书配备了实例的数字化资源，供学习者下载。 　　本书既可以作为国内各高等学校、科研院所本科生、研究生的教材，也可以供国内外从事深度学习的研究人员和工程人员使用。 　　本书配有电子课件，欢迎选用本书作教材的教师登录www.compedu.com 注册后下载。

高等院校教师

目录
序
前言
第1章绪论
1.1深度学习简介
1.2深度学习的发展历史
1.2.1深度学习技术的发展历史
1.2.2深度学习产业应用的变迁史
1.3深度学习的分类
1.3.1任务类型
1.3.2模型类型
1.4度量指标
1.4.1回归任务指标
1.4.2分类任务指标
1.4.3生成任务指标
本章小结
思考题与习题
参考文献
第2章深度学习基础
2.1线性代数
2.1.1标量和向量
2.1.2矩阵和张量
2.1.3矩阵计算
2.1.4范数
2.2微积分
2.2.1导数和微分
2.2.2偏导数和梯度
2.2.3链式法则
2.3概率论
2.3.1概率分布
2.3.2期望和方差
2.3.3条件概率和联合概率
2.3.4全概率公式与贝叶斯定理
2.3.5边缘概率分布
2.4距离与相似度计算
2.4.1常见的距离计算
2.4.2常见的相似度计算
2.5激活函数
2.6感知机与多层感知机
2.6.1感知机
2.6.2多层感知机
2.7反向传播算法
本章小结
思考题与习题
参考文献
第3章卷积神经网络
3.1简介
3.1.1基本概念
3.1.2发展历程
3.2基础模块
3.2.1端到端架构
3.2.2输入层
3.2.3卷积层
3.2.4池化层
3.2.5激活层
3.2.6全连接层
3.2.7目标函数
3.3典型卷积神经网络
3.3.1LeNet-5
3.3.2AlexNet
3.3.3VGGNet
3.3.4GoogLeNet
3.3.5ResNet
3.3.6R-CNN系列
3.3.7YOLO系列
3.3.8MobileNet
3.3.9Conformer
3.4各种卷积
3.4.12D卷积
3.4.23D卷积
3.4.31×1卷积
3.4.4空间可分离卷积
3.4.5深度可分离卷积
3.4.6分组卷积
3.4.7扩张卷积
3.5卷积神经网络实例
3.5.1实例背景
3.5.2数据准备
3.5.3模型构建与训练
3.5.4模型评估与调整
本章小结
思考题与习题
参考文献
第4章循环神经网络
4.1循环神经网络的结构
4.2循环神经网络的训练
4.2.1损失函数
4.2.2时间反向传播算法
4.2.3梯度消失与梯度爆炸
4.3双向循环神经网络与深度循环神经网络
4.4长短期记忆网络
4.4.1LSTM记忆单元
4.4.2LSTM记忆方式
4.5门控循环单元
4.6递归神经网络
4.7双向长短期记忆网络与双向门控循环单元
4.8应用实例
4.8.1实例背景
4.8.2基本流程
本章小结
思考题与习题
参考文献
第5章深度序列模型
5.1深度序列模型概述
5.1.1深度序列模型结构
5.1.2序列生成模型解决的问题
5.2编码器-解码器架构
5.3序列到序列模型
5.4融入注意力机制的序列到序列模型
5.5Transformer架构
5.5.1Transformer的输入
5.5.2Transformer编码器
5.5.3Transformer解码器
5.6Transformer变体
5.6.1Transformer的模块变体
5.6.2Transformer的应用变体
5.7深度序列模型实例
5.7.1实例背景
5.7.2数据准备
5.7.3模型构建
5.7.4模型训练与应用
本章小结
思考题与习题
参考文献
第6章深度生成网络
6.1深度生成模型简介
6.2基于玻尔兹曼机的方法
6.2.1受限玻尔兹曼机
6.2.2深度置信网络
6.2.3深度玻尔兹曼机
6.3基于变分自动编码器的方法
6.3.1VAE模型的基本原理
6.3.2几种重要的VAE结构
6.4基于生成对抗网络的方法
6.4.1生成对抗网络的基本原理
6.4.2生成对抗网络的稳定性研究
6.4.3生成对抗网络的结构发展
6.5基于流模型的方法
6.5.1流模型的基本原理
6.5.2常规流
6.5.3流模型的衍生结构
6.6基于扩散模型的方法
6.6.1扩散模型的基本原理
6.6.2条件扩散模型的技术方案
6.7基于自回归网络的方法
6.7.1自回归网络的基本原理
6.7.2自回归网络的衍生结构
6.8大语言模型
6.8.1模型架构
6.8.2常用大模型
6.8.3预训练大语言模型的优化技巧
6.9深度生成模型实例
本章小结
思考题与习题
参考文献
第7章图神经网络
7.1图神经网络概述
7.1.1图神经网络的发展起源
7.1.2图神经网络的设计
7.1.3图神经网络计算模块
7.2图卷积神经网络
7.2.1基于谱的方法
7.2.2基于空间的方法
7.3图循环网络
7.3.1基于门控循环单元的方法
7.3.2基于长短期记忆网络的方法
7.4图注意力网络
7.4.1基于自注意力的方法
7.4.2基于层注意力的方法
7.5图神经网络实例
7.5.1实例背景
7.5.2数据准备
7.5.3模型构建与训练
本章小结
思考题与习题
参考文献
第8章注意力机制
8.1注意力机制简介
8.1.1基本概念
8.1.2发展历程
8.2注意力模型基本架构
8.3注意力机制分类
8.3.1一般模式注意力
8.3.2键值对模式注意力
8.3.3多头注意力
8.4注意力模型
8.4.1通道&空间注意力
8.4.2混合注意力
8.4.3自注意力
8.4.4类别注意力
8.4.5时间注意力
8.4.6频率注意力
8.4.7全局注意力
8.5注意力机制实例
8.5.1实例背景
8.5.2数据准备
8.5.3模型构建与训练
8.5.4模型评估与调整
8.5.5实例运行结果
本章小结
思考题与习题
参考文献
第9章深度强化学习
9.1强化学习基本概念
9.1.1强化学习基础框架
9.1.2强化学习关键要素
9.1.3马尔可夫决策过程
9.2深度价值学习
9.2.1DQN
9.2.2TD算法
9.2.3噪声DQN
9.3深度策略学习
9.3.1策略梯度
9.3.2策略梯度理论证明
9.3.3REINFORCE算法
9.3.4Actor-Critic学习
9.3.5带基线的策略梯度方法
9.4模仿学习
9.4.1模仿学习基础
9.4.2逆强化学习
9.5基于人类反馈的强化学习
9.6深度强化学习实例
9.6.1实例背景
9.6.2环境准备
9.6.3模型构建
9.6.4模型训练
本章小结
思考题与习题
参考文献
第10章深度迁移学习
10.1迁移学习
10.1.1深度迁移学习简介
10.1.2深度迁移学习分类
10.2基于微调的方法
10.3基于冻结CNN层的方法
10.4渐进式学习方法
10.5基于对抗思想的方法
10.6相关数据集
10.7深度迁移学习实例
10.7.1背景
10.7.2数据准备
10.7.3模型构建与训练
本章小结
思考题与习题
参考文献
第11章无监督深度学习
11.1概述
11.2基于掩码的任务
11.3基于语言模型的任务
11.4基于时序的任务
11.5基于对比学习的任务
11.6经典无监督深度学习模型
11.6.1掩码自动编码器
11.6.2BERT模型
11.6.3GPT模型
11.6.4BEiT模型
11.6.5SimCLR模型
11.7无监督深度学习实例
11.7.1数据准备
11.7.2模型构建
11.7.3模型训练
本章小结
思考题与习题
参考文献