本书以具身智能为背景，系统介绍了机器人多模态学习的理论与实现方法。本书包含四个主要部分：第一部分为机器人学基础，包括机器人运动学、动力学、运动控制等基础知识；第二部分为机器人多模态感知系统、仿真平台与典型的多模态学习框架，介绍了主流的机器人仿真环境和开发平台；第三部分是机器人典型的多模态学习方法，重点阐述了强化学习、模仿学习、虚实迁移学习等内容，讨论了端到端大模型及世界模型等新型范式；第四部分为综合应用与实践案例，通过协作机械臂、四足机器人、软体机械手、人形机器人、足球机器人等从仿真模拟到真机实践的案例，验证了机器人多模态学习的实际应用。 本书适合机器人工程、具身智能、人工智能等相关专业的高校师生、科研人员以及从事机器人研发的工程师阅读参考，也可作为读者学习具身智能、人形机器人等前沿知识的参考书。

秦建军，工学博士，北京建筑大学机器人工程系教授。教育部万名创新创业导师首批入库导师、北京市教育创新标兵、校首届青年教学名师，兼任中国人工智能学会高级会员、中国科普作家协会会员、中国创造学会理事、中国机械工程学会高级会员、北京创造学会副理事长等职。科研方面，已主持和参与了国家863计划、国家自然科学基金、北京市科技计划项目、住建部面上项目、北京市自然基金重点项目等国家及省部级项目。在国内外发表学术论文70多篇，获发明专利授权50多项，获教育部技术发明二等奖、牵头建设了国内高校首个通用人形机器人训练场。教学成果获北京市教学成果奖一等奖两项。指导学生学生获得全国挑战杯、全国节能减排大赛、全国机械创新大赛等竞赛国赛及省部级一等奖以上奖励数20余项。主要研究方向包括移动机器人、具身智能、智能设计等。

第1章绪论
1.1智能机器人
1.2机器人多模态学习
1.3典型案例
1.4小结
习题
第2章机器人运动学基础
2.1机器人位姿的数学描述
2.2坐标变换
2.3齐次坐标变换
2.4正向运动学
2.5逆向运动学
2.6雅可比矩阵
2.7运动学仿真
2.8小结
习题
第3章机器人动力学基础
3.1机器人动力学的研究内容
3.2质量、惯性与力矩分析
3.3拉格朗日法
3.4牛顿-欧拉法
3.5四足机器人动力学建模
3.6小结
习题
第4章机器人运动控制基础
4.1机器人控制的特点和分类
4.2反馈与闭环控制
4.3运动控制方法
4.4四足机器人运动控制
4.5小结
习题
第5章机器人感知系统
5.1机器人传感器的分类
5.2机器人对传感器的要求
5.3机器人外部传感器
5.4机器人内部传感器
5.5多传感器融合
5.6多传感器融合的分类
5.7小结
习题
第6章机器人的仿真环境
6.1机器人仿真平台
6.2实用案例与工具
6.3小结
习题
第7章面向具身智能的多模态学习框架
7.1基础理论
7.2多模态感知技术
7.3智能决策与执行
7.4机械智能与物理计算
7.5多模态系统集成
7.6发展趋势与挑战
7.7小结
习题
第8章强化学习
8.1基础定义
8.2无模型强化学习与Q学习算法
8.3基于策略的无模型强化学习
8.5基于价值和策略的无模型强化学习
8.5.1TRPO算法
8.5.2PPO算法
8.5.3DDPG算法
8.5.4TD3算法
8.6基于模型策略搜索
8.7小结
习题
第9章模仿学习与行为克隆
9.1理论基础与方法
9.2专家演示数据的获取
9.3分布漂移与累积误差
9.4小结
习题
第10章虚实迁移学习
10.1仿真到现实
10.2迁移学习的关键策略
10.3数据增强
10.4多模态迁移
10.5基于大语言模型的迁移学习
10.6小结
习题
第11章世界模型与具身数据集
11.1世界模型
11.2跨模态端到端模型
11.3典型的VLA模型
11.4开放平台与数据集
11.5小结
习题
第12章机械臂的抓取学习案例
12.1项目简介
12.1.1项目介绍
12.1.2强化学习算法和工具
12.1.3安装及仿真环境配置
12.2案例实验
12.2.1实验设置
12.2.2实验结果
12.3小结
第13章VLA与协作抓取学习案例
13.1项目简介
13.2在ALOHA部署ACT
13.3在ALOHA部署OpenVLA
13.4小结
第14章四足机器人的深度强化学习控制
14.1深度强化学习控制
14.2多模态学习仿真
14.3小结
第15章软体机械手的多模态抓持学习
15.1引言
15.2实验平台构建
15.3数据生成与预处理
15.4深度学习模型构建
15.5模型验证与性能评估
15.6综合性能分析与对比
15.7小结
习题
实践任务
第16章人形机器人模仿学习案例
16.1项目简介
16.2核心组件与技术解析
16.3案例部署
16.4小结
第17章人形机器人开发案例
17.1 SimpleMan简介
17.2 SimpleMan机械结构与仿真环境
17.3 SimpleMan运动学与控制系统
17.4 NanoLoong简介
17.5 NanoLoong机械结构与仿真环境
17.6小结
第18章足球机器人群体智能
18.1足球机器人及3v3比赛场景概述
18.2软硬件设置与开发配置
18.3群体智能的核心原理和协作机制
18.4机器人调试与实战场景模拟
18.5小结
第19章OpenLoong机器人开源社区
19.1社区简介
19.2OpenLoong开源生态体系
19.3典型案例
19.4小结
附录常见机器人仿真软件安装和环境配置
附录AGazebo仿真软件安装与环境配置
附录BMuJoCo仿真软件安装与环境配置
附录CIsaac Gym仿真软件安装与环境配置