本书重点讲述工业机器视觉技术及其应用，共分为9章。首先概述了工业机器视觉系统，并介绍了二维/三维视觉信息获取技术；然后介绍了工业机器视觉感知分析理论方法，包括经典二维/三维视觉处理算法、基于深度学习的机器视觉处理算法和机器视觉系统标定；最后介绍了机器视觉软件开发平台与机器视觉系统应用案例，软件开发平台包括OpenCV、HALCON、VisionPro，应用案例为面向典型工业场景的机器视觉系统。本书力求系统性与实用性相结合，覆盖工业机器视觉领域主要技术，兼顾学科发展趋势与前沿方向，并在章节中加入具体案例，让读者能够融会贯通、学以致用。 　　本书可以作为高等院校自动化、机器人工程、人工智能、电子信息工程、机械设计制造及其自动化、智能制造工程等相关专业高年级本科生和研究生的教材，也可以作为工业机器视觉领域研究人员的参考书。

高等院校教师

前言
第1章 绪论1
1.1 机器视觉概述1
1.2 工业机器视觉系统构成2
1.3 工业机器视觉应用3
1.4 工业机器视觉的展望与挑战5
本章小结6
第2章 二维视觉信息获取7
2.1 光源与照明7
2.1.1 光源类型7
2.1.2 光源颜色8
2.1.3 光源照明方案10
2.2 工业相机14
2.2.1 CCD相机14
2.2.2 CMOS相机16
2.2.3 相机参数18
2.3 镜头19
2.3.1 镜头的类型与参数20
2.3.2 镜头畸变模型25
2.3.3 镜头与相机的接口27
2.3.4 镜头的选择28
2.4 图像传输接口29
2.4.1 模拟视频信号传输接口30
2.4.2 数字视频信号传输接口32
本章小结36
参考文献36
第3章 三维视觉信息获取37
3.1 多视图三维成像37
3.1.1 双目视觉成像37
3.1.2 多视图立体视觉46
3.1.3 网格重建与纹理贴图51
3.2 激光三角测量成像52
3.2.1 激光三角法测量模型52
3.2.2 线结构光中心线的提取54
3.2.3 光平面标定61
3.2.4 三维重建62
3.3 面结构光三维成像64
3.3.1 相位主值解算64
3.3.2 相位展开算法67
3.3.3 Gamma校正72
3.3.4 三维重建74
3.4 飞行时间三维成像77
3.4.1 飞行时间测距系统77
3.4.2 直接飞行时间测量技术78
3.4.3 间接飞行时间测量技术79
本章小结80
参考文献80
第4章 经典二维视觉处理算法82
4.1 数字图像基础82
4.1.1 二维视觉处理概述82
4.1.2 数字图像及其表示83
4.2 图像预处理84
4.2.1 灰度变换与直方图操作84
4.2.2 空间域与频率域滤波87
4.2.3 Retinex算法91
4.3 几何变换92
4.3.1 像素坐标变换92
4.3.2 非刚性变换94
4.4 形态学处理96
4.4.1 腐蚀和膨胀96
4.4.2 开运算与闭运算97
4.4.3 基本形态学算法98
4.5 特征提取100
4.5.1 边缘检测101
4.5.2 边界特征与角点检测102
4.5.3 形状特征与纹理特征104
4.5.4 经典特征提取算法106
4.6 几何基元的分割和拟合111
4.6.1 直线检测与拟合111
4.6.2 圆与椭圆的检测112
4.6.3 霍夫变换与随机抽样一致性算法113
4.7 图像分割115
4.7.1 图像分割的基本原则115
4.7.2 基本分割理论117
4.7.3 经典分割算法120
4.8 目标检测126
4.8.1 静态目标检测126
4.8.2 动态目标检测132
本章小结137
参考文献137
第5章 经典三维视觉处理算法139
5.1 三维数据的基本概念139
5.1.1 三维数据的基本表现形式139
5.1.2 典型三维数据格式140
5.2 点云数据预处理143
5.2.1 点云降噪143
5.2.2 点云数据补全145
5.2.3 法向量估计149
5.3 点云特征提取152
5.3.1 局部特征与全局特征152
5.3.2 局部特征描述符153
5.3.3 全局特征计算158
5.4 点云分割160
5.4.1 基于边缘检测的点云分割161
5.4.2 基于区域增长的点云分割163
5.4.3 基于模型拟合的点云分割164
5.4.4 基于属性聚类的点云分割165
5.5 点云配准167
5.5.1 迭代最近点算法168
5.5.2 正态分布变换算法169
5.5.3 基于特征的配准169
5.5.4 三维模板匹配170
本章小结172
参考文献173
第6章 基于深度学习的机器视觉处理算法174
6.1 深度学习基础174
6.1.1 深度学习的兴起与发展历程174
6.1.2 深度学习基本术语178
6.1.3 卷积神经网络的基本结构181
6.1.4 视觉Transformer的基本结构186
6.1.5 目标损失函数的构造192
6.1.6 目标损失函数的优化193
6.2 图像目标信息处理195
6.2.1 图像目标检测195
6.2.2 图像语义分割201
6.2.3 目标运动信息建模204
6.3 目标点云信息处理207
6.3.1 典型点云处理网络207
6.3.2 层级特征提取网络210
6.3.3 三维目标检测网络215
6.3.4 三维点云刚性配准网络217
6.4 多模态信息处理221
6.4.1 多模态信息处理定义221
6.4.2 多模态信息处理技术223
6.4.3 多模态预训练模型225
本章小结230
参考文献231
第7章 机器视觉系统标定236
7.1 成像器件标定236
7.1.1 单目相机标定236
7.1.2 投影仪标定244
7.1.3 立体视觉标定246
7.2 机械臂标定248
7.2.1 机械臂运动学建模248
7.2.2 机械臂运动参数的标定方法250
7.2.3 工具坐标系标定253
7.3 手眼标定256
7.3.1 手眼标定系统建模256
7.3.2 空间手眼标定258
7.3.3 平面手眼标定261
7.3.4 多机械臂坐标系标定262
本章小结263
参考文献263
第8章 机器视觉软件开发平台265
8.1 OpenCV265
8.1.1 OpenCV概述265
8.1.2 OpenCV安装266
8.1.3 OpenCV功能270
8.2 HALCON272
8.2.1 HALCON概述272
8.2.2 HALCON安装274
8.2.3 HALCON功能275
8.2.4 HALCON使用278
8.3 VisionPro284
8.3.1 VisionPro概述285
8.3.2 VisionPro安装285
8.3.3 VisionPro功能289
8.3.4 VisionPro使用291
本章小结292
参考文献293
第9章 机器视觉系统应用案例294
9.1 酒瓶标签印刷缺陷视觉检测系统294
9.1.1 酒瓶标签印刷缺陷检测系统设计294
9.1.2 酒瓶标签印刷缺陷图像处理与识别算法297
9.2 车灯外观缺陷视觉检测系统306
9.2.1 车灯外观缺陷检测系统设计306
9.2.2 车灯外观缺陷图像处理与识别算法308
9.3 高铁接触网视觉检测系统318
9.3.1 高铁接触网开口销视觉检测系统设计318
9.3.2 高铁接触网开口销深度学习检测网络319
9.4 三维视觉引导的汽车发动机曲轴瓦盖自动送料系统325
9.4.1 汽车发动机曲轴瓦盖自动送料系统设计325
9.4.2 汽车发动机曲轴瓦盖定位与检测方法327
9.5 散乱工件的六维位姿估计341
9.5.1 六维位姿估计问题定义341
9.5.2 改进基于点对特征的散乱工件六维位姿估计方法342
9.5.3 工业散乱多目标检测与定位系统设计347
9.6 基于深度学习的散乱工件六维位姿估计350
9.6.1 基于PointNet的点云编码器350
9.6.2 基于TearingNet的点云解码器351
9.6.3 基于增强倒角距离的损失函数352
9.6.4 散乱DB9工件六维姿态估计354
本章小结355
参考文献355