本书系统、全面地介绍关于大数据技术与应用的基本知识和技能，详细介绍了大数据与数据治理、大数据思维变革、大数据可视化、大数据商业规则、大数据促进医疗与健康、大数据激发创造力、大数据预测分析、大数据存储技术、大数据处理技术、大数据与云计算、大数据与人工智能、大数据安全与法律、数据科学及其职业、大数据发展展望等内容，深入浅出，具有较强的系统性、可读性和实用性。 本书是为职业教育本科、高等职业院校相关专业的“大数据导论”“大数据基础”“大数据概论”等课程全新设计编写，具有丰富实践特色的教材，可供有一定实践经验的软件开发人员、管理人员参考，也可作为继续教育的教材。

周苏，浙大城市学院教授，清华大学访问学者，科技部相关机构认证创新工程师（二级），清华大学《计算机教育》杂志“周苏专栏”作者。自1999年参加独立学院工作以来，潜心体验大众化教育背景下的教学活动并探索其规律，认真踏实地进行教改研究，在教材研究与建设，教学方法改革与创新等方面积累了丰富的经验，成绩显著，在独立学院和应用型院校计算机学科的教学方法上走出了具有开创性的步伐，得到全国同行的广泛认同。从事计算机专业教学四十载，近年来更是追逐大数据、人工智能、元宇宙、低空经济的技术发展浪潮，在杭州电子科技大学、浙大城市学院、浙江商业职业技术学院等开设人工智能通识、生成式人工智能、AIGC通识、低空技术基础等课程，与时俱进。曾获“浙江省高等教育教学成果奖”二等奖，国家科学技术部“创新方法成就奖”，浙江大学“先进工作者”称号。

前言
课程教学进度表
项目1大数据与数据治理
【学习目标】
【知识学习】
11智能时代的数字文明
12什么是大数据
121信息爆炸的起源
122大数据的定义
123用3V描述大数据特征
124广义的大数据
13大数据的结构类型
14数据治理及其内涵
141什么是数据资产
142数据治理的内涵
15大数据的由来
151硬件性价比提高与软件技术进步
152云计算的普及
153大数据作为BI的进化形式
154从交易数据分析到交互数据分析
【项目实施】
任务11典型案例：准确预测地震
任务12了解大数据及其在线支持
【习题】
项目2大数据思维变革
【学习目标】
【知识学习】
21转变之一：样本=总体
211小数据时代的随机采样
212全数据模式：样本=总体
22转变之二：接受数据的混杂性
221允许不精确
222大数据简单算法与小数据复杂算法
223从纷繁数据中获取事物发展的概率
224混杂性是标准途径
23转变之三：数据的相关关系
231关联物，预测的关键
232“是什么”，而不是“为什么”
233对小数据的因果关系分析
234对大数据的相关关系分析
【项目实施】
任务21典型案例：电商推荐系统
任务22深入理解大数据的三个思维变革
【习题】
项目3大数据可视化
【学习目标】
【知识学习】
31数据与可视化
311数据的可变性
312数据的不确定性
313数据的背景信息
314打造最好的可视化效果
32数据与图形
321数据与走势
322视觉信息的科学解释
33视觉分析
331热点图
332时间序列图
333网络图
334空间数据制图
34实时可视化
35数据可视化的运用
【项目实施】
任务31典型案例：南丁格尔玫瑰图
任务32绘制泰坦尼克镶嵌图
【习题】
项目4大数据商业规则
【学习目标】
【知识学习】
41大数据的跨界年度
411大数据的崛起
412谷歌的大数据行动
413亚马逊的大数据行动
42将信息变成竞争优势
421数据价格下降而需求上升
422大数据应用程序兴起
423实时响应用户的要求
424企业构建大数据战略
43大数据营销
431像媒体公司一样思考
432面对新的机遇与挑战
433自动化营销
434创建高容量和高价值内容
435内容营销
436内容创作与众包
437用投资回报率评价营销效果
【项目实施】
任务41典型案例：大数据企业的缩影——谷歌
任务42大数据营销的优势与核心内涵
【习题】
项目5大数据促进医疗与健康
【学习目标】
【知识学习】
51大数据与循证医学
52大数据带来医疗新突破
521量化自我，关注个人健康
522可穿戴的个人健康设备
523大数据时代的医疗信息
53医疗信息数字化
54搜索：超级大数据的最佳伙伴
55数据决策的崛起
551数据辅助诊断
552你考虑过……了吗
553大数据分析使数据决策崛起
【项目实施】
任务51典型案例：大数据变革公共卫生
任务52熟悉大数据在医疗健康领域的应用
【习题】
项目6大数据激发创造力
【学习目标】
【知识学习】
61大数据帮助改善设计
611与玩家共同设计游戏
612以人为本的汽车设计理念
613寻找最佳音响效果
614建筑，数据取代直觉
62大数据操作回路
621信号与噪声
622大数据反馈回路
623最小数据规模
624大数据应用的优势
63数字孪生
631数字孪生的原理
632数字孪生基本组成
633数字孪生的研究
634数字孪生与数字生产线
64将数据转化为资产
641将原创数据变为增值数据
642大数据催生崭新的应用程序
643在大数据“空白”中提取最大价值
【项目实施】
任务61典型案例：脸书的设计决策
任务62熟悉大数据激发创造力方法
【习题】
项目7大数据预测分析
【学习目标】
【知识学习】
71什么是预测分析
711预测分析的作用
712数据具有内在预测性
713定量分析与定性分析
72统计分析
721A/B测试
722相关性分析
723回归性分析
724数据挖掘
73大数据分析生命周期
731商业案例评估
732数据标识
733数据获取与过滤
734数据提取
735数据验证与清理
736数据聚合与表示
737数据分析
738数据可视化
739分析结果的使用
【项目实施】
任务71典型案例：葡萄酒的品质
任务72大数据准备度自我评分表
【习题】
项目8大数据存储技术
【学习目标】
【知识学习】
81分布式处理
811分布式系统
812分布式文件系统
813并行与分布式数据处理
814分布式存储
82大数据存储概念
821分片与复制
822CAP定理
823BASE设计原理
824存储虚拟化
83NoSQL数据库
831主要特征
832键-值存储
833文档存储
834列簇存储
835图存储
836NoSQL与RDBMS的主要区别
84NewSQL数据库
【项目实施】
任务81典型案例：亚马逊，数据在云端
任务82熟悉大数据存储技术
【习题】
项目9大数据处理技术
【学习目标】
【知识学习】
91开源技术商业支援
92大数据技术架构
93Hadoop数据处理基础
931Hadoop的由来
932Hadoop的优势
933Hadoop的发行版本
934Hadoop与NoSQL
94大数据处理模式
941处理的特点与工作量
942SCV原则
943批处理模式
944实时处理模式
【项目实施】
熟悉大数据技术架构与处理
【习题】
项目10大数据与云计算
【学习目标】
【知识学习】
101什么是云计算
1011云计算的定义
1012云基础设施
102计算虚拟化
103网络虚拟化
1031网卡虚拟化
1032虚拟交换机
1033接入层虚拟化
1034覆盖网络虚拟化
1035软件定义网络
104云计算服务形式
105大数据与云计算
1051大数据与云计算相辅相成
1052对大数据处理的意义
1053数据即服务
106云的挑战
【项目实施】
任务101典型案例：我国大数据、云计算处世界第一梯队
任务102深入理解云计算与大数据的相辅相成
【习题】
项目11大数据与人工智能
【学习目标】
【知识学习】
111人工智能概述
112机器学习基础
1121基本概念
1122基本结构
1123研究领域
1124学习分类
1125神经网络方法
113语义分析
1131自然语言处理
1132文本分析
1133语义检索
114大数据与大语言模型
1141人工智能大语言模型
1142大数据与大模型
【项目实施】
熟悉阿里云大模型“通义千问”
【习题】
项目12大数据安全与法律
【学习目标】
【知识学习】
121消费者的隐私权
122大数据的安全问题
1221采集汇聚安全
1222存储处理安全
1223共享使用安全
123大数据的管理维度
124大数据的安全体系
1241大数据安全治理
1242大数据安全测评
1243大数据安全运维
1244以数据为中心的安全防护要素
1245主动防御协同体系
1246协同安全防护流程
125大数据伦理与法规
1251大数据的伦理问题
1252大数据的伦理规则
1253数据安全法
1254大数据安全法规
【项目实施】
任务121典型案例：《中华人民共和国个人信息保护法》施行
任务122熟悉大数据安全定义与法规
【习题】
项目13数据科学及其职业
【学习目标】
【知识学习】
131计算思维
1311计算思维的概念
1312计算思维的作用
1313计算思维的特点
132数据工程师的社会责任
1321职业化和道德责任
1322软件工程师道德规范
1323《计算学科教学计划》社会和职业要求
133数据科学与职业技能
1331数据科学重要技能
1332重要数据科学技能
1333技能因职业角色而异
134大数据人才培养
1341大数据生态系统关键角色
1342大数据人才所需的技能
1343大数据人才所需的素质
【项目实施】
熟悉数据科学及其职业
【习题】
项目14大数据发展展望
【学习目标】
【知识学习】
141大数据资产的崛起
1411数据市场的兴起
1412不同的商业模式
1413将原创数据变为增值数据
1414大数据催生新的应用程序
1415在大数据“空白”中提取最大价值
142大数据发展趋势
143大数据技术展望
1431数据管理仍然很难
1432数据孤岛继续激增
1433流媒体分析的突破
1434技术发展带来技能转变
1435“快速数据”和“可操作数据”
1436预测分析将数据转化为预测
【项目实施】
任务141典型案例：拥有原创数据的优势
任务142课程学习与实践
总结
【习题】
附录习题参考答案
参考文献