本教材结合大数据与云计算实践教学体系在人才培养过程中的知识积累,重构大数 据与云计算实践教学体系的关键节点,从信息化人才培养的专业视角出发,构建“人才咨 询、人才培养、人才评估”的人才发展全流程解决方案,以专业的人才发展服务为企业数字 化转型的实现贡献力量。面对机遇与挑战,首先要更新专业建设与人才培养理念,树立人 才培养的三个面向:面向经济社会发展,以人才需求为导向,符合技术与产业发展;面向学 生发展,以学生为本,符合生源特点与发展潜质;面向差异化发展,以特色求发展,符合“双 一流”学校办学定位与区域特色。本教材围绕培养目标、培养方案、培养机制、培养保障等大 数 据 与 云 计 算 实 践 教 程 2 关键环节,建立满足高质量应用型人才培养需要的人才培养体系。 

本教材响应党的二十大精神,推进教育数字化,建设全民终身学习的学习型社会、学 习型大国,及时丰富和更新了数字化微课资源,以二维码形式融合纸质教材,使得教材更 具及时性、内容的丰富性和环境的可交互性等特征,使读者学习时更轻松、更有趣味,促进 了碎片化学习,提高了学习效果和效率。 

本教材由大连理工大学刘文杰任主编,大连理工大学邹新阳任副主编,大连理工大学 惠煌、韩瑜参与了编写。

第1章 大数据基础知识 ……………… 1

1.1 大数据概述与价值……………… 1

1.2 大数据的关键技术……………… 4

1.3 大数据的应用场景……………… 5

1.4 本章总结………………………… 6

练习题 ………………………………… 7

第2章 云计算基础知识 ……………… 8

2.1

云计算概述及发展历程………… 8

2.2

云计算架构……………………… 9

2.3

云计算的分类 ………………… 13

2.4 本章总结 ……………………… 17

练习题………………………………… 17

第3章

数据存储技术及应用………… 18

3.1 存储技术和组网 ……………… 18

3.2

DAS 技术 ……………………… 27

3.3 SAN 技术 ……………………… 35

3.4

NAS技术 ……………………… 50

3.5 本章总结 ……………………… 58

练习题………………………………… 58

第4章 Hadoop大数据处理平台 …… 59

4.1 Hadoop平台概述 …………… 59

4.2 Hadoop生态系统 …………… 61

4.3 Hadoop安装部署 …………… 65

4.4 本章总结 ……………………… 69

练习题………………………………… 70

第5章 大数据离线计算框架………… 71

5.1 MapReduce技术原理 ………… 71

5.2 YARN 技术原理 ……………… 73

5.3 MapReduce实验 ……………… 78

5.4 本章总结 ……………………… 86

练习题………………………………… 86

第6章 大数据数据库………………… 87

6.1

HBase概述 …………………… 87

6.2

HBase的架构原理 …………… 89

6.3

HBase的应用实践 …………… 95

6.4 本章总结……………………… 116

练习题 ……………………………… 116

第7章

大数据数据转换 …………… 118

7.1 Sqoop概述 …………………… 118

7.2 Loader的应用实践 ………… 120

7.3 本章总结……………………… 126

练习题 ……………………………… 126

第8章 大数据日志处理 …………… 128

8.1 Flume概述…………………… 128

8.2 Flume的应用实践…………… 131

8.3 本章总结……………………… 137

练习题 ……………………………… 137

第9章 大数据实时计算框架 ……… 139

9.1 Spark概述 …………………… 139

9.2 Spark技术架构 ……………… 143

9.3 Spark的应用实践 …………… 149

9.4 SparkStreaming …………… 156

9.5 SparkSQL

………………… 160

9.6 本章总结……………………… 162

练习题 ……………………………… 162

第10章

大数据流计算……………… 164

10.1 流计算概述 ………………… 164

10.2 流计算的处理流程 ………… 166

10.3 Streaming流计算

………… 167

10.4 本章总结 …………………… 178

练习题 ……………………………… 179

第11章 大数据数据仓库…………… 180

11.1 Hive概述 …………………… 180

11.2 Hive的架构和数据存储 …… 182

11.3 Hive的应用实践 …………… 191

11.4 本章总结 …………………… 199

练习题 ……………………………… 199

第12章 虚拟化技术………………… 201

12.1 虚拟化概述 ………………… 201

12.2 计算虚拟化 ………………… 202

12.3 计算虚拟化的实现方式 …… 204

12.4 计算虚拟化的典型产品 …… 218

12.5 嵌套虚拟化 ………………… 219

12.6 存储虚拟化 ………………… 219

12.7 存储虚拟化的实现方式 …… 222

12.8 本章总结 …………………… 228

练习题 ……………………………… 228

第13章 OpenStack ………………… 230

13.1 OpenStack简介及特点 …… 230

13.2 OpenStack体系架构 ……… 231

13.3 OpenStack的应用实践 …… 237

13.4 本章总结 …………………… 237

练习题 ……………………………… 237

参考文献 ……………………………… 238