大数据技术应用(大数据应用开发Java1+X职业技能等级证书配套教材) 下载 pdf 百度网盘 epub 免费 2025 电子书 mobi 在线

本书是"大数据应用开发（Java）”1+X职业技能等级证书配套教材，同时也是蓝桥学院"Java全栈工程师”培养项目配套教材。全书共16章，包括大数据概述、Hadoop、HDFS、MapReduce、YARN、ZooKeeper、Hive、Flume、Azkaban、Sqoop、HBase、Kafka、Spark、大数据平台的管理与监控、大数据离线计算项目和大数据实时计算项目。本书从零基础开始逐一讲解大数据体系中的各种技术，通过丰富的实战案例阐述重点、难点知识，为初学者进入大数据领域打好基础。各章节设计合理，在每章开头设置本章简介，在知识点介绍后紧跟实践操作，在每章的末尾对重要内容进行了概括性回顾并通过练习帮助读者巩固相关知识。本书配套资源丰富，在蓝桥在线学 台（www.lanqiao.cn/oneplusx/）上汇集了微课、实验等多种学习资源。 本书直接服务于"大数据应用开发（Java）”1+X职业技能等级证书工作，可作为职业院校、应用型本科院校的计算机应用技术、软件技术、软件工程、网络工程和大数据应用技术等计算机类专业的教材，也可供从事计算机相关工作的技术人员参考。

第1章 大数据概述1

1.1 大数据的历史、现状与未来1

1.1.1 大数据的历史1

1.1.2 大数据的现状3

1.1.3 大数据的未来5

1.2 大数据的概念、特征与价值5

1.2.1 大数据的概念5

1.2.2 大数据的特征6

1.2.3 大数据的价值7

1.3 大数据的技术架构8

1.4 大数据离线计算与实时计算11

1.4.1 大数据离线计算11

1.4.2 大数据实时计算12

1.5 大数据下的数据驱动13

1.6 本章小结15

1.7 本章练习15

第2章 初识Hadoop17

2.1 Hadoop概述17

2.2 Hadoop生态圈18

2.3 Hadoop集群安装部署21

2.3.1 集群环境准备21

2.3.2 Hadoop集群的重要概念27

2.3.3 伪分布模式安装28

2.3.4 全分布模式安装34

2.4 本章小结36

2.5 本章练习36

第3章 分布式文件系统—初识HDFS38

3.1 HDFS概述38

3.2 HDFS工作机制39

3.2.1 HDFS通信机制40

3.2.2 HDFS数据冗余机制41

3.2.3 HDFS元数据管理机制41

3.2.4 HDFS数据读写机制49

3.2.5 HDFS异常恢复机制51

3.2.6 HDFS安全模式机制51

3.3 HDFS操作与编程接口52

3.3.1 HDFS Web UI52

3.3.2 HDFS Shell54

3.3.3 HDFS Java API编程61

3.4 本章小结64

3.5 本章练习64

第4章 分布式计算框架MapReduce66

4.1 MapReduce概述66

4.2 MapReduce运行机制67

4.3 编程实现WordCount73

4.4 MapReduce数据类型与输入输出格式76

4.5 文件切片78

4.6 Shuffle机制详解79

4.7 数据清洗案例90

4.8 本章小结94

4.9 本章练习95

第5章 统一资源管理和调度框架YARN97

5.1 YARN概述97

5.2 YARN体系架构98

5.3 YARN工作流程99

5.4 YARN调度器与调度策略100

5.5 本章小结101

5.6 本章练习102

第6章 分布式协调框架ZooKeeper103

6.1 ZooKeeper概述103

6.2 ZooKeeper系统模型104

6.2.1 数据模型104

6.2.2 集群模型107

6.3 ZooKeeper核心机制107

6.4 ZooKeeper典型应用111

6.5 ZooKeeper安装部署114

6.6 ZooKeeper Shell116

6.7 本章小结118

6.8 本章练习119

第7章 数据仓库Hive121

7.1 Hive概述121

7.2 Hive体系架构123

7.3 Hive安装部署124

7.4 Hive数据类型129

7.5 Hive文件格式130

7.6 Hive数据模型131

7.7 Hive函数132

7.8 Hive实战133

7.8.1 DDL操作133

7.8.2 DML操作139

7.8.3 WordCount详解153

7.8.4 操作154

7.9 本章小结163

7.10 本章练习164

第8章 日志采集工具Flume166

8.1 Flume概述166

8.2 Flume体系架构166

8.3 Flume安装部署170

8.4 Flume实战171

8.5 本章小结174

8.6 本章练习174

第9章 工作流调度器Azkaban175

9.1 Azkaban概述175

9.2 Azkaban的安装部署177

9.3 Azkaban实战183

9.4 本章小结187

9.5 本章练习187

0章 数据迁移工具Sqoop189

10.1 Sqoop概述189

10.2 Sqoop的安装部署190

10.3 Sqoop实战191

10.4 本章小结200

10.5 本章练习201

1章 分布式列存储数据库HBase202

11.1 HBase概述202

11.2 HBase数据模型203

11.3 HBase体系架构206

11.4 HBase运行机制208

11.5 HBase安装部署210

11.6 HBase实战214

11.6.1 HBase Shell214

11.6.2 HBase Java API编程220

11.6.3 HBase中使用过滤器Filter228

11.6.4 HBase中使用MapReduce236

11.7 HBase性能优化242

11.7.1 数据库表设计优化242

11.7.2 数据库读写优化243

11.7.3 HBase参数设置优化243

11.8 本章小结244

11.9 本章练习246

2章 分布式消息队列Kafka248

12.1 两种消息模型248

12.2 Kafka架构与机制249

12.3 Kafka的安装部署253

12.4 Kafka实战256

12.4.1 Kafka Shell256

12.4.2 Kafka Java API258

12.5 本章小结261

12.6 本章练习262

3章 内存计算框架Spark264

13.1 Spark概述264

13.2 Spark体系架构266

13.3 Spark安装部署268

13.4 Spark客户端操作272

13.5 Spark RDD276

13.5.1 Spark RDD概述276

13.5.2 Spark RDD算子276

13.5.3 Spark RDD依赖关系284

13.5.4 Spark RDD缓存285

13.6 Spark SQL286

13.6.1 Spark SQL概述286

13.6.2 Spark SQL DataFrameDataSet287

13.6.3 Spark SQL编程288

13.6.4 Spark操作JDBC291

13.6.5 Spark操作Hive293

13.7 Spark Streaming294

13.7.1 Spark Streaming概述294

13.7.2 Spark Streaming实现实时WordCount295

13.7.3 Spark Streaming整合Flume300

13.7.4 Spark Streaming整合Kafka303

13.8 本章小结305

13.9 本章练习306

4章 大数据平台的管理与监控308

14.1 平台管理与监控概述308

14.2 Nagios介绍309

14.3 Ganglia介绍310

14.4 Cacti介绍311

14.5 JMX介绍312

14.6 本章小结321

14.7 本章练习321

5章 大数据离线计算项目323

15.1 项目概述323

15.2 需求分析与项目设计323

15.3 数据预处理325

15.4 数据分析并导出结果到MySQL327

15.5 数据可视化330

15.6 本章小结353

15.7 本章练习354

6章 大数据实时计算项目355

16.1 项目概述355

16.2 需求分析与项目设计355

16.3 数据采集到消息中间件356

16.4 数据实时计算并保存到Redis357

16.5 数据可视化359

16.6 本章小结363

16.7 本章练习363

附录A 部分练习参考答案及解析364

参考文献377

暂无相关内容，正在全力查找中

暂无出版社相关信息，正在全力查找中！

暂无相关书籍摘录，正在全力查找中！

在线阅读地址：大数据技术应用(大数据应用开发Java1+X职业技能等级证书配套教材)在线阅读

在线听书地址：大数据技术应用(大数据应用开发Java1+X职业技能等级证书配套教材)在线收听

在线购买地址：大数据技术应用(大数据应用开发Java1+X职业技能等级证书配套教材)在线购买

暂无原文赏析，正在全力查找中！

书籍介绍

本书是"大数据应用开发（Java）”1+X职业技能等级证书配套教材，同时也是蓝桥学院"Java全栈工程师”培养项目配套教材。全书共16章，包括大数据概述、Hadoop、HDFS、MapReduce、YARN、ZooKeeper、Hive、Flume、Azkaban、Sqoop、HBase、Kafka、Spark、大数据平台的管理与监控、大数据离线计算项目和大数据实时计算项目。本书从零基础开始逐一讲解大数据体系中的各种技术，通过丰富的实战案例阐述重点、难点知识，为初学者进入大数据领域打好基础。各章节设计合理，在每章开头设置本章简介，在知识点介绍后紧跟实践操作，在每章的末尾对重要内容进行了概括性回顾并通过练习帮助读者巩固相关知识。本书配套资源丰富，在蓝桥在线学习平台（www.lanqiao.cn/oneplusx/）上汇集了微课、实验等多种学习资源。 本书直接服务于"大数据应用开发（Java）”1+X职业技能等级证书工作，可作为职业院校、应用型本科院校的计算机应用技术、软件技术、软件工程、网络工程和大数据应用技术等计算机类专业的教材，也可供从事计算机相关工作的技术人员参考。