云计算与大数据概论PDF|Epub|txt|kindle电子书版本网盘下载

云计算与大数据概论PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 云计算与大数据概述1

1.1 云计算和大数据的概念2

1.1.1 云计算概述2

1.1.2 云计算的特点和优势3

1.1.3 大数据概述7

1.1.4 大数据的特点与作用9

1.2 云计算与大数据发展现状11

1.2.1 国外云计算发展现状11

1.2.2 我国云计算发展现状13

1.2.3 国外大数据发展现状16

1.2.4 我国大数据发展现状17

1.3 云计算的分类18

1.3.1 私有云、公有云和混合云18

1.3.2 IaaS、 PaaS、 SaaS、 DaaS19

1.4 主流云计算和大数据供应商21

1.4.1 Amazon云计算21

1.4.2 IBM云计算21

1.4.3 Google云计算22

1.4.4 微软云计算22

1.4.5 阿里巴巴云服务22

1.4.6 百度开放云23

1.4.7 腾讯云平台24

1.5 云计算与大数据的关系26

本章小结27

本章练习28

第2章 云计算技术29

2.1 虚拟化技术30

2.1.1 虚拟化技术发展史30

2.1.2 虚拟化技术的概念31

2.1.3 虚拟化的技术实现32

2.1.4 虚拟化的应用领域35

2.2 分布式技术42

2.2.1 分布式文件系统43

2.2.2 分布式数据库系统46

2.2.3 分布式计算47

本章小结47

本章练习48

第3章 云计算平台49

3.1 Google云平台50

3.1.1 Google云计算平台体系结构50

3.1.2 Google云计算平台核心技术51

3.1.3 Google App Engine55

3.2 Amazon云平台56

3.2.1 存储架构Dynamo57

3.2.2 弹性计算云（EC2）57

3.2.3 简单存储服务（S3）59

3.2.4 简单队列服务（SQS）60

3.2.5 其他AWS（Amazon Web Services）61

3.3 微软Windows Azure平台62

3.3.1 平台定位62

3.3.2 计算服务63

3.3.3 数据存储服务64

3.3.4 其他服务65

3.4 阿里云服务平台65

3.4.1 计算服务65

3.4.2 数据存储服务66

3.4.3 数据分析服务66

3.4.4 其他服务67

3.5 百度开发者云服务67

3.5.1 计算服务67

3.5.2 数据存储服务68

3.5.3 数据分析服务68

3.5.4 其他服务68

3.6 腾讯云服务平台69

3.6.1 计算服务69

3.6.2 数据存储服务70

3.6.3 数据分析服务70

3.6.4 其他服务71

本章小结71

本章练习72

第4章 大数据技术73

4.1 大数据应用系统架构74

4.1.1 大数据应用系统架构原则74

4.1.2 Apache大数据应用系统架构模型74

4.1.3 企业大数据应用系统架构模型77

4.2 大数据关键技术79

4.2.1 数据收集技术79

4.2.2 数据预处理技术79

4.2.3 数据存储技术79

4.2.4 数据处理技术81

4.2.5 数据挖掘技术82

4.2.6 数据分析与数据可视化技术90

4.2.7 大数据安全95

4.3 主流大数据服务98

4.3.1 Google的技术与产品研发98

4.3.2 微软的HDInsight99

4.3.3 IBM的InfoSphere99

4.4 开源大数据平台99

4.4.1 Hadoop系统架构100

4.4.2 Storm流计算系统100

4.4.3 Spark迭代计算框架101

4.4.4 其他产品101

本章小结101

本章练习102

第5章 Hadoop开发平台103

5.1 Hadoop的发展史104

5.2 Hadoop的功能与作用105

5.3 Hadoop的基本组成107

5.3.1 HDFS（Hadoop分布式文件系统）107

5.3.2 MapReduce（分布式计算框架）117

5.3.3 YARN（集群资源管理器）117

5.3.4 ZooKeeper（分布式协作服务）120

5.3.5 HBase（分布式NoSQL数据库）122

5.3.6 Hive（数据库管理工具）122

5.3.7 Pig（高层次抽象脚本语言）122

5.3.8 Avro123

5.3.9 Sqoop123

本章小结123

本章练习124

第6章 MapReduce应用125

6.1 分布式并行编程：编程方式的变革126

6.2 MapReduce模型概述126

6.3 工作组件127

6.4 MapReduce工作流程129

6.4.1 工作流程概述129

6.4.2 MapReduce各个执行阶段130

6.4.3 Shuffle过程详解134

6.5 并行计算的实现138

6.5.1 数据分布存储138

6.5.2 分布式并行计算138

6.5.3 本地计算139

6.5.4 任务粒度140

6.5.5 Partition140

6.5.6 Combine140

6.5.7 Reduce任务140

6.6 实例分析：WordCount140

6.6.1 设计思路141

6.6.2 程序源代码142

6.6.3 程序解读144

6.6.4 使用Hadoop运行程序147

6.7 MapReduce新框架YARN149

6.7.1 原Hadoop MapReduce框架的问题149

6.7.2 Hadoop YARN框架的原理及运作机制151

6.7.3 新旧Hadoop MapReduce框架对比152

本章小结153

本章练习154

第7章 Pig简介155

7.1 Pig概述156

7.2 Pig的用途156

7.3 Pig的设计思想156

7.4 Pig的运行模式157

7.5 Pig Latin159

7.5.1 基础知识159

7.5.2 读写和检测操作符160

7.5.3 数据类型和schema162

7.5.4 表达式和函数163

7.5.5 关系型运算符165

7.5.6 执行优化170

7.5.7 用户定义函数171

7.6 Pig脚本174

7.6.1 注释174

7.6.2 参数替换174

本章小结175

本章练习176

第8章 HBase简介177

8.1 HBase的概念和作用178

8.2 HBase使用场景和成功案例178

8.2.1 互联网搜索功能179

8.2.2 抓取增量数据180

8.2.3 内容服务181

8.2.4 信息交换182

8.3 HBase和传统关系型数据库的对比分析183

8.4 HBase数据模型184

8.4.1 数据模型的相关概念184

8.4.2 概念视图185

8.4.3 物理视图186

8.4.4 物理存储186

8.5 HBase组成架构187

8.5.1 HRegion189

8.5.2 HMaster189

8.5.3 ZooKeeper190

8.6 HBase的安装和运行190

8.6.1 安装HBase190

8.6.2 运行HBase193

8.6.3 HBase Shell194

8.7 HBase的访问接口197

8.7.1 HBase Java API介绍197

8.7.2 HBase Java API程序示例202

本章小结211

本章练习212

第9章 云计算与大数据安全213

9.1 云计算安全214

9.1.1 云计算面临的安全威胁214

9.1.2 云计算安全相关解决方案216

9.2 大数据安全217

9.2.1 大数据面临的安全问题218

9.2.2 不同领域的大数据安全需求218

9.2.3 大数据安全问题解决方案220

本章小结221

本章练习221