分布式实时处理系统 原理 架构与实现PDF|Epub|txt|kindle电子书版本网盘下载

分布式实时处理系统 原理 架构与实现PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 分布式计算概述1

1.1 分布式概念1

1.2 分布式计算及其原理2

1.3 分布式系统特性3

1.3.1 容错性3

1.3.2 高可扩展性4

1.3.3 开放性5

1.3.4 并发处理能力5

1.3.5 透明性6

1.4 通用分布式计算系统6

1.4.1 Apache Hadoop6

1.4.2 Apache Spark8

1.4.3 Apache Storm9

1.5 分布式存储系统10

1.5.1 分布式存储概念10

1.5.2 分布式存储系统特点12

1.5.3 分布式存储系统分类12

1.5.4 常见分布式存储系统13

1.6 本章小结14

第2章 分布式系统通信基础15

2.1 时代的浪潮15

2.1.1 集中式通信网16

2.1.2 去中心化16

2.2 可靠的数据链路17

2.2.1 数据分组17

2.2.2 帧同步18

2.2.3 差错控制18

2.2.4 链路管理18

2.2.5 问题与解决方案19

2.3 分层架构19

2.4 网络层22

2.4.1 寻找路径22

2.4.2 网络分层23

2.4.3 TCP/IP概述23

2.4.4 IP协议24

2.5 传输层30

2.5.1 数据自动分包30

2.5.2 端到端的传输30

2.5.3 数据的可靠传输30

2.6 应用层35

2.6.1 ping35

2.6.2 telnet36

2.6.3 OSPF36

2.6.4 DNS36

2.6.5 HTTP协议37

2.7 基于消息协议的公告牌38

2.7.1 需求描述38

2.7.2 制定协议38

2.8 分布式通信举例——MapReduce39

2.9 本章小结41

第3章 通信系统高层抽象42

3.1 RPC介绍42

3.2 RESTful44

3.2.1 资源和表现层45

3.2.2 状态转移45

3.2.3 RESTful总结46

3.3 消息队列46

3.4 序列化49

3.5 使用Thrift实现公告牌服务50

3.5.1 Apache Thrift介绍51

3.5.2 安装Apache Thrift51

3.5.3 编写Thrift文件52

3.5.4 实现服务器53

3.5.5 实现客户端54

3.6 本章小结56

第4章 走进C＋＋高性能编程57

4.1 基于C＋＋的留言板系统58

4.1.1 基于Socket的通信58

4.1.2 C＋＋中的内存与资源管理64

4.2 来自服务器的天书69

4.2.1 编码69

4.2.2 C++98的编码缺陷72

4.2.3 C++11编码支持73

4.3 繁忙的服务器75

4.3.1 分身乏术75

4.3.2 fork——分身术76

4.3.3 进程间通信79

4.3.4 轻量级分身——线程85

4.3.5 C++11线程86

4.3.6 竞争问题与解决方案88

4.3.7 多线程优化95

4.3.8 异步I/O99

4.4 消失不见的内存105

4.4.1 内存分配与内存碎片106

4.4.2 tcmalloc108

4.4.3 内存池110

4.5 本章小结112

第5章 分布式实时处理系统113

5.1 Hadoop与MapReduce113

5.1.1 HDFS114

5.1.2 MapReduce模型115

5.2 Storm实时处理系统129

5.2.1 历史129

5.2.2 计算模型130

5.2.3 总体架构133

5.2.4 Storm元数据133

5.2.5 Storm与Hadoop比较138

5.3 有保证的消息处理139

5.3.1 完全处理与元组树139

5.3.2 元组的唯一标识139

5.3.3 确认和失败141

5.3.4 高效实现143

5.4 本章小结144

第6章 实时处理系统编程接口设计145

6.1 总体架构设计145

6.1.1 Hurricane与Storm比较145

6.1.2 总体架构146

6.1.3 任务接口148

6.2 消息源接口设计149

6.3 消息处理器接口设计150

6.4 数据收集器设计151

6.5 元组接口设计154

6.6 序列化接口设计160

6.7 本章小结161

第7章 服务组件设计与实现162

7.1 Executor设计与实现162

7.1.1 事件驱动的消息队列162

7.1.2 动态装载技术167

7.1.3 Executor实现169

7.2 Task设计与实现171

7.3 本章小结172

第8章 管理服务设计与实现173

8.1 President功能与设计173

8.2 President实现174

8.2.1 简单的网络通信实现175

8.2.2 Topology装载实现182

8.2.3 Manager管理调度实现184

8.2.4 序列化实现193

8.3 本章小结198

第9章 实时处理系统编程接口实现199

9.1 消息源接口实现200

9.1.1 消息源执行器200

9.1.2 WordCount实现实例205

9.2 消息处理单元接口实现207

9.2.1 消息处理单元执行器207

9.2.2 事件处理212

9.2.3 WordCount实现实例215

9.3 数据收集器实现218

9.3.1 分发策略218

9.3.2 传输层实现224

9.4 本章小结226

第10章 可靠消息处理227

10.1 基本概念227

10.1.1 完全处理227

10.1.2 失败与重发229

10.2 接口设计229

10.3 具体实现233

10.3.1 简单实现233

10.3.2 高效实现235

10.4 本章小结237

第11章 通信系统设计与实现238

11.1 I/O多路复用方案解析239

11.1.1 基本网络编程接口239

11.1.2 非阻塞的服务器程序241

11.1.3 使用select（）接口的基于事件驱动的服务器模型242

11.1.4 使用epoll实现异步事件通知模型245

11.2 基础工具249

11.2.1 线程工具250

11.2.2 日志工具254

11.3 传输层实现263

11.3.1 Reactor模式263

11.3.2 定义抽象TP传输层264

11.3.3 实现基于epoll的TP传输层269

11.3.4 实现基于IOCP的TP传输层290

11.4 应用层HTTP实现307

11.4.1 HttpContext307

11.4.2 HttpRequest311

11.4.3 HttpResponse313

11.4.4 HttpConnection315

11.4.5 HttpServer317

11.4.6 总结319

11.5 跨平台分割编译320

11.5.1 Makefile320

11.5.2 Kake323

11.6 与实时处理系统集成325

11.6.1 修改NetListener325

11.6.2 修改NetConnector327

11.7 本章小结330

第12章 事务性Topology实现331

12.1 Exact-once语义解决方案331

12.2 设计细节333

12.2.1 构造事务性Topology333

12.2.2 消息处理单元334

12.3 事务性Topology API337

12.3.1 消息处理单元337

12.3.2 事务性消息源339

12.4 本章小结339

第13章 多语言接口340

13.1 C语言通用接口340

13.1.1 元组接口342

13.1.2 消息源接口346

13.1.3 消息处理单元接口349

13.1.4 计算拓扑接口352

13.2 Python接口354

13.2.1 ctypes354

13.2.2 元组接口356

13.2.3 消息源接口359

13.2.4 消息处理单元接口360

13.2.5 计算拓扑接口361

13.2.6 应用示例364

13.3 JavaScript接口365

13.3.1 V8引擎366

13.3.2 Node.js366

13.3.3 V8的互操作接口367

13.3.4 任务接口368

13.3.5 消息源接口369

13.3.6 消息处理单元接口370

13.3.7 计算拓扑接口371

13.3.8 应用示例373

13.4 Java接口375

13.4.1 任务接口375

13.4.2 消息源接口376

13.4.3 消息处理单元接口377

13.4.4 计算拓扑接口377

13.4.5 本地代码380

13.4.6 应用示例382

13.5 Swift接口384

13.5.1 应用范围385

13.5.2 任务接口385

13.5.3 消息源接口386

13.5.4 消息处理单元接口387

13.5.5 计算拓扑接口388

13.6 本章小结390

第14章 Squared设计与实现——实现高级抽象元语391

14.1 Storm Trident介绍391

14.1.1 Squared示例391

14.1.2 DRPC示例394

14.2 Squared实现396

14.2.1 SquaredTopology和Spout396

14.2.2 SquaredBolt401

14.2.3 Stream405

14.2.4 状态存储410

14.2.5 DRPC实现412

14.2.6 操作与处理节点416

14.2.7 流操作419

14.3 本章小结423

第15章 实战：日志流处理425

15.1 日志流处理设计方案425

15.2 实现Topology427

15.2.1 编写消息源427

15.2.2 编写索引消息处理单元428

15.2.3 编写统计消息处理单元429

15.3 本章小结431

第16章 实战：频繁组合查找432

16.1 背景介绍432

16.1.1 数据挖掘概念432

16.1.2 关联规则和频繁项集433

16.1.3 啤酒与尿布435

16.2 频繁二项集挖掘方法435

16.2.1 频繁二项集435

16.2.2 算法设计思路438

16.2.3 Hurricane实现思路439

16.3 编写Spout439

16.4 编写Bolt441

16.4.1 SplitBolt441

16.4.2 PairCountBolt442

16.4.3 PairTotalCountBolt443

16.4.4 ConfidenceComputeBolt444

16.4.5 SupportComputeBolt445

16.4.6 FilterBolt447

16.5 编写Topology448

16.6 本章小结449

第17章 实战：在AWS和阿里云上部署Hurricane实时处理系统450

17.1 AWS部署450

17.1.1 搭建虚拟私有云452

17.1.2 配置安全组455

17.1.3 加载EC2实例456

17.1.4 弹性IP地址管理461

17.2 阿里云部署464

17.2.1 创建虚拟私有云464

17.2.2 管理安全组467

17.2.3 创建ECS468

17.2.4 SSH登录471

17.3 Hurricane分布式部署与管理471

17.3.1 分布式部署原理472

17.3.2 分布式安装配置472

17.3.3 分布式启动476

17.4 部署分布式实时处理系统477

17.5 未来之路478

17.6 本章小结479