网络计算环境 数据管理PDF|Epub|txt|kindle电子书版本网盘下载

网络计算环境 数据管理PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第一篇 概论3

第1章 数据管理背景3

1.1 数据增长3

1.2 数据管理目标5

1.3 数据管理功能6

1.3.1 数据存储7

1.3.2 元数据管理7

1.3.3 副本管理8

1.3.4 数据传输管理9

1.3.5 存储资源管理10

1.3.6 结构化数据的访问与整合10

1.4 本书结构10

1.5 本章小结12

第2章 数据管理需求与挑战13

2.1 高能物理13

2.1.1 大型强子对撞机13

2.1.2 北京正负电子对撞机14

2.1.3 羊八井宇宙线实验15

2.2 生物信息16

2.2.1 生物信息学16

2.2.2 基因研究17

2.3 虚拟天文台17

2.4 地质地理19

2.5 其他领域20

2.6 数据管理挑战21

2.7 本章小结21

第二篇 非结构化数据管理25

第3章 数据管理体系结构25

3.1 引言25

3.2 科学数据管理的体系结构26

3.3 本章小结28

参考文献28

第4章 数据存储29

4.1 引言29

4.2 存储技术概述30

4.3 分布式文件系统36

4.3.1 Lustre文件系统36

4.3.2 Gluster文件系统38

4.3.3 全局并行文件系统（GPFS）49

4.3.4 Panasas文件系统51

4.3.5 并行虚拟文件系统（PVFS）53

4.4 分级存储系统54

4.4.1 CASTOR存储系统55

4.4.2 dCache存储系统58

4.4.3 dCache的副本机制60

4.5 云存储技术62

4.5.1 亚马逊云存储服务S362

4.5.2 微软的Azure存储65

4.5.3 Hadoop的开源云存储解决方案65

4.5.4 Openstack的Swift69

4.5.5 Nimbus的Cumulus云存储70

4.5.6 云存储技术在科学数据管理中的应用71

4.6 数据备份系统73

4.6.1 常见备份技术73

4.6.2 备份系统的基本结构76

4.7 本章小结78

参考文献78

第5章 元数据管理80

5.1 简介80

5.1.1 LFC81

5.1.2 AMGA85

5.1.3 DQ287

5.2 副本管理90

5.2.1 副本创建92

5.2.2 副本选择94

5.2.3 副本删除95

5.2.4 副本定位95

5.2.5 副本一致性96

5.2.6 副本安全性97

5.3 本章小结98

参考文献98

第6章 数据传输100

6.1 GridFTP101

6.1.1 GridFTP的功能特性101

6.1.2 GridFTP的API103

6.2 bbFTP104

6.2.1 与FTP和SSH的比较104

6.2.2 bbFTP的安装105

6.2.3 bbFTP的选项命令105

6.3 可靠文件传输106

6.3.1 可靠性含义106

6.3.2 组成结构106

6.4 副本定位108

6.4.1 RLS的几点要素109

6.4.2 Giggle框架109

6.5 FTS111

6.5.1 通道111

6.5.2 代理112

6.6 PheDex112

6.6.1 PheDex的结构113

6.6.2 PheDex的运行114

6.7 BES数据传输系统114

6.7.1 主要特性115

6.7.2 组成结构115

6.7.3 实际应用117

6.8 本章小结118

参考文献118

第7章 存储资源管理120

7.1 简介120

7.2 SRM121

7.2.1 应用场景121

7.2.2 SRM在网格体系中的定位124

7.2.3 SRM在网格中的优势127

7.3 文件管理128

7.3.1 永久文件和稳定临时文件129

7.3.2 持久文件129

7.4 空间管理130

7.4.1 空间类型130

7.4.2 “最大努力”空间131

7.4.3 分配文件到空间132

7.5 其他重要的SRM概念132

7.5.1 传输协议协商132

7.5.2 其他协商和行为广告133

7.5.3 源路径、传输路径和站点路径133

7.5.4 PIN文件的语义134

7.6 SRM实现实例136

7.6.1 使用SRM管理海量存储系统137

7.6.2 SRM提供的健壮的文件复制138

7.6.3 通过SRM向存储系统提供GridFTP接口139

7.7 本章小结140

参考文献140

第8章 数据管理标准142

8.1 传输协议142

8.1.1 FTP142

8.1.2 HTTP144

8.1.3 GridFTP148

8.1.4 Restful Web服务149

8.1.5 WebDAV150

8.1.6 S3151

8.2 管理接口标准153

8.2.1 SRM153

8.2.2 OCCI155

8.2.3 CDMI158

8.2.4 Simple Cloud API160

8.3 本章小结161

参考文献161

第三篇 结构化数据管理165

第9章 OGSA-DAI165

9.1 概述165

9.2 基本架构166

9.3 工作流与活动170

9.4 使用OGSA-DAI172

9.4.1 部署数据资源172

9.4.2 活动的使用173

9.4.3 工作流的使用174

9.5 本章小结176

参考文献176

第10章 异构数据库整合177

10.1 基本概念177

10.2 系统结构178

10.3 对外功能和接口179

10.3.1 数据提供者接口180

10.3.2 开发人员接口180

10.4 内部工作流程182

10.5 异构数据库整合系统的软件结构184

10.5.1 概述184

10.5.2 核心服务类185

10.5.3 虚拟活动管理类186

10.5.4 虚拟活动对象类186

10.5.5 执行引擎类187

10.5.6 SQL解析器类188

10.5.7 物理活动管理类191

10.6 参考实现：CGSP HDB192

10.6.1 概述192

10.6.2 虚拟表及其支持的数据类型193

10.6.3 映射表和数据类型映射194

10.6.4 执行文档和响应文档示例197

10.7 本章小结197

参考文献198

第四篇 应用实例201

第11章 高能物理网格数据管理201

11.1 网格技术在高能物理领域的应用201

11.2 高能物理网格中数据服务管理202

11.3 高能物理网格中数据服务组件203

11.3.1 元数据服务器204

11.3.2 数据集管理系统205

11.4 一个具体的工作流程206

11.5 本章小结207

参考文献207

第12章 虚拟天文台数据管理209

12.1 网格技术在天文领域的应用209

12.2 虚拟天文台中数据服务组件211

12.2.1 天文数据的特点211

12.2.2 开放网格服务架构的数据访问与集成212

12.2.3 虚拟天文台数据访问服务213

12.3 数据服务举例214

12.3.1 中国虚拟天文台VO-DAS214

12.3.2 VO-DAS的系统集成216

12.4 本章小结218

参考文献218