大数据搜索与日志挖掘及可视化方案 ELK Stack Elasticsearch Logstash Kibana 第2版PDF|Epub|txt|kindle电子书版本网盘下载

大数据搜索与日志挖掘及可视化方案 ELK Stack Elasticsearch Logstash Kibana 第2版PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 概述1

1.1 Elasticsearch的安装与简单配置3

1.2 走进Elasticsearch6

1.2.1 相关概念6

1.2.2 Elasticsearch API的简单使用方式8

1.2.3 部分插件简介9

1.2.4 Elasticsearch基本架构11

1.3 Elasticsearch索引及其构建12

1.3.1 概述12

1.3.2 借助Head工具构建索引12

1.3.3 Mapping简述14

1.4 信息检索及其构建15

1.5 中文分词插件16

1.6 实例20

1.7 扩展知识与阅读25

1.8 本章小结25

第2章 文档索引及管理26

2.1 文档索引概述26

2.2 建立索引28

2.3 通过映像Mapping配置索引32

2.3.1 在索引中使用映像33

2.3.2 管理／配置映像33

2.3.3 获取映像信息34

2.3.4 删除映像35

2.4 管理索引文件36

2.4.1 打开、关闭、检测、删除索引文件36

2.4.2 清空索引缓存36

2.4.3 刷新索引数据37

2.4.4 优化索引数据37

2.4.5 flush操作37

2.5 设置中文分词器38

2.6 对文档的其他操作39

2.6.1 获取指定的文档信息39

2.6.2 删除文档中的信息41

2.6.3 数据更新41

2.6.4 基于POST方式批量获取文档44

2.6.5 删除部分文档46

2.7 实例46

2.8 扩展知识与阅读49

2.9 本章小结50

第3章 信息检索与结果过滤51

3.1 实验数据集描述52

3.2 简单检索53

3.3 基本检索55

3.3.1 设置不同字段的排序权重55

3.3.2 指定返回的字段子集55

3.3.3 term查询、terms查询、wildcard通配符查询58

3.3.4 match、match_all、match_phrase查询59

3.3.5 query_string查询60

3.3.6 prefix、range查询61

3.3.7 more_like_this、fuzzy_like_this查询63

3.3.8 跨字段检索64

3.4 filter概述65

3.5 常用filter及其应用67

3.5.1 and filter及or filter67

3.5.2 bool filter68

3.5.3 exists filter和missing filter68

3.5.4 type filter69

3.5.5 match all filter69

3.5.6 not filter70

3.5.7 query filter70

3.6 复合查询71

3.7 结果排序74

3.8 实例75

3.9 扩展知识与阅读79

3.1 0本章小结79

第4章 信息统计分析与搜索提示80

4.1 facets概述81

4.2 各种不同的facets统计82

4.2.1 terms facets：指定字段的分布情况统计82

4.2.2 range facets：在某个范围的分布情况统计86

4.2.3 histogram facets89

4.2.4 date_histogram facets92

4.2.5 statistical facets94

4.2.6 terms_stats facets96

4.3 aggregations97

4.3.1 概述97

4.3.2 最值、求和、均值统计98

4.3.3 stats aggregation及extended stats aggregation101

4.3.4 terms aggregations103

4.3.5 range aggregations108

4.3.6 date_range aggregations111

4.3.7 histogram aggregations111

4.3.8 date_histogram aggregations114

4.3.9 filter aggregations117

4.3.10 missing aggregations119

4.4 搜索提示121

4.5 实例122

4.6 扩展知识与阅读127

4.7 本章小结127

第5章 Elasticsearch部分功能的Java客户端实现129

5.1 Elasticsearch节点实例化129

5.1.1 通过Maven添加对Elasticsearch依赖130

5.1.2 初始化Elasticsearch Client132

5.2 索引数据133

5.2.1 准备json数据133

5.2.2 索引json数据135

5.3 对索引文档的操作137

5.3.1 获取索引文档137

5.3.2 删除索引文档138

5.3.3 更新索引文档139

5.3.4 批量操作索引文件140

5.3.5 简单的统计操作141

5.4 信息检索142

5.4.1 概述142

5.4.2 multiSearch143

5.4.3 Query DSL概述144

5.4.4 matchQuery145

5.4.5 matchAllQuery146

5.4.6 multiMatchQuery146

5.4.7 boolQuery147

5.4.8 termQuery148

5.4.9 wildcardQuery149

5.4.10 queryString149

5.4.11 moreLikeThis150

5.4.12 filter概述151

5.4.13 termFilter152

5.4.14 existsFilter152

5.4.15 matchAllFilter153

5.4.16 queryFilter153

5.4.17 rangeFilter154

5.4.18 typeFilter155

5.4.19 过滤器间的组合：boolFilter、notFilter、orFilter、andFilter155

5.5 统计分析157

5.5.1 facets157

5.5.2 aggregations158

5.6 对检索结果的进一步处理160

5.6.1 控制每页的显示数量及显示排序依据160

5.6.2 基于Scroll方法的检索结果及其分页161

5.6.3 高亮显示检索词163

5.7 实例164

5.7.1 连接Elasticsearch164

5.7.2 信息采集与索引构建165

5.7.3 搜索模块的实现167

5.7.4 推荐模块的实现169

5.8 扩展知识与阅读170

5.9 本章小结170

第6章 Elasticsearch配置与集群管理171

6.1 Elasticsearch部分基本配置及其说明171

6.2 提高索引和查询效率的策略174

6.3 监控集群状态176

6.4 控制索引分片与副本分配178

6.5 集群管理180

6.6 扩展知识与阅读181

6.7 本章小结181

第7章 基于Logstash的日志处理182

7.1 概述183

7.2 input：处理输入的日志数据185

7.2.1 处理基于file方式输入的日志信息186

7.2.2 处理基于generator产生的日志信息187

7.2.3 处理基于log4j的日志信息188

7.2.4 处理基于redis的日志信息189

7.2.5 处理基于stdin方式输入的信息193

7.2.6 处理基于TCP传输的日志数据193

7.2.7 处理基于UDP传输的日志数据197

7.3 codecs：格式化日志数据199

7.3.1 json格式199

7.3.2 rubydebug格式201

7.3.3 plain格式202

7.4 基于filter的日志处理与转换202

7.4.1 json filter203

7.4.2 grok filter204

7.4.3 kv filter206

7.5 output：处理输出的日志数据208

7.5.1 将处理后的日志输出到Elasticsearch中208

7.5.2 将处理后的日志输出至文件中210

7.5.3 将处理后的部分日志输出到csv格式的文件中211

7.5.4 将处理后的日志输出到redis中212

7.5.5 将处理后的部分日志通过UDP协议输出214

7.5.6 将处理后的部分日志通过TCP协议输出216

7.5.7 将收集到的日志信息传输到自定义的HTTP接口中220

7.6 扩展知识与阅读220

7.7 本章小结221

第8章 基于Kibana的数据分析可视化222

8.1 安装Kibana223

8.2 Kibana概述224

8.2.1 在仪表盘上添加新行226

8.2.2 在行中添加新面板226

8.2.3 设置Query和Filtering228

8.3 常用面板类型230

8.3.1 histogram230

8.3.2 table233

8.3.3 map和bettermap234

8.3.4 terms234

8.3.5 text236

8.3.6 sparklines237

8.3.7 trends238

8.4 网站性能监控可视化应用的设计与实现238

8.4.1 概述239

8.4.2 Page View240

8.4.3 响应／请求时间241

8.4.4 流量走势与统计242

8.4.5 状态码监控245

8.4.6 UA行248

8.5 Kibana V4简介249

8.5.1 新建视图250

8.5.2 建立Dashboard252

8.5.3 配置252

8.6 扩展知识与阅读253

8.7 本章小结254

第9章 网络信息检索与分析实践255

9.1 信息采集255

9.2 基于Python的信息检索及Web端设计260

9.2.1 安装Python及Django260

9.2.2 安装Elasticsearch的Python插件261

9.2.3 Web页面设计262

9.3 基于Logstash的日志处理265

9.3.1 安装和配置Nginx266

9.3.2 设计面向日志文件的模式266

9.3.3 在Logstash中进行相关配置267

9.4 基于Kibana的日志分析结果可视化设计与实现268

9.4.1 图表1：状态码走势分析269

9.4.2 图表2：查询词分析271

9.4.3 图表3：分析各状态码随时间的变迁情况272

9.4.4 集成上述图表273

9.5 扩展知识与阅读274

9.6 本章小结274

参考文献275