ElasticSearch 与大数据生态集成

1

01 ElasticSearch 概述

ES起源、核心概念(索引/文档/分片/副本)、适用场景与大数据生态定位

01.html

2

02 ES 集群架构

节点类型(Master/Data/Ingest/Coordinating)、集群健康、分布式原理

02.html

3

03 ES 安装与配置

单机/集群部署、JVM调优、关键配置项(network.host/discovery.seed_hosts)

03.html

4

04 ES 数据模型

文档(Document)、映射(Mapping)、字段类型(text/keyword/date/nested)、动态映射

04.html

5

05 ES 索引管理

创建/删除索引、索引设置、别名(Alias)、索引模板(Index Template)

05.html

6

06 ES 文档 CRUD

新增/查询/更新/删除、批量操作(Bulk API)、乐观锁控制

06.html

7

07 ES 查询 DSL

Query/Filter Context、全文查询(match/match_phrase)、精确查询(term/terms)

07.html

8

08 ES 复合查询

bool查询(must/should/filter/must_not)、boosting、constant_score

08.html

9

09 ES 聚合分析

Metric聚合(avg/sum/max/min/stats)、Bucket聚合(terms/range/date_histogram)

09.html

10

10 ES 管道聚合

Pipeline聚合(derivative/moving_avg/cumulative_sum)、嵌套聚合实战

10.html

11

11 ES 排序与分页

排序规则、深度分页、Scroll API、Search After、PIT

11.html

12

12 ES 高亮与建议器

高亮查询(Highlight)、完成建议器、短语建议器(Phrase Suggester)

12.html

13

13 ES 分词器

内置分词器(Standard/IK/ICU)、自定义分词器、分词测试API

13.html

14

14 索引生命周期管理

ILM策略(Hot/Warm/Cold/Delete)、Rollover、Shrink

14.html

15

15 ES 安全与权限

X-Pack安全、内置用户、角色权限控制、TLS加密通信

15.html

16

16 ES 监控与诊断

集群监控API(_cat/_nodes/_cluster)、慢查询日志、Profiling

16.html

17

17 ES 性能优化

索引优化(refresh_interval/translog)、查询优化、硬件选型

17.html

18

18 Logstash 入门

Logstash架构(Input/Filter/Output)、插件机制、与ES集成

18.html

19

19 Logstash 实战

采集Nginx日志、解析JSON、Grok正则过滤、多行合并

19.html

20

20 Filebeat 入门

Filebeat架构、Harvester与Input、与Logstash/ES集成、模块化

20.html

21

21 Beats 全家桶

Metricbeat(系统指标)、Heartbeat(可用性)、Winlogbeat(Windows日志)

21.html

22

22 Kibana 可视化

Discover数据探索、Dashboard仪表盘、Vega可视化、TSVB

22.html

23

23 Kibana 高级功能

Canvas画布、Maps地图、Alerting告警、Elasticsearch SQL

23.html

24

24 ELK 日志平台实战

搭建ELK集群、日志采集流水线、分析看板、告警配置

24.html

25

25 ES 与 Hadoop 集成

ES-Hadoop连接器、Hive与ES集成、Spark与ES集成(RDD/DataFrame)

25.html

26

26 ES 与 Flink 集成

Flink Elasticsearch Connector、流式写入ES、Exactly-Once语义

26.html

27

27 ES 与 Kafka 集成

Kafka Connect Elasticsearch Sink、实时数据管道、Schema Registry

27.html

28

28 ES 与 Spark 集成

Spark Streaming写入ES、Elasticsearch Spark SQL、批量索引优化

28.html

29

29 ES 数据备份与恢复

快照(Snapshot)与恢复、注册仓库(S3/HDFS)、增量备份策略

29.html

30

30 ES 实战项目

电商搜索系统、日志分析平台、指标监控系统、常见问题与排错

30.html

📘 ES 与大数据生态