1. Elasticsearch基础操作全指南Elasticsearch作为当前最流行的分布式搜索和分析引擎几乎成了大数据领域的标配工具。但很多新手在初次接触时往往被其看似复杂的REST API和查询语法吓退。实际上只要掌握几个核心操作就能应付80%的日常需求。我在使用ES的五年间从单节点部署到管理上百节点的生产集群总结出一套最实用的基础操作手册。提示本文所有示例均基于Elasticsearch 7.x版本与6.x的主要语法差异会特别标注1.1 环境准备与基本概念安装Elasticsearch最简单的方式是使用HomebrewMac或直接下载压缩包。以Mac为例brew tap elastic/tap brew install elastic/tap/elasticsearch-full elasticsearch启动后访问http://localhost:9200 能看到版本信息即表示成功。ES的核心概念需要提前了解索引(Index)相当于传统数据库的库是文档的集合类型(Type)7.x后已废弃现在一个索引只能包含一种类型_doc文档(Document)JSON格式的基本数据单元分片(Shard)索引的横向分割单元分为主分片和副本分片1.2 REST API基础格式ES的所有操作都通过HTTP REST API完成基本格式如下HTTP方法 /索引/类型/文档ID { JSON请求体 }常用HTTP方法对应CRUD操作GET查询POST创建/更新PUT创建/修改DELETE删除2. 文档CRUD操作实战2.1 创建文档创建文档有两种方式指定ID和不指定ID# 指定ID创建PUT PUT /products/_doc/1 { name: iPhone 13, price: 5999, tags: [手机, 苹果] } # 自动生成IDPOST POST /products/_doc/ { name: MacBook Pro, price: 12999 }注意实际发送请求需要使用curl或Kibana Dev Tools。例如curl -XPUT http://localhost:9200/products/_doc/1 -H Content-Type: application/json -d { name: iPhone 13 }2.2 查询文档基础查询有三种常用形式# 1. 按ID查询 GET /products/_doc/1 # 2. 查询所有文档 GET /products/_search { query: { match_all: {} } } # 3. 条件查询 GET /products/_search { query: { match: { name: iPhone } } }2.3 更新文档ES的更新实际上是重建索引有两种方式# 1. 全量替换 PUT /products/_doc/1 { name: iPhone 13 Pro, price: 7999 } # 2. 局部更新 POST /products/_update/1 { doc: { price: 6999 } }2.4 删除文档# 删除指定文档 DELETE /products/_doc/1 # 删除整个索引谨慎操作 DELETE /products3. 高级查询语法3.1 复合查询实际业务中经常需要组合多个条件GET /products/_search { query: { bool: { must: [ { match: { name: iPhone } } ], filter: [ { range: { price: { gte: 5000 } } } ] } } }bool查询支持四种子句must必须满足参与算分should应该满足满足会增加分数must_not必须不满足filter必须满足但不参与算分3.2 分页与排序GET /products/_search { from: 0, size: 10, sort: [ { price: { order: desc } } ] }重要提示深度分页如from10000会显著影响性能推荐使用search_after参数3.3 聚合分析聚合是ES最强大的功能之一GET /products/_search { aggs: { price_stats: { stats: { field: price } }, tags_count: { terms: { field: tags.keyword } } } }常用聚合类型指标聚合avg, sum, max, min, stats桶聚合terms, date_histogram, range4. 索引管理技巧4.1 创建带映射的索引PUT /products { mappings: { properties: { name: { type: text }, price: { type: double }, tags: { type: keyword } } } }字段类型选择建议text需要分词的字符串keyword不需要分词的字符串如标签、状态date/double/long对应类型数据4.2 索引别名别名是生产环境的最佳实践# 创建别名 POST /_aliases { actions: [ { add: { index: products_v1, alias: products } } ] }使用别名可以实现无缝索引切换基于时间的索引轮转读写分离5. 常见问题排查5.1 集群健康问题GET /_cluster/health状态解读green所有分片正常yellow主分片正常副本分片未分配red有主分片不可用5.2 查询性能优化慢查询日志配置PUT /_settings { index.search.slowlog.threshold.query.warn: 10s, index.search.slowlog.threshold.fetch.debug: 500ms }性能优化方向合理设置分片数建议每个分片20-50GB使用filter代替query进行条件过滤避免通配符查询5.3 中文分词问题安装IK分词器./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.16.2/elasticsearch-analysis-ik-7.16.2.zip测试分词效果POST /_analyze { analyzer: ik_max_word, text: 中华人民共和国 }6. 实战经验分享在管理大型ES集群时有几个容易踩的坑值得特别注意映射爆炸问题避免使用动态映射特别是字段数量不可控的场景。我曾遇到一个日志索引因为自动创建了上万个字段导致集群崩溃的情况。解决方案是在模板中设置dynamic: strict。分片设置黄金法则单个分片大小控制在20-50GB每个节点的分片数不超过每GB堆内存20个对于时序数据使用基于时间的索引如logs-2023-01-01写入优化技巧批量写入使用_bulk API适当增加refresh_interval默认1s关闭副本分片进行大规模导入完成后再开启查询优化心得善用_source过滤减少网络传输对范围查询使用date_nanos而非字符串聚合查询时设置size: 0避免返回命中文档一个实用的监控脚本#!/bin/bash ES_HOSTlocalhost:9200 # 集群状态 curl -s $ES_HOST/_cluster/health?pretty # 索引状态 curl -s $ES_HOST/_cat/indices?v # 节点状态 curl -s $ES_HOST/_cat/nodes?v # 热点线程 curl -s $ES_HOST/_nodes/hot_threads
1. Elasticsearch基础操作全指南Elasticsearch作为当前最流行的分布式搜索和分析引擎几乎成了大数据领域的标配工具。但很多新手在初次接触时往往被其看似复杂的REST API和查询语法吓退。实际上只要掌握几个核心操作就能应付80%的日常需求。我在使用ES的五年间从单节点部署到管理上百节点的生产集群总结出一套最实用的基础操作手册。提示本文所有示例均基于Elasticsearch 7.x版本与6.x的主要语法差异会特别标注1.1 环境准备与基本概念安装Elasticsearch最简单的方式是使用HomebrewMac或直接下载压缩包。以Mac为例brew tap elastic/tap brew install elastic/tap/elasticsearch-full elasticsearch启动后访问http://localhost:9200 能看到版本信息即表示成功。ES的核心概念需要提前了解索引(Index)相当于传统数据库的库是文档的集合类型(Type)7.x后已废弃现在一个索引只能包含一种类型_doc文档(Document)JSON格式的基本数据单元分片(Shard)索引的横向分割单元分为主分片和副本分片1.2 REST API基础格式ES的所有操作都通过HTTP REST API完成基本格式如下HTTP方法 /索引/类型/文档ID { JSON请求体 }常用HTTP方法对应CRUD操作GET查询POST创建/更新PUT创建/修改DELETE删除2. 文档CRUD操作实战2.1 创建文档创建文档有两种方式指定ID和不指定ID# 指定ID创建PUT PUT /products/_doc/1 { name: iPhone 13, price: 5999, tags: [手机, 苹果] } # 自动生成IDPOST POST /products/_doc/ { name: MacBook Pro, price: 12999 }注意实际发送请求需要使用curl或Kibana Dev Tools。例如curl -XPUT http://localhost:9200/products/_doc/1 -H Content-Type: application/json -d { name: iPhone 13 }2.2 查询文档基础查询有三种常用形式# 1. 按ID查询 GET /products/_doc/1 # 2. 查询所有文档 GET /products/_search { query: { match_all: {} } } # 3. 条件查询 GET /products/_search { query: { match: { name: iPhone } } }2.3 更新文档ES的更新实际上是重建索引有两种方式# 1. 全量替换 PUT /products/_doc/1 { name: iPhone 13 Pro, price: 7999 } # 2. 局部更新 POST /products/_update/1 { doc: { price: 6999 } }2.4 删除文档# 删除指定文档 DELETE /products/_doc/1 # 删除整个索引谨慎操作 DELETE /products3. 高级查询语法3.1 复合查询实际业务中经常需要组合多个条件GET /products/_search { query: { bool: { must: [ { match: { name: iPhone } } ], filter: [ { range: { price: { gte: 5000 } } } ] } } }bool查询支持四种子句must必须满足参与算分should应该满足满足会增加分数must_not必须不满足filter必须满足但不参与算分3.2 分页与排序GET /products/_search { from: 0, size: 10, sort: [ { price: { order: desc } } ] }重要提示深度分页如from10000会显著影响性能推荐使用search_after参数3.3 聚合分析聚合是ES最强大的功能之一GET /products/_search { aggs: { price_stats: { stats: { field: price } }, tags_count: { terms: { field: tags.keyword } } } }常用聚合类型指标聚合avg, sum, max, min, stats桶聚合terms, date_histogram, range4. 索引管理技巧4.1 创建带映射的索引PUT /products { mappings: { properties: { name: { type: text }, price: { type: double }, tags: { type: keyword } } } }字段类型选择建议text需要分词的字符串keyword不需要分词的字符串如标签、状态date/double/long对应类型数据4.2 索引别名别名是生产环境的最佳实践# 创建别名 POST /_aliases { actions: [ { add: { index: products_v1, alias: products } } ] }使用别名可以实现无缝索引切换基于时间的索引轮转读写分离5. 常见问题排查5.1 集群健康问题GET /_cluster/health状态解读green所有分片正常yellow主分片正常副本分片未分配red有主分片不可用5.2 查询性能优化慢查询日志配置PUT /_settings { index.search.slowlog.threshold.query.warn: 10s, index.search.slowlog.threshold.fetch.debug: 500ms }性能优化方向合理设置分片数建议每个分片20-50GB使用filter代替query进行条件过滤避免通配符查询5.3 中文分词问题安装IK分词器./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.16.2/elasticsearch-analysis-ik-7.16.2.zip测试分词效果POST /_analyze { analyzer: ik_max_word, text: 中华人民共和国 }6. 实战经验分享在管理大型ES集群时有几个容易踩的坑值得特别注意映射爆炸问题避免使用动态映射特别是字段数量不可控的场景。我曾遇到一个日志索引因为自动创建了上万个字段导致集群崩溃的情况。解决方案是在模板中设置dynamic: strict。分片设置黄金法则单个分片大小控制在20-50GB每个节点的分片数不超过每GB堆内存20个对于时序数据使用基于时间的索引如logs-2023-01-01写入优化技巧批量写入使用_bulk API适当增加refresh_interval默认1s关闭副本分片进行大规模导入完成后再开启查询优化心得善用_source过滤减少网络传输对范围查询使用date_nanos而非字符串聚合查询时设置size: 0避免返回命中文档一个实用的监控脚本#!/bin/bash ES_HOSTlocalhost:9200 # 集群状态 curl -s $ES_HOST/_cluster/health?pretty # 索引状态 curl -s $ES_HOST/_cat/indices?v # 节点状态 curl -s $ES_HOST/_cat/nodes?v # 热点线程 curl -s $ES_HOST/_nodes/hot_threads
