对比 elasticsearch 和 mysql - darcy_yuan

minimum_master_nodes参数确保过半选举决定机制

routing_factor = num_routing_shards / num_primary_shards
shard_num = (hash(_routing) % num_routing_shards) / routing_factor

 指定路由分片：

my-index-000001/_doc/1?routing=user1&refresh=true

filesystem cache, request cahce, query cache

所有cache都是基于node

分片大小 几g ~ 几十g， time based data， 20g ~ 40g

分片数量，每g内存小于20分片

shard越多，维护索引成本越高

shard越大，rebalance越慢

倒排表，fst

正向文件，分块 + 压缩

DocValues, 映射文件 + 压缩

默认mmapfs，采用内存映射方式访问文件，也支持其他的文件系统，比如fs, niofs, hybirdfs

es在写入之前会先将数据写入到translog，用来对异常情况进恢复

flush，lucene 进行提交，并且同时重新开启一段 translog

index.translog.sync_interval，持久化translog 间隔，5s

index.translog.flush_threshold_size， flush translog阈值大小，512m

redo log采用的是WAL（Write-ahead logging，预写式日志），所有修改先写入日志，再更新到Buffer Pool，保证了数据不会因MySQL宕机而丢失，从而满足了持久性要求

从内存缓存写入磁盘缓存memorybuffer -> filesystem cache（refresh）

刷盘，filesystem cache -> disk ( flush)

定时触发或者 translog > 512M

buffer pool -> disk

当redo log满了，或者buffer pool空间不足

snapshot

mysqldump -u root -h host -p --all-databases > backdb.sql

比如 index.search.slowlog.threshold.query.warn: 10s

int, data, varchar

analyzer，分词器

index，是否被索引，没有被索引的字段不可查询

fielddata，如果想对text类型的字段进行聚合，排序，或者执行脚本，就必须设置fielddata属性

doc_values，将_source 转化为表结构放在磁盘上，方便聚合，排序，或者脚本操作，默认支持除了text类型的所有类型

主键索引, 可空，唯一值，自增，默认值

设置 query timeout

set wait_timeout = 10

es查询需要区分query context， 还是 filter context，前者会进行打分，后者只进行过滤

不需要区分

比如match，match_phrase

使用script 创建临时字段

语法支持 select concat (a, b) as c

比如term, terms, ids, exists

比如histogram aggs，terms aggs

group by

avg, max, min, sum ,count, cardinality aggs，percentile aggs

from + size （不适合深分页，有去重问题）

search_after + PIT （推荐）

scroll (不适合深分页)

limit + size

或者进行条件关联，书签

{
  "profile": true,
  "query" : {
    "match" : { "message" : "GET /search" }
  }
}