1
ES 数据压缩问题
source link: https://www.v2ex.com/t/847176
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
ES 数据压缩问题
背景:ES 集群已经是百台高配节点。
1.单条数据平均大小占用 15K 左右。
2.每次请求要返回 1 万条的数据量。
3.会有大量的并发会去这样请求。
目前导致是带宽资源占用比较高，另一个返回的效率比较慢，大家都是怎么优化的，包括数据压缩或者负载均衡策略。
有之前负责 ES 大数据运维的工作，有打算想换环境的想法，可以聊聊。
1 条回复 • 2022-04-15 22:37:59 +08:00
mengzhuo 27 分钟前
最简单是逻辑层加 cache ，查询一致的时候直接回之前缓存的数据，特别是用户会查询的东西可以自己先预热 cache 。
而且看你的需求，应该是某种 tsdb 的应用范围。预先计算，预先聚集到特定表，减少 aggregate 压力，或者干脆直接换 tsdb 。
不是 tsdb 的话，每条数据 15K ，也需要尽快垂直拆字段，特别是没啥用的数据，就不要跟着查询压力大的接口放在一起。
ES 的 shard 机制决定了你的数据肯定会跨节点查询，http gzip 都只是治标不治本的。
而且看你的需求，应该是某种 tsdb 的应用范围。预先计算，预先聚集到特定表，减少 aggregate 压力，或者干脆直接换 tsdb 。
不是 tsdb 的话，每条数据 15K ，也需要尽快垂直拆字段，特别是没啥用的数据，就不要跟着查询压力大的接口放在一起。
ES 的 shard 机制决定了你的数据肯定会跨节点查询，http gzip 都只是治标不治本的。
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK