Elasticsearch 对于大数据量(上亿量级)的聚合如何实现?

参考答案

Elasticsearch 提供的首个近似聚合是 cardinality 度量

关于 cardinality 度量:

  • 它提供一个字段的基数,即该字段的 distinct 或者unique 值的数目。
  • 它是基于 HLL 算法的。HLL 会先对我们的输入作哈希运算,然后根据哈希运算的结果中的 bits 做概率估算,从而得到基数。
  • 其特点是:可配置的精度,用来控制内存的使用(更精确 = 更多内存);

小的数据集精度是非常高的,我们可以通过配置参数,来设置去重需要的固定内存使用量。

无论数千还是数十亿的唯一值,内存使用量只与配置的精确度相关。

 

以上,是 Elasticsearch 搜索面试题【Elasticsearch 对于大数据量(上亿量级)的聚合如何实现?】的参考答案。

输出,是最好的学习方法

欢迎在评论区留下你的问题、笔记或知识点补充~

—end—

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧