本文我们通过一个仿百度搜索引擎项目来演示如何将 HBase 和 Elasticsearch 整合到一起，这里利用了 HBase 适合海量数据存储、基于 Rowkey 查询效率高的特性，以及 Elasticsearch 适合快速复杂查询的特性。 一、项目整体介绍 1，项目整体架构 2，架构说明......
1，Too many open files 的问题 （1）ES 中的索引数据都是存储在磁盘文件中的，每一条数据在底层都会产生一份索引片段文件。这些索引数据默认的存储目录是在 ES 安装目录下的 data 目录里面。 其中路径的 0DZ2Lm20RG6FyMPdjx3S5w 表示是索引库的......
1，基本介绍 （1）我们在向 Elasticsearch 中添加数据的时候，ES 底层针对每个字段其实还会涉及到 index 和 store 这两个属性： index：表示是否在 ES 中建立索引，默认为 true。 store：表示是否在 ES 中存储，默认为 false。 （2）这里的 store 属性其实是 Lucene 中的语法......
1，索引库别名使用案例 （1）在工作中使用 ES 收集应用的运行日志，每个星期创建一个索引库，这样时间长了就会创建很多的索引库，操作和管理的时候很不方便。 （2）由于新增索引数据只会操作当前这个星期的索引库，所以为了使用方便，我们就创建了两个索引库别名......
在实际工作中针对一批大量数据存储的时候需要使用多个索引库，如果手工指定每个索引库的 settings 和 mapping 配置信息的话就很麻烦了。我们可以通过提前创建一个索引库模板，这样后期在创建索引库的时候，只要索引库的命名符合一定的要求就可以直接套用模板中的配置......
1，基本介绍 （1）Elasticsearch 在添加数据时，会根据 id 或者 routing 参数进行 hash，得到 hash 值再与该索引库的分片数量取模，得到的值即为存入的分片编号。 （2）如果多条数据使用相同的 routing，则最终计算出来的分片编号都是一样的，那么这些数据就可以存储到相同的分片里面了......
ES 中的索引数据最终都是存储在分片里面的，分片有多个，并且分片还分为主分片和副本分片。ES 在查询索引库中的数据时，具体是到哪些分片里面查询数据呢？本文将通过样例进行详细说明。 一、查询过程分析 1，分布式查询 下图表示是一个 3 个节点的 ES 集群，集群内有一个索引库......
1，基本介绍 （1）mapping 表示索引库中数据的字段类型信息，类似于 MySQL 中的表结构信息。 一般不需要手工指定 mapping，因为 ES 会自动根据数据格式识别它的类型 如果你需要对某些字段添加特殊属性（例如：指定分词器），就必须手工指定字段的 mapping......
五月头条：Python 称霸全球 上个月，Python 的受欢迎程度又猛增了 2.2%，总份额达到了 25.35%。在 TIOBE 榜单的历史上，除 2001 年 6 月（当时是 TIOBE 榜单的第一个月，追踪的语言数量较少）和同年 10 月的 Java 之外，没有任何编程语言曾达到过如此高的份额......
我在之前的文章中介绍了如何自定义 Elasticsearch 的分词词库。但是原先那种方式，后期只要词库内容发生了变动，就需要重启 ES 才能生效。在实际工作中，频繁重启 ES 集群不是一个好办法。所以 ES 提供了热更新词库的解决方案，在不重启 ES 集群的情况下也能识别新增的词语......