【ES三周年】通过Elasticsearch来搭建搜索引擎 环球速讯
Elasticsearch也简称为ES,其实就是一个实时搜索和分析引擎,它可以近乎实时的数据存储、检索与分析数据。ES是一个基于开源的可高扩展的分布式
众所周知,Elasticsearch是一款基于Lucene库的开源的实时搜索和分析引擎,它不仅可以大规模的索引文档且允许外界能够搜索到这些文档,而且能够非常快速的对这些文档进行分析操作。尤其是在大数据领域里面的存储和搜索与分析的协作操作,而且Elasticsearch可以被Hadoop集成,虽然Elasticsearch是基于Lucene构建的,但是它的应用领域非常的宽泛,其他方向暂且不提,本文就来分享一下Elasticsearch的工作原理,以及通过Elasticsearch来搭建搜索引擎的大概流程。
Elasticsearch也简称为ES,其实就是一个实时搜索和分析引擎,它可以近乎实时的数据存储、检索与分析数据。ES是一个基于开源的可高扩展的分布式全文搜索引擎,它自身可扩展性非常好,可以扩展到能够处理PB级别的数据。ES是基于Lucene作为核心来实现所有搜索和索引的功能的,之所以这样做就是为了通过简单的RESTful API来隐藏Lucene的复杂性,进而让全文搜索成为一个简单的操作。
在介绍Elasticsearch的工作原理之前,再来了解一下Lucene。Lucene也是一个开源的项目,它是由Doug Cutting开发基于Apache软件基金会4 jakarta项目组的一个子项目。Lucene是一个全文检索引擎工具包,它只是一个全文检索引擎的架构,主要提供完整的查询和搜索引擎,以及部分的文本分析引擎,但它不是一个完整的全文检索引擎。近几年非常的受欢迎,尤其是在Java信息检索程序库里的体现。Lucene与Elasticsearch的关系可以理解为:ElasticSearch是基于Lucene 做了进一步的封装和加强。
(资料图片仅供参考)
上文介绍过Elasticsearch的核心是基于Lucene库,Lucene是一个基于Java 引擎用于优化文档存储的全文检索引擎工具包,它可以高效地实时搜索和分析与搜索项相匹配的文本项。选择使用Elasticsearch,不仅因为它提供的一个更为低层的Lucene引擎和简洁的REST API,而且非常好的可扩展性,以及支持插件和其他技术的集成。在使用Elasticsearch之前,需要搞懂它三个核心内容:索引、分片、类型。
在Elasticsearch中,一个索引表示一个拥有相似特征的文档集合。例如,可以由一个用户数据的索引构成,也可以由一个产品类目的索引,甚至还可以由一个订单信息的索引。一个索引是由一个名字来区分做标识(命名规则:必须都是小写英文字母),且需要对这个索引里面的文档进行搜索、索引、更新等操作的时候,都是根据该名字来进行操作的。
注意:在一个集群中,使用者可以创建任意的多个索引。
分片,其实就是一个索引可以存储超过单个节点硬件限制的大量数据。例如,在一个拥有100亿文档的索引占了10TB的磁盘空间,而且任何一个节点可能没有这么大的磁盘空间来存储或单个节点处理搜索请求而响应太慢,通过使用Elasticsearch将索引划分为多片,这些片就叫做分片。当创建一个索引的时候,使用者可以指定想要的分片数量,每个分片本身就是一个功能完整并且独立的索引,而且该索引可以被放到集群中的任意节点上面。
类型其实就是在一个索引中,使用者可以定义的一种或者多种类型,一个类型是索引的一个逻辑分区或者分类,它的语义完全由使用者决定,一般会给具有一组相同字段的文档定义为一个类型。比如,运营一个技术博客社区,且将所有博客数据存储在一个索引里面,在这个索引中,可以为博客用户数据定义一个类型,再为博客数据定义另外一个类型,而且也可以为文章评论数据定义第三个类型,这些操作都是可以正常操作的。
这里通过一个简单的例子来做Elasticsearch的使用介绍,上面介绍过Elasticsearch提供了一个非常简洁的REST API,使用者可以把文档写进Elasticsearch里面,它会自动构建索引,然后可以使用查询语句把这些文档返回。Elasticsearch其实也提供了SQL查询功能,但是局限性比较大,所以复杂的查询聚合必须要回到DSL中,但是DSL语法比较复杂,如下所示:
GET /_search{"query": {"bool": {"must" [{"match": { "title": "Search"}},{"match": { "content": "Elasticsearch"}},]}}}
再来做一个复杂一点的查询结果演示,具体如下所示:
GET /_search{"_shard": {"success": 4,"total":5,"failed":1},"query": {"bool": {"must" : [{"match": { "title": "Search"}},{"match": { "content": "Elasticsearch"}},],"filter" : [{"team": { "status": "publish"}},{"range": { "publish_time": {"gt" : "2023-02-14"}}},]}}}
上面的查询结果示例还是较为简单的,在实际开发中还有更复杂的查询,尤其是数据嵌套多层,这里就不在做结果演示了。因为还有好多本文没有介绍到,或者使用者还没有使用到的搜索技术,可以去Elasticsearch的官方文档中查找即可,这里就不再一一赘述。
1、其实,Elastic官方有很多优质的博文,但是大部分开发者因为它们是英文的原因而忽略了,其实不能这样做,因为Elastic官方的这些文章有很多关键的实现过程以及原理,图文并茂,虽然是英文但是认真去读会发现写的很棒,所以作为使用者一定要克服英文的障碍去认真阅读这些文章。
2、还有就是,腾讯云提供的Elasticsearch Service云产品非常的不错,它是基于开源引擎打造的云端全托管 ELK 服务,集成 X-Pack 特性、独有高性能自研内核、QQ 分词、集群巡检、一键升级等优势能力,引入极致性价比的腾讯自研星星海服务器,可以帮助用户轻松管理和运维集群,高效构建日志分析、运维监控、信息检索、数据分析等业务。所以腾讯云的Elasticsearch Service很值得去体验、学习和使用。
3、Elasticsearch其实也是基于其他产品来研发的,借鉴了很多比较好的设计思想,也集成了很多算法设计,虽然官方的文档在技术原理方面讨论的不太深,基本都是点到为止,但是使用者要想深入了解和学习,必须通过其他途径去深入。
最后再来了解一下Hadoop集成的好处,Hadoop集成最大的好处就是Elasticsearch通过构建Elasticsearch-Hadoop让数据存储以及查询变得很简单,主要就是通过映射Hadoop分离的输入数据,Spark的分区到ES的分片上解决分布式数据模型的问题,因为可以减少数据拷贝操作,大大提高性能,而且数据能够在同一台机器上,那是因为Elasticsearch-Hadoop让与Hadoop和Spark进行数据交互操作,这样防止了不必要的数据通过网络进行传输操作。
Elasticsearch官网:https://www.elastic.co/cn/downloads/elasticsearch
通过本文关于使用Elasticsearch来搭建搜索引擎的简单介绍,想必读者会有所收获,Elasticsearch 自从诞生以来,它应用的地方越来越广泛,特别是在大数据领域,功能也越来越强大,而且Elasticsearch成名很早,技术栈功能特点也很多,现在也很完善,基本上各种学习资料都有,但是要想系统学习就要多去实践操作,因为只停留在理论上只能是纸上谈兵,所以要借助理论知识培养系统思想,结合实际实践来提高实践能力,双管齐下才能真正掌握Elasticsearch的使用。由于现在越来越多的实际场景应用了Elasticsearch ,而且呈现剧增的趋势,Elasticsearch会越来越受欢迎,让我们一起期待Elasticsearch带来的新技术变革!
关键词: Elasticsearch Service ElasticsearchService Lucene/Solr Hadoop
[ 相关文章 ]
Elasticsearch也简称为ES,其实就是一个实时搜索和分析引擎,它可以近乎实时的数据存储、检索与分析数据。ES是一个基于开源的可高扩展的分布式
欢迎观看本篇文章,小升来为大家解答以上问题。六一文案小朋友,适合六一发朋友圈的句子很多人还不知道,现在让我们一起来看看吧
早春时节,春雪漫漫,西宁市湟中区田家寨镇坪台村蔬菜加工车间内却暖意融融。“生活要越过越好,就要防止返贫,除了靠咱们勤劳的双手、还要跟
2023云南四省联考于2月23日开考,此次四省联考还有黑龙江、吉林、安徽等地参与考试。因此本次四省联考涉及的范围广,考生多,非常具有参考价值
一个人张大嘴巴打一成语是什么,答案:妙语连珠。成语解释:连珠:串珠。巧妙风趣的话一个接一个。出处:这个词没有明确的出处,和这个词最相
1、卡转就是练到100级。2、转生的时候你人物在线上 就这样转 !转了以后你再重进一次游戏就这样一直转下
六一儿童节是孩子一个愉快的而又开心的节日,而六一的庆祝方式还有制作一张手抄报,那么六一儿童节的手抄报内容有哪些呢?接下来
1、所谓忍者的人生,其价值不是由其怎样活着来决定的,而是由其到死之前有何作为来决定的,大蛤蟆仙人预言我是“引导改革者的人
测测你长得美与丑Q1:你眼睛瞳孔的颜色是浅咖啡色?(是接Q2,否接Q4)Q2:你的眼角形状是?(上扬接Q5,下垂接Q4)
①、银行卡密码连续输错三次,银行系统会自动将用户的银行卡锁定。②、银行卡余额长期为零,长期没有使用,这种情况下,银行会将
1、电焊机的功率一般很大。2、小的也有5KW以上,大的话有二,三十KW 型号有BX系列交流,ZX系列直流。3、交流从大到小有很多型号,直流的型号更
从殷墟甲骨到明清档案,中国古文献“四大发现”首次集中展出
1、张献忠(1606年9月18日-1647年1月2日),字秉忠,号敬轩,外号黄虎,陕西延安府庆阳卫定边县(今陕西定边县)人。明朝末年农民军领袖,与
证券时报网讯,中伟股份(300919)在互动平台表示,公司钠电池前驱体材料已逐步工业化小批量出货。同时,公司紧跟钠系材料产业链发展进程,及时
欧元和荷兰盾。荷兰用欧元和荷兰盾两种货币。21世纪初,欧元替代了荷兰盾。在2007年以前,荷兰盾钱币还是能在荷兰中央银行
2023年2月16日大连停水降压通知停水降压原因因自来水管线工程建设的需要停水降压时间2023年2月16日9:00-17日9:00停水降压范围山春街、北明街、双
1、林依晨身高:162cm;2、林依晨(ArielLin),1982年10月29日出生于台湾省台北市宜兰县,中国台湾女演员、歌手。3、2000年,林依晨参加台
东吴证券发布研究报告称,首予阳光保险(06963)“买入”评级,预计2023-25年归母净利润将同比+48 2% 3 8% 14%至70 18 72 84 83 07亿元。采用分
大盘小幅高开后震荡盘跌,10:30点后跌幅收窄,随后在前一交易日收盘点位下方震荡整理,午间报收小阴。沪指跌10 67点,跌幅0 32%,深成指跌0 18%,创指
adjust是我们在英语中常用的动词,那么你adjust做动词都表达哪些意思吗?下面学习啦小编为大家带来adjust的英语意思解释和英语例句,供大家学习
[ 相关新闻 ]
Copyright 2015-2022 南极医院网 版权所有 备案号:粤ICP备2022077823号-13 联系邮箱: 317 493 128@qq.com