更新時(shí)間:2018年11月20日15時(shí)33分 來源:傳智播客 瀏覽次數(shù):
Elasticsearch簡介
Elasticsearch是一個(gè)實(shí)時(shí)的分布式搜索和分析引擎。它可以幫助你用前所未有的速度去處理大規(guī)模數(shù)據(jù)。
它可以用于全文搜索,結(jié)構(gòu)化搜索以及分析,當(dāng)然你也可以將這三者進(jìn)行組合。
Elasticsearch是一個(gè)建立在全文搜索引擎 Apache Lucene™ 基礎(chǔ)上的搜索引擎,可以說Lucene是當(dāng)今最先進(jìn),最高效的全功能開源搜索引擎框架。
但是Lucene只是一個(gè)框架,要充分利用它的功能,需要使用JAVA,并且在程序中集成Lucene。需要很多的學(xué)習(xí)了解,才能明白它是如何運(yùn)行的,Lucene確實(shí)非常復(fù)雜。
Elasticsearch使用Lucene作為內(nèi)部引擎,但是在使用它做全文搜索時(shí),只需要使用統(tǒng)一開發(fā)好的API即可,而不需要了解其背后復(fù)雜的Lucene的運(yùn)行原理。
當(dāng)然Elasticsearch并不僅僅是Lucene這么簡單,它不但包括了全文搜索功能,還可以進(jìn)行以下工作:
· 分布式實(shí)時(shí)文件存儲,并將每一個(gè)字段都編入索引,使其可以被搜索。
· 實(shí)時(shí)分析的分布式搜索引擎。
· 可以擴(kuò)展到上百臺服務(wù)器,處理PB級別的結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)。
這么多的功能被集成到一臺服務(wù)器上,你可以輕松地通過客戶端或者任何你喜歡的程序語言與ES的RESTful API進(jìn)行交流。
Elasticsearch的上手是非常簡單的。它附帶了很多非常合理的默認(rèn)值,這讓初學(xué)者很好地避免一上手就要面對復(fù)雜的理論,
它安裝好了就可以使用了,用很小的學(xué)習(xí)成本就可以變得很有生產(chǎn)力。
隨著越學(xué)越深入,還可以利用Elasticsearch更多高級的功能,整個(gè)引擎可以很靈活地進(jìn)行配置??梢愿鶕?jù)自身需求來定制屬于自己的Elasticsearch。
使用案例:
· 維基百科使用Elasticsearch來進(jìn)行全文搜做并高亮顯示關(guān)鍵詞,以及提供search-as-you-type、did-you-mean等搜索建議功能。
· 英國衛(wèi)報(bào)使用Elasticsearch來處理訪客日志,以便能將公眾對不同文章的反應(yīng)實(shí)時(shí)地反饋給各位編輯。
· StackOverflow將全文搜索與地理位置和相關(guān)信息進(jìn)行結(jié)合,以提供more-like-this相關(guān)問題的展現(xiàn)。
· GitHub使用Elasticsearch來檢索超過1300億行代碼。
· 每天,Goldman Sachs使用它來處理5TB數(shù)據(jù)的索引,還有很多投行使用它來分析股票市場的變動。
但是Elasticsearch并不只是面向大型企業(yè)的,它還幫助了很多類似DataDog以及Klout的創(chuàng)業(yè)公司進(jìn)行了功能的擴(kuò)展。
Elasticsearch的優(yōu)缺點(diǎn):
優(yōu)點(diǎn)
1. Elasticsearch是分布式的。不需要其他組件,分發(fā)是實(shí)時(shí)的,被叫做”Push replication”。
2. Elasticsearch 完全支持 Apache Lucene 的接近實(shí)時(shí)的搜索。
3. 處理多租戶(multitenancy)不需要特殊配置,而Solr則需要更多的高級設(shè)置。
4. Elasticsearch 采用 Gateway 的概念,使得完備份更加簡單。
5. 各節(jié)點(diǎn)組成對等的網(wǎng)絡(luò)結(jié)構(gòu),某些節(jié)點(diǎn)出現(xiàn)故障時(shí)會自動分配其他節(jié)點(diǎn)代替其進(jìn)行工作。
缺點(diǎn)
1. 只有一名開發(fā)者(當(dāng)前Elasticsearch GitHub組織已經(jīng)不只如此,已經(jīng)有了相當(dāng)活躍的維護(hù)者)
2. 還不夠自動(不適合當(dāng)前新的Index Warmup API)
Solr簡介
Solr(讀作“solar”)是Apache Lucene項(xiàng)目的開源企業(yè)搜索平臺。其主要功能包括全文檢索、命中標(biāo)示、分面搜索、動態(tài)聚類、數(shù)據(jù)庫集成,以及富文本(如Word、PDF)的處理。Solr是高度可擴(kuò)展的,并提供了分布式搜索和索引復(fù)制。Solr是最流行的企業(yè)級搜索引擎,Solr4還增加了NoSQL支持。
Solr是用Java編寫、運(yùn)行在Servlet容器(如 Apache Tomcat 或Jetty)的一個(gè)獨(dú)立的全文搜索服務(wù)器。Solr采用了 Lucene Java 搜索庫為核心的全文索引和搜索,并具有類似REST的HTTP/XML和JSON的API。Solr強(qiáng)大的外部配置功能使得無需進(jìn)行Java編碼,便可對 其進(jìn)行調(diào)整以適應(yīng)多種類型的應(yīng)用程序。Solr有一個(gè)插件架構(gòu),以支持更多的高級定制。
因?yàn)?010年Apache Lucene 和 Apache Solr 項(xiàng)目合并,兩個(gè)項(xiàng)目是由同一個(gè)Apache軟件基金會開發(fā)團(tuán)隊(duì)制作實(shí)現(xiàn)的。提到技術(shù)或產(chǎn)品時(shí),Lucene/Solr或Solr/Lucene是一樣的。
Solr的優(yōu)缺點(diǎn)
優(yōu)點(diǎn)
1. Solr有一個(gè)更大、更成熟的用戶、開發(fā)和貢獻(xiàn)者社區(qū)。
2. 支持添加多種格式的索引,如:HTML、PDF、微軟 Office 系列軟件格式以及 JSON、XML、CSV 等純文本格式。
3. Solr比較成熟、穩(wěn)定。
4. 不考慮建索引的同時(shí)進(jìn)行搜索,速度更快。
缺點(diǎn)
1. 建立索引時(shí),搜索效率下降,實(shí)時(shí)索引搜索效率不高。
Elasticsearch與Solr的比較
1.當(dāng)單純的對已有數(shù)據(jù)進(jìn)行搜索時(shí),Solr更快。
2.當(dāng)實(shí)時(shí)建立索引時(shí), Solr會產(chǎn)生io阻塞,查詢性能較差, Elasticsearch具有明顯的優(yōu)勢。
3.隨著數(shù)據(jù)量的增加,Solr的搜索效率會變得更低,而Elasticsearch卻沒有明顯的變化。
綜上所述,Solr的架構(gòu)不適合實(shí)時(shí)搜索的應(yīng)用。
Elasticsearch與 Solr 的比較總結(jié)
· 二者安裝都很簡單;
· Solr 利用 Zookeeper 進(jìn)行分布式管理,而Elasticsearch 自身帶有分布式協(xié)調(diào)管理功能;
· Solr 支持更多格式的數(shù)據(jù),而Elasticsearch 僅支持json文件格式;
· Solr 官方提供的功能更多,而Elasticsearch 本身更注重于核心功能,高級功能多有第三方插件提供;
· Solr 在傳統(tǒng)的搜索應(yīng)用中表現(xiàn)好于Elasticsearch,但在處理實(shí)時(shí)搜索應(yīng)用時(shí)效率明顯低于 Elasticsearch。
Solr 是傳統(tǒng)搜索應(yīng)用的有力解決方案,但Elasticsearch 更適用于新興的實(shí)時(shí)搜索應(yīng)用。
首發(fā):http://java.itcast.cn
北京校區(qū)