seo排名優(yōu)化技術(shù),長春網(wǎng)站排名優(yōu)化價格,外包網(wǎng)站建設(shè)是什么意思,wordpress統(tǒng)計訪客文章目錄詳細描述一下 Elasticsearch 搜索的過程 ?一、問題背景二、總體流程概述三、搜索過程詳解1. 用戶發(fā)起請求2. 分詞處理#xff08;1#xff09;什么是分詞#xff1f;#xff08;2#xff09;分詞器的選擇#xff08;3#xff09;分詞的配置3. 查詢解析#xf…文章目錄詳細描述一下 Elasticsearch 搜索的過程 ?一、問題背景二、總體流程概述三、搜索過程詳解1. 用戶發(fā)起請求2. 分詞處理1什么是分詞2分詞器的選擇3分詞的配置3. 查詢解析1Query DSL 的作用2內(nèi)部表示4. 執(zhí)行查詢1Query 階段2Fetch 階段5. 返回結(jié)果總結(jié)希望這篇文章對你有所幫助如果你有任何問題歡迎隨時留言討論。 領(lǐng)取 | 1000 套高質(zhì)量面試題大合集無套路閆工帶你飛一把詳細描述一下 Elasticsearch 搜索的過程 ?大家好我是都叫我閆工今天要跟大家聊一個非常有意思的話題Elasticsearch 的搜索過程到底是怎么運作的作為一個 Elasticsearch 的忠實粉絲我經(jīng)常會被問到這個問題。說實話一開始我也是一知半解但經(jīng)過一段時間的學(xué)習(xí)和實踐后終于對這個過程有了比較清晰的認識。今天我就來跟大家分享一下我的理解。一、問題背景Elasticsearch 是一個基于 Lucene 的分布式搜索引擎它的核心功能就是快速地響應(yīng)用戶的搜索請求并返回相關(guān)的結(jié)果。那么當(dāng)我們輸入一個搜索詞的時候Elasticsearch 內(nèi)部到底發(fā)生了什么這個問題聽起來簡單但其實里面涉及到很多復(fù)雜的機制。二、總體流程概述在深入細節(jié)之前我先給大家畫一個整體的流程圖用戶發(fā)起請求比如搜索 “都叫我閆工”。分詞處理將輸入的文本分解成更小的單元詞項。查詢解析將用戶的請求轉(zhuǎn)換為 Elasticsearch 能理解的查詢結(jié)構(gòu)。執(zhí)行查詢在每個索引的每個分片上執(zhí)行查詢。收集結(jié)果并進行排序。返回結(jié)果將最終的結(jié)果返回給用戶。整個過程看起來簡單但每一步都隱藏著很多細節(jié)和優(yōu)化點。接下來我會逐一展開講解。三、搜索過程詳解1. 用戶發(fā)起請求這個部分很簡單就是我們通過 REST API 或者其他客戶端發(fā)送一個 HTTP 請求。比如GET /my_index/_search { query: { match: { title: 都叫我閆工 } } }這里需要注意的是用戶提交的查詢會被 Elasticsearch 解析成某種內(nèi)部結(jié)構(gòu)這個過程可能會涉及到一些默認的設(shè)置和配置。2. 分詞處理分詞是搜索引擎的核心之一。Elasticsearch 使用倒排索引Inverted Index來存儲數(shù)據(jù)而倒排索引的構(gòu)建依賴于分詞的結(jié)果。因此分詞的正確性和效率對搜索結(jié)果的質(zhì)量影響很大。1什么是分詞簡單來說分詞就是將一段文本分解成更小的單元這些單元通常被稱為term詞項。比如 “都叫我閆工” 可能會被分詞成以下幾個 term都我閆工2分詞器的選擇Elasticsearch 提供了多種分詞器每種分詞器都有自己的特點。例如標(biāo)準(zhǔn)分詞器簡單地按照空格和標(biāo)點符號進行分詞。中文分詞器專門針對中文的分詞器比如 IK 分詞器或 MMSEG 分詞器。假設(shè)我們使用的是中文分詞器那么 “都叫我閆工” 可能會被分成以下 term[都, 我, 叫, 閆工]需要注意的是默認情況下 Elasticsearch 使用的是標(biāo)準(zhǔn)分詞器如果你要處理中文文本最好配置一個合適的中文分詞器。3分詞的配置在索引創(chuàng)建時我們需要指定分詞器。比如PUT/my_index{settings:{analysis:{analyzer:{ik_analyzer:{type:custom,tokenizer:ik_max_word}}}},mappings:{properties:{title:{type:text,analyzer:ik_analyzer}}}}這段配置的意思是創(chuàng)建一個名為my_index的索引。在analysis中定義了一個自定義的分詞器ik_analyzer使用的是 IK 分詞器最大詞模式。在字段title上使用這個分詞器。這樣當(dāng)我們搜索 “都叫我閆工” 時Elasticsearch 會用 IK 分詞器對輸入進行處理。3. 查詢解析分詞完成后Elasticsearch 需要把用戶的查詢轉(zhuǎn)換成一種可以高效執(zhí)行的結(jié)構(gòu)。這里涉及到兩個重要的概念Query DSLElasticsearch 提供了一套強大的查詢語言允許我們以 JSON 的形式構(gòu)建復(fù)雜的查詢。內(nèi)部表示Elasticsearch 會把用戶的查詢轉(zhuǎn)換為某種內(nèi)部數(shù)據(jù)結(jié)構(gòu)以便后續(xù)執(zhí)行。1Query DSL 的作用Query DSLDomain Specific Language是 Elasticsearch 的核心查詢語法。它支持各種類型的查詢比如match進行分詞匹配。term精確匹配。bool組合多個查詢條件。fuzzy模糊匹配?；氐轿覀兊睦佑脩舻牟樵兪莧query:{match:{title:都叫我閆工}}}Elasticsearch 會把這個查詢解析成一個包含多個 term 的布爾查詢。比如必須同時滿足都、我、叫和閆工這四個條件。或者根據(jù)設(shè)置的不同可能只是匹配這些 term 中的任意一個。2內(nèi)部表示在解析完 Query DSL 之后Elasticsearch 會生成一種叫做BooleanQuery的結(jié)構(gòu)。這個結(jié)構(gòu)包含了所有需要查詢的 term以及它們之間的邏輯關(guān)系比如 AND、OR 等。以我們的例子為例最終的 BooleanQuery 可能是這樣的title:都 title:我 title:叫 title:閆工這意味著用戶希望同時匹配這四個 term。4. 執(zhí)行查詢接下來Elasticsearch 會將這個 BooleanQuery 發(fā)送到所有相關(guān)的分片上執(zhí)行。這里涉及到兩個重要的階段Query 階段確定哪些文檔需要被考慮。Fetch 階段獲取這些文檔的詳細信息。1Query 階段在 Query 階段Elasticsearch 會遍歷所有相關(guān)的分片并根據(jù) BooleanQuery 來篩選出可能符合條件的文檔。這個過程是基于倒排索引完成的。什么是倒排索引倒排索引是一種數(shù)據(jù)結(jié)構(gòu)它記錄了每個 term 出現(xiàn)的位置和頻率。比如對于 term “都”倒排索引會告訴我們在哪些文檔中出現(xiàn)了這個詞。同樣地對于 “我”、“叫” 和 “閆工”也會有對應(yīng)的記錄。通過查詢倒排索引Elasticsearch 可以快速找到包含這些 term 的文檔。然后根據(jù) BooleanQuery 的邏輯關(guān)系比如 AND 或 OR它會篩選出符合條件的文檔集合。2Fetch 階段在 Query 階段完成后我們已經(jīng)得到了一個候選文檔的列表。接下來Elasticsearch 會進入 Fetch 階段這個階段的主要任務(wù)是獲取這些文檔的實際內(nèi)容并按照相關(guān)性進行排序。排序機制Elasticsearch 的排序是基于BM25 算法的默認情況下會根據(jù)文檔與查詢的相關(guān)性進行排名。BM25 是一種概率性的排名函數(shù)它考慮了以下因素詞頻Term Frequency一個 term 在文檔中出現(xiàn)的次數(shù)。逆文檔頻率Inverse Document Frequency一個 term 在所有文檔中的分布情況。回到我們的例子假設(shè)我們有以下幾個文檔文檔 A標(biāo)題是 “都叫我閆工”文檔 B標(biāo)題是 “我叫閆工”文檔 C標(biāo)題是 “都叫閆工”Elasticsearch 會根據(jù) BM25 算法對這些文檔進行排序。通常包含所有查詢 term 的文檔比如文檔 A會被排在前面。5. 返回結(jié)果最后Elasticsearch 會將排序后的結(jié)果返回給用戶。用戶可以通過設(shè)置from和size來控制分頁或者通過聚合來獲取更多的統(tǒng)計信息?？偨Y(jié)整個過程可以簡單地總結(jié)為以下幾個步驟分詞將用戶的查詢拆分成多個 term。解析將這些 term 轉(zhuǎn)換成一個可以高效執(zhí)行的 BooleanQuery。查詢階段在各個分片上篩選出符合條件的文檔。獲取階段獲取這些文檔的實際內(nèi)容并進行排序。返回結(jié)果將排序后的結(jié)果返回給用戶。通過理解這個過程我們可以更好地優(yōu)化我們的搜索應(yīng)用。比如選擇合適的分詞器可以提高搜索的相關(guān)性。合理設(shè)置索引的分析配置可以提升性能。理解排名機制可以幫助我們調(diào)整查詢策略。希望這篇文章對你有所幫助如果你有任何問題歡迎隨時留言討論。 領(lǐng)取 | 1000 套高質(zhì)量面試題大合集無套路閆工帶你飛一把你想做外包嗎閆工就是外包出身但我已經(jīng)上岸了你也想上岸嗎閆工精心準(zhǔn)備了程序準(zhǔn)備面試想系統(tǒng)提升技術(shù)實力閆工精心整理了1000 套涵蓋前端、后端、算法、數(shù)據(jù)庫、操作系統(tǒng)、網(wǎng)絡(luò)、設(shè)計模式等方向的面試真題 詳細解析并附贈高頻考點總結(jié)、簡歷模板、面經(jīng)合集等實用資料? 覆蓋大廠高頻題型? 按知識點分類查漏補缺超方便? 持續(xù)更新助你拿下心儀 Offer免費領(lǐng)取 點擊這里獲取資料已幫助數(shù)千位開發(fā)者成功上岸下一個就是你?