文化傳媒有限公司網(wǎng)站建設(shè),太原房產(chǎn)信息網(wǎng),上海東方網(wǎng)首頁,蘭溪建設(shè)局網(wǎng)站4.1 Elasticsearch-桶 指標(biāo) 管道 聚合三位一體模型 在 ES5.x 之后#xff0c;官方把“聚合#xff08;Aggregation#xff09;”正式拆成三條主線#xff1a;Bucket、Metric、Pipeline。 這三者不是簡單的“分類”#xff0c;而是可組合、可嵌套、可級(jí)聯(lián)的“三位一體”執(zhí)…4.1 Elasticsearch-桶 指標(biāo) 管道 聚合三位一體模型在 ES5.x 之后官方把“聚合Aggregation”正式拆成三條主線Bucket、Metric、Pipeline。這三者不是簡單的“分類”而是可組合、可嵌套、可級(jí)聯(lián)的“三位一體”執(zhí)行模型Bucket 負(fù)責(zé)“分堆”Metric 負(fù)責(zé)“量堆”Pipeline 負(fù)責(zé)“再算一遍堆與堆之間的關(guān)系”。理解它們的執(zhí)行順序、內(nèi)存邊界和序列化規(guī)則是寫出高性能聚合語句的第一步。三條主線的職責(zé)與語法骨架1.1 Bucket桶關(guān)鍵詞terms/range/date_histogram/filters/geohash_grid…職責(zé)把文檔集合按某個(gè)維度切成若干子集每個(gè)子集就是一個(gè)桶。返回格式buckets : [ { key : iphone, doc_count : 1500 }, { key : samsung, doc_count : 1200 } ]桶本身只帶key與doc_count其余字段由子聚合填充。1.2 Metric指標(biāo)關(guān)鍵詞sum/avg/max/min/value_count/stats/extended_stats/cardinality/percentiles…職責(zé)對“落在當(dāng)前桶內(nèi)的文檔”做數(shù)值統(tǒng)計(jì)返回標(biāo)量或一組標(biāo)量。位置必須掛在某個(gè) Bucket 或 Pipeline 之下不能頂層單獨(dú)出現(xiàn)。示例aggs: { tm: { terms: { field: brand }, aggs: { total_sales: { sum: { field: qty } } } } }1.3 Pipeline管道關(guān)鍵詞bucket_script/bucket_selector/moving_avg/derivative/cumulative_sum/avg_bucket/max_bucket…職責(zé)對“兄弟或父級(jí)聚合已經(jīng)算出來的數(shù)值結(jié)果”做二次加工不再接觸原始文檔。執(zhí)行階段Coordinator 節(jié)點(diǎn)在 Shard 返回最終結(jié)果之后、把結(jié)果發(fā)往客戶端之前。典型場景計(jì)算同比derivative對date_histogram的sum做差分過濾噪音bucket_selector把doc_count10的桶整行刪掉歸一化bucket_script把銷售額除以總銷售額得到占比。執(zhí)行順序與內(nèi)存邊界ES 的聚合請求在 Coordinator 節(jié)點(diǎn)拆成兩階段階段 AShard 級(jí)每個(gè) Shard 獨(dú)立建桶、跑 Metric只把“局部桶”序列化后返回給 Coordinator。內(nèi)存消耗 ≈ 桶數(shù) × 每桶子聚合數(shù) × 預(yù)估精度例如terms的shard_size。此階段 Pipeline 不參與。階段 BCoordinator 級(jí)把各 Shard 的局部桶做歸并reduce得到全局桶對全局桶跑 Pipeline 聚合把最終桶樹序列化為 JSON。Pipeline 之所以“不回流 Shard”是因?yàn)樗灰蕾嚒耙呀?jīng)算好的數(shù)字”不需要再訪問倒排索引或正排數(shù)據(jù)。這也解釋了為什么bucket_script里只能引用兄弟 Metric 的路徑而不能寫field: qty——腳本運(yùn)行的時(shí)候早就沒有_source了。路徑語法與作用域Pipeline 通過buckets_path引用上游結(jié)果語法像 Unix 文件路徑buckets_path: { sales: total_sales, // 同級(jí) Metric cost: parentcost_sum, // 父級(jí)聚合下的 Metric last_day: _count // 關(guān)鍵字等價(jià) doc_count }作用域規(guī)則只能引用“同一桶樹分支”上已經(jīng)出現(xiàn)過的 Metric不能跨兄弟分支除非用sibling類型 Pipeline不能引用嵌套更深層的 Metric除非用顯式指明路徑。三位一體組合套路套路 1桶 指標(biāo)最常用先分桶再統(tǒng)計(jì)。GET order/_search { size: 0, aggs: { g: { date_histogram: { field: order_date, calendar_interval: 1d }, aggs: { revenue: { sum: { field: amount } } } } } }套路 2桶 指標(biāo) Pipeline同級(jí)加工把每日營收再做一次 7 天移動(dòng)平均平滑曲線。aggs: { g: { date_histogram: { field: order_date, calendar_interval: 1d }, aggs: { revenue: { sum: { field: amount } }, smooth: { moving_avg: { buckets_path: revenue, window: 7 } } } } }套路 3桶 指標(biāo) Pipeline桶過濾只保留“銷售額占比超過 5%”的品牌桶其余丟棄。aggs: { brands: { terms: { field: brand, size: 100 }, aggs: { sales: { sum: { field: amount } }, ratio_check: { bucket_script: { buckets_path: { s: sales, total: _parent._total_sales }, script: params.s / params.total } } } }, cut: { bucket_selector: { buckets_path: { r: brandsratio_check }, script: params.r 0.05 } } }常見踩坑清單terms聚合默認(rèn)返回前 10 桶Pipeline 作用域也只在這 10 桶內(nèi)如果做占比記得把size調(diào)大或改用composite分頁否則分母失真。bucket_script的返回類型必須是數(shù)字不能是字符串或布爾否則在 7.x 直接拋ClassCastException。moving_avg在 8.x 被標(biāo)記為 deprecated推薦改用moving_fn后者支持 Painless 腳本窗口邊界更靈活。Pipeline 運(yùn)行在 Coordinator單節(jié)點(diǎn)內(nèi)存即上限如果date_histogram按秒級(jí)切分且跨度一年桶數(shù) 3 000 萬很容易把 Coordinating 節(jié)點(diǎn) OOM務(wù)必先做calendar_interval降采樣。bucket_selector只能“整桶刪除”不能“只刪字段”如果想隱藏某個(gè) Metric 值用bucket_script返回null即可。小結(jié)Bucket、Metric、Pipeline 三者不是扁平的“功能列表”而是嚴(yán)格分層、順序固定的執(zhí)行鏈Shard 先桶指標(biāo) → Coordinator 歸并 → Coordinator 再跑 Pipeline。只要抓住“路徑語法”和“作用域”兩條線就能把任意復(fù)雜的業(yè)務(wù)報(bào)表拆成“先分堆、再量堆、再算堆間關(guān)系”的三板斧既節(jié)省 Shard CPU也避免 Coordinating 節(jié)點(diǎn)成為內(nèi)存漏斗。更多技術(shù)文章見公眾號(hào): 大城市小農(nóng)民