江蘇省建設廳副廳長網(wǎng)站,常州婦幼做的無創(chuàng) 在哪個網(wǎng)站查,做村易通網(wǎng)站站長要收費嗎?,深圳網(wǎng)站設計公司專業(yè)嗎在當今的大數(shù)據(jù)時代#xff0c;非結(jié)構(gòu)化數(shù)據(jù)正以指數(shù)級的速度增長#xff0c;包括文本、圖像、音頻和視頻等形式。據(jù)統(tǒng)計,世界80%的數(shù)據(jù)以非機構(gòu)化數(shù)據(jù)存儲.要在這些數(shù)據(jù)中進行快速高效的搜索和管理#xff0c;傳統(tǒng)的關系型數(shù)據(jù)庫往往顯得力不從心。這種背景下#xff0c;M…在當今的大數(shù)據(jù)時代非結(jié)構(gòu)化數(shù)據(jù)正以指數(shù)級的速度增長包括文本、圖像、音頻和視頻等形式。據(jù)統(tǒng)計,世界80%的數(shù)據(jù)以非機構(gòu)化數(shù)據(jù)存儲.要在這些數(shù)據(jù)中進行快速高效的搜索和管理傳統(tǒng)的關系型數(shù)據(jù)庫往往顯得力不從心。這種背景下Milvus 作為一款專門為大規(guī)模向量搜索設計的開源數(shù)據(jù)庫得到了廣泛應用。第一章:Milvus基礎1.1什么是 MilvusMilvus 是一種新型的開源向量數(shù)據(jù)庫專門為存儲和檢索高維向量設計。它被廣泛應用于圖像檢索、自然語言處理 (NLP)、推薦系統(tǒng)、視頻分析和生物信息學等領域。Milvus 的核心是基于向量的近似最近鄰ANNApproximate Nearest Neighbor搜索技術(shù)通過高效的索引機制使得在高維空間中檢索相似數(shù)據(jù)的任務變得可行。1.2為什么選擇使用 Milvus高性能性能高超可對海量數(shù)據(jù)集進行向量相似度檢索。高可用、高可靠Milvus 支持在云上擴展其容災能力能夠保證服務高可用?；旌喜樵僊ilvus 支持在向量相似度檢索過程中進行標量字段過濾實現(xiàn)混合查詢。開發(fā)者友好支持多語言、多工具的 Milvus 生態(tài)系統(tǒng)。第二章:Milvus分布式架構(gòu)Milvus的分布式架構(gòu)顯著增強了其處理大規(guī)模數(shù)據(jù)的能力。它采用存儲與計算分離的架構(gòu)通過分布式文件系統(tǒng)實現(xiàn)數(shù)據(jù)的高效存儲并通過分布式計算框架來協(xié)調(diào)各節(jié)點之間的任務調(diào)度。這種架構(gòu)的優(yōu)勢在于高擴展性可以動態(tài)添加計算或存儲節(jié)點以應對數(shù)據(jù)增長。容錯性即使某些節(jié)點出現(xiàn)故障系統(tǒng)也能繼續(xù)運行。2.1多種索引類型在高維向量搜索中索引的選擇直接影響查詢性能和準確性。Milvus 支持以下主要索引IVFInverted File System適用于大數(shù)據(jù)集的批量查詢。HNSWHierarchical Navigable Small World以更高精度和速度進行實時搜索。DiskANN一種面向磁盤優(yōu)化的索引可處理超大規(guī)模數(shù)據(jù)。通過靈活選擇索引類型用戶可以根據(jù)具體應用場景在性能和資源消耗之間找到平衡。2.2動態(tài)分區(qū)Milvus允許用戶根據(jù)特定條件對數(shù)據(jù)進行分組以便提高查詢效率。例如在圖像檢索中可以根據(jù)圖像所屬的類別如貓、狗、鳥等創(chuàng)建分區(qū)從而加快特定類別數(shù)據(jù)的檢索速度。真實世界案例使用 Milvus構(gòu)建圖像搜索系統(tǒng)為了更好地理解 Milvus 的功能我們來看一個實際案例構(gòu)建一個圖像搜索系統(tǒng)允許用戶通過上傳圖片來查找相似圖片。第三章:Milvus存儲服務存儲服務是系統(tǒng)的骨骼負責 Milvus 數(shù)據(jù)的持久化分為元數(shù)據(jù)存儲meta store、消息存儲log broker和對象存儲object storage三個部分。3.1元數(shù)據(jù)存儲負責存儲元信息的快照比如集合 schema 信息、節(jié)點狀態(tài)信息、消息消費的 checkpoint 等。元信息存儲需要極高的可用性、強一致和事務支持因此etcd 是這個場景下的不二選擇。除此之外etcd 還承擔了服務注冊和健康檢查的職責。3.2對象存儲負責存儲日志的快照文件、標量 / 向量索引文件以及查詢的中間處理結(jié)果。Milvus 采用 MinIO 作為對象存儲另外也支持部署于 AWS S3 和 Azure Blob 這兩大最廣泛使用的低成本存儲。但是由于對象存儲訪問延遲較高且需要按照查詢計費因此 Milvus 未來計劃支持基于內(nèi)存或 SSD 的緩存池通過冷熱分離的方式提升性能以降低成本。3.3消息存儲消息存儲是一套支持回放的發(fā)布訂閱系統(tǒng)用于持久化流式寫入的數(shù)據(jù)以及可靠的異步執(zhí)行查詢、事件通知和結(jié)果返回。執(zhí)行節(jié)點宕機恢復時通過回放消息存儲保證增量數(shù)據(jù)的完整性。目前分布式版 Milvus 依賴 Pulsar 作為消息存儲單機版 Milvus 依賴 RocksDB 作為消息存儲。消息存儲也可以替換為 Kafka、Pravega 等流式存儲。整個 Milvus 圍繞日志為核心來設計遵循?日志即數(shù)據(jù)?的準則日志系統(tǒng)作為系統(tǒng)的主干承擔了數(shù)據(jù)持久化和解耦的作用。通過日志的發(fā)布訂閱機制Milvus 將系統(tǒng)的讀、寫組件解耦。一個極致簡化的模型如上圖所示整個系統(tǒng)主要由兩個角色構(gòu)成分別是消息存儲log broker負責維護”日志序列 “與“日志訂閱者”。其中的“日志序列” 記錄了所有改變庫表狀態(tài)的操作“日志訂閱者”通過訂閱日志序列更新本地數(shù)據(jù)以只讀副本的方式提供服務。 發(fā)布訂閱機制還為系統(tǒng)在變更數(shù)據(jù)捕獲CDC和全面的分布式部署方面的可擴展性提供了空間。第四章:Milvus 應用場景你可以使用 Milvus 搭建符合自己場景需求的向量相似度檢索系統(tǒng)。Milvus 的使用場景如下所示圖片檢索系統(tǒng)以圖搜圖從海量數(shù)據(jù)庫中即時返回與上傳圖片最相似的圖片。視頻檢索系統(tǒng)將視頻關鍵幀轉(zhuǎn)化為向量并插入 Milvus便可檢索相似視頻或進行實時視頻推薦。音頻檢索系統(tǒng)快速檢索海量演講、音樂、音效等音頻數(shù)據(jù)并返回相似音頻。分子式檢索系統(tǒng)超高速檢索相似化學分子結(jié)構(gòu)、超結(jié)構(gòu)、子結(jié)構(gòu)。推薦系統(tǒng)根據(jù)用戶行為及需求推薦相關信息或商品。智能問答機器人交互式智能問答機器人可自動為用戶答疑解惑。DNA 序列分類系統(tǒng)通過對比相似 DNA 序列僅需幾毫秒便可精確對基因進行分類。文本搜索引擎幫助用戶從文本數(shù)據(jù)庫中通過關鍵詞搜索所需信息。