js圖片展示網(wǎng)站,網(wǎng)站群發(fā)軟件,在線設(shè)計(jì)軟件,購物網(wǎng)站首頁圖片#x1f422; 前言#xff1a;Pandas 的“阿喀琉斯之踵” Pandas 是 Python 數(shù)據(jù)分析的神器#xff0c;但它有兩個(gè)致命弱點(diǎn)#xff1a; 內(nèi)存占用高#xff1a;Pandas 通常需要 5-10 倍于文件大小的內(nèi)存。處理 1GB 的數(shù)據(jù)可能需要 10GB 內(nèi)存。單線程執(zhí)行#xff1a;默認(rèn)情… 前言Pandas 的“阿喀琉斯之踵”Pandas 是 Python 數(shù)據(jù)分析的神器但它有兩個(gè)致命弱點(diǎn)內(nèi)存占用高Pandas 通常需要 5-10 倍于文件大小的內(nèi)存。處理 1GB 的數(shù)據(jù)可能需要 10GB 內(nèi)存。單線程執(zhí)行默認(rèn)情況下Pandas 只能利用一個(gè) CPU 核心無法榨干現(xiàn)代多核 CPU 的性能。當(dāng)數(shù)據(jù)量達(dá)到“億級(jí)”時(shí)我們需要換一種思路列式存儲(chǔ) 向量化執(zhí)行。這就是 DuckDB 的強(qiáng)項(xiàng)。 一、 什么是 DuckDB為什么它這么快DuckDB 是一個(gè)進(jìn)程內(nèi)In-Process的 SQL OLAP 數(shù)據(jù)庫。進(jìn)程內(nèi)像 SQLite 一樣無需安裝服務(wù)器pip install即可使用。OLAP專為分析聚合、排序、連接優(yōu)化采用列式存儲(chǔ)。向量化引擎一次處理一批數(shù)據(jù)Vector而不是一行行處理極大利用 CPU 緩存。Pandas vs DuckDB 處理邏輯對(duì)比 (Mermaid):DuckDB (列式/多線程)流式讀取需要的列CPU Core 1CPU Core 2CPU Core 3CSV 文件向量化引擎并行聚合計(jì)算結(jié)果Pandas (行式/單線程)解析所有列CPU Core 1讀取 CSV 到內(nèi)存內(nèi)存膨脹 (OOM風(fēng)險(xiǎn))計(jì)算結(jié)果? 二、 環(huán)境準(zhǔn)備DuckDB 的安裝極其簡單沒有復(fù)雜的配置。pipinstallduckdb pandas 三、 實(shí)戰(zhàn)挑戰(zhàn)億級(jí) CSV 查詢假設(shè)我們有一個(gè)巨大的銷售數(shù)據(jù)文件sales_data.csv(1 億行約 10GB)包含字段date,product_id,amount。我們的任務(wù)是計(jì)算每個(gè)月的銷售總額。1. Pandas 的做法 (反面教材)如果你嘗試直接讀取普通筆記本大概率會(huì)崩潰importpandasaspd# ?? 警告內(nèi)存小于 32G 可能直接死機(jī)# df pd.read_csv(sales_data.csv)# result df.groupby(date)[amount].sum()2. DuckDB 的做法 (降維打擊)DuckDB 允許你直接對(duì) CSV 文件寫 SQL它會(huì)自動(dòng)進(jìn)行流式處理不會(huì)把整個(gè)文件讀入內(nèi)存。importduckdbimporttime start_timetime.time()# 直接將 CSV 文件當(dāng)作一張表來查詢# read_csv_auto 會(huì)自動(dòng)推斷類型query SELECT date, SUM(amount) as total_sales FROM read_csv_auto(sales_data.csv) GROUP BY date ORDER BY total_sales DESC # execute() 執(zhí)行查詢df() 將結(jié)果轉(zhuǎn)換為 Pandas DataFrameresult_dfduckdb.sql(query).df()end_timetime.time()print(f耗時(shí):{end_time-start_time:.2f}秒)print(result_df.head())實(shí)測結(jié)果對(duì)比模擬數(shù)據(jù)Pandas: 內(nèi)存溢出OOM或耗時(shí) 300秒。DuckDB: 內(nèi)存占用 1GB耗時(shí)5-10秒。 四、 進(jìn)階玩法DuckDB 與 Pandas 的無縫融合DuckDB 最強(qiáng)大的地方在于它不排斥 Pandas而是與其共生。你可以把 DuckDB 當(dāng)作 Pandas 的**“外掛加速引擎”**。場景查詢已有的 DataFrame如果你已經(jīng)有一個(gè) DataFrame但想用 SQL 做復(fù)雜的 Join 或 Window Function窗口函數(shù)DuckDB 可以直接查詢 Python 變量importpandasaspdimportduckdb# 創(chuàng)建兩個(gè)普通的 DataFrameuserspd.DataFrame({id:[1,2,3],name:[Alice,Bob,Charlie]})orderspd.DataFrame({id:[101,102,103],user_id:[1,1,2],amount:[100,200,50]})# 使用 DuckDB 直接關(guān)聯(lián)這兩個(gè) DataFrame# 注意直接在 SQL 中寫變量名 users 和 ordersresultduckdb.sql( SELECT u.name, SUM(o.amount) as total_spent FROM users u JOIN orders o ON u.id o.user_id GROUP BY u.name ).df()print(result)為什么這很牛這也是 DuckDB 的黑科技——Zero-Copy (零拷貝)。它通過 Apache Arrow 協(xié)議直接讀取 Pandas 的內(nèi)存數(shù)據(jù)而不需要復(fù)制一份速度極快。 五、 終極建議放棄 CSV擁抱 Parquet雖然 DuckDB 讀 CSV 很快但 CSV 本身是低效的文本格式體積大。如果你真的要處理大數(shù)據(jù)請(qǐng)將數(shù)據(jù)轉(zhuǎn)為Parquet格式。DuckDB 處理 Parquet 簡直是光速# 1. 把 CSV 轉(zhuǎn) Parquet (只需做一次)duckdb.sql(COPY (SELECT * FROM sales_data.csv) TO sales_data.parquet (FORMAT PARQUET))# 2. 查詢 Parquet (比 CSV 再快 10 倍)duckdb.sql(SELECT SUM(amount) FROM sales_data.parquet) 總結(jié)DuckDB 不是要完全取代 Pandas它們是互補(bǔ)關(guān)系數(shù)據(jù)清洗、小規(guī)模數(shù)據(jù)探索繼續(xù)用PandasAPI 靈活。大規(guī)模數(shù)據(jù)聚合、SQL 查詢、多表 Join果斷切換DuckDB。在 Python 數(shù)據(jù)分析的工具箱里DuckDB 是當(dāng)下最值得掌握的“屠龍刀”。Next Step:找一個(gè)你電腦上最大的 CSV 文件或者去 Kaggle 下載一個(gè) GB 級(jí)的數(shù)據(jù)集復(fù)制上面的代碼跑一下親自體驗(yàn)一下風(fēng)扇不再狂轉(zhuǎn)的快感