深圳品牌網(wǎng)站制作平臺,鄭州網(wǎng)絡(luò),深圳信用網(wǎng)企業(yè)查詢系統(tǒng),引蜘蛛網(wǎng)站https://blog.csdn.net/weixin_45655710?typeblog 浙大疏錦行 DAY 23 pipeline 管道 知識回顧#xff1a; 1.轉(zhuǎn)化器和估計(jì)器的概念 2.管道工程 3. ColumnTransformer和 Pipeline類 作業(yè)#xff1a; 整理下全部邏輯的先后順序#xff0c;看看能不能制作出適合所有機(jī)器學(xué)習(xí)的…h(huán)ttps://blog.csdn.net/weixin_45655710?typeblog浙大疏錦行DAY 23 pipeline 管道知識回顧1.轉(zhuǎn)化器和估計(jì)器的概念2.管道工程3. ColumnTransformer和 Pipeline類作業(yè)整理下全部邏輯的先后順序看看能不能制作出適合所有機(jī)器學(xué)習(xí)的通用 pipeline好的這是一個非常重要的復(fù)習(xí)內(nèi)容理解Pipeline和ColumnTransformer的邏輯結(jié)構(gòu)是掌握現(xiàn)代 Scikit-learn 和防止數(shù)據(jù)泄露的關(guān)鍵。針對您的作業(yè)我為您整理了當(dāng)前信貸數(shù)據(jù)集的代碼邏輯順序并提出了一個通用的機(jī)器學(xué)習(xí) Pipeline 結(jié)構(gòu)。 作業(yè)一整理當(dāng)前代碼的邏輯先后順序您提供的代碼展示了從原始數(shù)據(jù)到最終模型評估的完整流程。使用Pipeline結(jié)構(gòu)后整個流程被清晰地拆分和封裝。1. 整體流程步驟 (宏觀視角)序號步驟名稱對應(yīng)操作負(fù)責(zé)人狀態(tài)1數(shù)據(jù)加載pd.read_csv()外部原始數(shù)據(jù)2數(shù)據(jù)劃分train_test_split()外部原始X train , X test , y train , y test X_{ ext{train}}, X_{ ext{test}}, y_{ ext{train}}, y_{ ext{test}}Xtrain?,Xtest?,ytrain?,ytest?3Pipeline 定義ColumnTransformerPipeline外部定義模型結(jié)構(gòu)4模型訓(xùn)練pipeline.fit(X_train, y_train)Pipeline 內(nèi)部X train X_{ ext{train}}Xtrain?預(yù)處理→ o→分類器訓(xùn)練5模型預(yù)測pipeline.predict(X_test)Pipeline 內(nèi)部X test X_{ ext{test}}Xtest?預(yù)處理→ o→分類器預(yù)測6模型評估classification_report()外部結(jié)果分析2. Pipeline 內(nèi)部執(zhí)行邏輯 (微觀視角)當(dāng)執(zhí)行pipeline.fit(X_train, y_train)或pipeline.predict(X_test)時Pipeline會按以下順序和規(guī)則執(zhí)行內(nèi)部的ColumnTransformer和RandomForestClassifierA. 預(yù)處理器preprocessorColumnTransformer的執(zhí)行順序ColumnTransformer是預(yù)處理的核心它將不同的轉(zhuǎn)換器Transformer并行應(yīng)用于不同的列子集。特征類型轉(zhuǎn)換器串聯(lián) (Pipeline 內(nèi)部)目的有序分類SimpleImputer(眾數(shù)填充)→ o→OrdinalEncoder(有序編碼)處理Home Ownership,Years in current job,Term標(biāo)稱分類SimpleImputer(眾數(shù)填充)→ o→OneHotEncoder(獨(dú)熱編碼)處理Purpose連續(xù)數(shù)值SimpleImputer(眾數(shù)填充)→ o→StandardScaler(標(biāo)準(zhǔn)化)處理剩余的數(shù)值特征ColumnTransformer 行為規(guī)則并行處理三種特征類型的轉(zhuǎn)換器是同時運(yùn)行的。整合輸出所有轉(zhuǎn)換器的輸出結(jié)果經(jīng)過填充、編碼、縮放被水平拼接成一個單一的、干凈的 NumPy 數(shù)組然后傳遞給下一步的估計(jì)器。B. Pipeline 訓(xùn)練與預(yù)測規(guī)則階段轉(zhuǎn)換器 (preprocessor)估計(jì)器 (classifier)核心意義 (防止數(shù)據(jù)泄露)訓(xùn)練fit_transform(X_train)計(jì)算并存儲規(guī)則均值、標(biāo)準(zhǔn)差、編碼字典并轉(zhuǎn)換數(shù)據(jù)。fit(X_processed, y_train)學(xué)習(xí)模型的參數(shù)如隨機(jī)森林的樹結(jié)構(gòu)。轉(zhuǎn)換規(guī)則只在訓(xùn)練集上學(xué)習(xí)。預(yù)測transform(X_test)直接應(yīng)用訓(xùn)練階段學(xué)到的規(guī)則來轉(zhuǎn)換數(shù)據(jù)。predict(X_processed)直接使用訓(xùn)練好的模型參數(shù)進(jìn)行預(yù)測。避免在測試集上學(xué)習(xí)任何統(tǒng)計(jì)量。 作業(yè)二制作適合所有機(jī)器學(xué)習(xí)的通用 Pipeline通用 Pipeline 的設(shè)計(jì)思想是定義所有可能的處理步驟然后通過參數(shù)靈活地開啟或關(guān)閉它們。以下是一個通用的機(jī)器學(xué)習(xí) Pipeline 模板它涵蓋了數(shù)據(jù)預(yù)處理、特征選擇和模型訓(xùn)練等環(huán)節(jié)。通用機(jī)器學(xué)習(xí) Pipeline 結(jié)構(gòu)模板fromsklearn.pipelineimportPipelinefromsklearn.composeimportColumnTransformer# ... 其他必要的導(dǎo)入# 1. 定義不同類型的特征列 (這是最依賴具體數(shù)據(jù)集的一步)NUMERIC_FEATURES[...]# 連續(xù)數(shù)值特征ORDINAL_FEATURES[...]# 有序分類特征NOMINAL_FEATURES[...]# 標(biāo)稱分類特征需要獨(dú)熱編碼# ----------------- 步驟 1: 預(yù)處理 Transformers -----------------# 1.1 數(shù)值特征 Pipeline (通用且常見)numeric_transformerPipeline(steps[(imputer,SimpleImputer(strategymedian)),# 缺失值處理中位數(shù)/均值(scaler,StandardScaler())# 數(shù)據(jù)縮放標(biāo)準(zhǔn)化/歸一化])# 1.2 有序特征 Pipelineordinal_transformerPipeline(steps[(imputer,SimpleImputer(strategymost_frequent)),# 缺失值處理眾數(shù)(encoder,OrdinalEncoder())# 有序編碼])# 1.3 標(biāo)稱特征 Pipelinenominal_transformerPipeline(steps[(imputer,SimpleImputer(strategymost_frequent)),# 缺失值處理眾數(shù)(onehot,OneHotEncoder(handle_unknownignore))# 獨(dú)熱編碼])# ----------------- 步驟 2: ColumnTransformer 整合 -----------------preprocessorColumnTransformer(transformers[(num,numeric_transformer,NUMERIC_FEATURES),(ord,ordinal_transformer,ORDINAL_FEATURES),(nom,nominal_transformer,NOMINAL_FEATURES)],remainderdrop# 丟棄未指定的列除非您確定要保留)# ----------------- 步驟 3: 完整 Pipeline -----------------# 引入一個特征選擇步驟使 Pipeline 更通用fromsklearn.feature_selectionimportSelectKBestfromsklearn.linear_modelimportLogisticRegression# 例子一個分類估計(jì)器universal_pipelinePipeline(steps[(preprocessor,preprocessor),# A. 預(yù)處理 (ColumnTransformer)(feature_selection,SelectKBest(kall)),# B. 特征選擇 (可選)(estimator,LogisticRegression(random_state42))# C. 估計(jì)器/模型 (分類器/回歸器)])通用 Pipeline 的優(yōu)勢和調(diào)優(yōu)這種通用結(jié)構(gòu)的最大優(yōu)勢在于它將操作流程和具體參數(shù)分離完美適配GridSearchCV或RandomizedSearchCV進(jìn)行超參數(shù)調(diào)優(yōu)。靈活調(diào)參您可以輕松調(diào)優(yōu)預(yù)處理步驟的參數(shù)例如Imputer 策略preprocessor__num__imputer__strategy: [median, mean]Scaler 類型完全移除StandardScaler步驟或替換為MinMaxScaler。特征選擇feature_selection__k: [50, 100, all]兼容性強(qiáng)如果數(shù)據(jù)集中沒有缺失值您可以在調(diào)參時將SimpleImputer的步驟參數(shù)設(shè)置為空列表[]來跳過該步驟。如果不需要特征選擇可以直接將SelectKBest的參數(shù)k設(shè)置為all或者在調(diào)參中將其移除。這種封裝和流程化的思想DRY 原則是現(xiàn)代數(shù)據(jù)科學(xué)項(xiàng)目的基礎(chǔ)。