做市場(chǎng)的逛的網(wǎng)站,飛沐網(wǎng)站建設(shè),包裝盒在線設(shè)計(jì)網(wǎng)站,手機(jī)網(wǎng)站 滑動(dòng)翻頁(yè)純手打#xff0c;代碼整理中#xff0c;持續(xù)更新中^-^ 序號(hào)延用總結(jié)九 目錄 17、決策樹(shù) 17.1 決策樹(shù)的結(jié)構(gòu) 17.2 決策樹(shù)的工作原理 17.3 數(shù)學(xué)公式#xff1a;信息增益與基尼系數(shù) 1#xff0c;信息增益#xff08;Information Gain#xff09; 2#xff0c;基尼…純手打代碼整理中持續(xù)更新中^-^序號(hào)延用總結(jié)九目錄17、決策樹(shù)17.1 決策樹(shù)的結(jié)構(gòu)17.2 決策樹(shù)的工作原理17.3 數(shù)學(xué)公式信息增益與基尼系數(shù)1信息增益Information Gain2基尼系數(shù)Gini Impurity17.4 具體示例任務(wù)說(shuō)明1. 計(jì)算數(shù)據(jù)集的熵2. 計(jì)算信息增益17.5 鳶尾花數(shù)據(jù)集的代碼示例17.6 詳細(xì)參數(shù)說(shuō)明17.7決策樹(shù)可視化17、決策樹(shù)決策樹(shù)Decision Tree是一種常見(jiàn)的監(jiān)督學(xué)習(xí)算法用于分類(lèi)和回歸任務(wù)。在分類(lèi)任務(wù)中決策樹(shù)通過(guò)一系列的“決策”來(lái)判斷一個(gè)樣本屬于哪個(gè)類(lèi)別。其工作原理就像一棵樹(shù)樹(shù)的每個(gè)節(jié)點(diǎn)表示一個(gè)“決策”樹(shù)的葉子節(jié)點(diǎn)則代表最終的類(lèi)別標(biāo)簽。決策樹(shù)的目標(biāo)是通過(guò)分裂數(shù)據(jù)來(lái)盡可能純凈地劃分不同的類(lèi)別。17.1決策樹(shù)的結(jié)構(gòu)決策樹(shù)由根節(jié)點(diǎn)、分支節(jié)點(diǎn)和葉子節(jié)點(diǎn)組成1.根節(jié)點(diǎn)表示整個(gè)數(shù)據(jù)集包含所有樣本。2.分支節(jié)點(diǎn)表示特征的決策如是/否真/假等。3.葉子節(jié)點(diǎn)表示最終的類(lèi)別或預(yù)測(cè)值。17.2決策樹(shù)的工作原理決策樹(shù)通過(guò)逐層分裂數(shù)據(jù)每次選擇最能“區(qū)分”不同類(lèi)別的特征來(lái)進(jìn)行分割。它會(huì)依據(jù)某些準(zhǔn)則如信息增益、基尼系數(shù)等選擇最佳的分割特征。1.選擇最優(yōu)特征每次選擇一個(gè)特征進(jìn)行劃分目標(biāo)是使得每一小組的類(lèi)別盡可能單一純度高。2.遞歸分裂對(duì)每個(gè)子集遞歸地進(jìn)行上述操作直到滿足停止條件如樹(shù)的深度限制、最小樣本數(shù)限制等。3.生成樹(shù)結(jié)構(gòu)最終樹(shù)的每個(gè)葉子節(jié)點(diǎn)代表一個(gè)類(lèi)別。17.3 數(shù)學(xué)公式信息增益與基尼系數(shù)1信息增益Information Gain2基尼系數(shù)Gini Impurity決策樹(shù)的分裂過(guò)程以信息增益為例假設(shè)我們有一個(gè)包含兩個(gè)特征 A 和 B 的數(shù)據(jù)集目標(biāo)是根據(jù)這兩個(gè)特征預(yù)測(cè)目標(biāo)類(lèi)別 C。1.計(jì)算數(shù)據(jù)集的熵 首先計(jì)算整個(gè)數(shù)據(jù)集的熵即目標(biāo)類(lèi)別的不確定性。2.計(jì)算每個(gè)特征的條件熵 對(duì)于每個(gè)特征如 A 和 B計(jì)算將數(shù)據(jù)集按特征值劃分后的子集的熵并加權(quán)計(jì)算出該特征的條件熵。3.計(jì)算信息增益 信息增益是原始數(shù)據(jù)集的熵減去條件熵。選擇信息增益最大的特征進(jìn)行劃分。4.遞歸分裂 對(duì)分裂后的每個(gè)子集重復(fù)上述步驟直到所有子集的類(lèi)別純度足夠高或達(dá)到預(yù)設(shè)的停止條件。17.4 具體示例假設(shè)我們有以下數(shù)據(jù)集天氣溫度濕度風(fēng)速類(lèi)別是否打球晴熱高高否晴熱高低否陰熱高高是雨溫暖高高是雨溫暖高低是雨涼爽中高否陰涼爽中低是任務(wù)說(shuō)明我們要預(yù)測(cè) “是否能打球”目標(biāo)變量。決策樹(shù)算法會(huì)依次考察每個(gè)特征天氣、溫度、濕度、風(fēng)速的信息增益選擇信息增益最大的特征進(jìn)行分裂。1. 計(jì)算數(shù)據(jù)集的熵假設(shè)類(lèi)別“是否打球”的分布為3 個(gè)“是”4 個(gè)“否”。熵公式如下計(jì)算結(jié)果為0.98注該值為數(shù)據(jù)集的總不確定性越接近 1 表示越不確定。2. 計(jì)算信息增益假設(shè)我們選擇“天氣”作為第一個(gè)特征進(jìn)行劃分。天氣有三個(gè)取值晴、陰、雨分別對(duì)應(yīng)不同的子集。我們需要計(jì)算每個(gè)子集的熵對(duì)其加權(quán)求和權(quán)重為子集大小占總數(shù)的比例用原熵減去加權(quán)熵得到“天氣”特征的信息增益。然后選擇信息增益最大的特征進(jìn)行分裂如此遞歸下去。17.5 鳶尾花數(shù)據(jù)集的代碼示例from sklearn.datasets import load_iris from sklearn.metrics import accuracy_score, classification_report from sklearn.model_selection import train_test_split from sklearn.tree import DecisionTreeClassifier # 1, 加載數(shù)據(jù) iris load_iris() x iris.data # 特征矩陣150個(gè)樣本4個(gè)特征萼長(zhǎng)、萼寬、瓣長(zhǎng)、瓣寬 y iris.target # 特征值 目標(biāo)向量3類(lèi)鳶尾花0, 1, 2 # 2, 數(shù)據(jù)預(yù)處理 X_train, X_test, y_train, y_test train_test_split(x, y, test_size0.2) # 劃分訓(xùn)練集和測(cè)試集 # 3, 創(chuàng)建和訓(xùn)練KNN模型 dtc DecisionTreeClassifier() # 創(chuàng)建決策樹(shù)分類(lèi)器 dtc.fit(X_train, y_train) # 訓(xùn)練模型 # 4, 進(jìn)行預(yù)測(cè)并評(píng)估模型 y_pred dtc.predict(X_test) # 在測(cè)試集上進(jìn)行預(yù)測(cè) print(決策樹(shù)預(yù)測(cè)值: , y_pred) print(正確值 : , y_test) accuracy accuracy_score(y_test, y_pred) # 計(jì)算準(zhǔn)確率 print(f測(cè)試集準(zhǔn)確率: {accuracy:.2f}) print(分類(lèi)報(bào)告: , classification_report(y_test, y_pred, target_namesiris.target_names))運(yùn)行結(jié)果17.6 詳細(xì)參數(shù)說(shuō)明DecisionTreeClassifier 是 scikit-learn 中用于分類(lèi)任務(wù)的決策樹(shù)模型它的構(gòu)造方法init有多個(gè)參數(shù)可以通過(guò)這些參數(shù)來(lái)控制決策樹(shù)的訓(xùn)練過(guò)程和模型復(fù)雜度。DecisionTreeClassifier 構(gòu)造方法的參數(shù)詳解class sklearn.tree.DecisionTreeClassifier( criteriongini, splitterbest, max_depthNone, min_samples_split2, min_samples_leaf1, min_weight_fraction_leaf0.0, max_featuresNone, random_stateNone, max_leaf_nodesNone, min_impurity_decrease0.0, class_weightNone, ccp_alpha0.0, splitterbest )1.criterion 決定用于選擇分裂的質(zhì)量衡量標(biāo)準(zhǔn) 默認(rèn)值為 gini 基尼系數(shù)可選 entropy 信息增益2.splitter 控制每個(gè)節(jié)點(diǎn)如何選擇用于分裂的特征可選best或者random3.max_depth 決策樹(shù)的最大深度避免模型過(guò)擬合大深度可能是過(guò)擬合。4.min_sample_split(默認(rèn)值2)防止樹(shù)的過(guò)度生長(zhǎng)如果一個(gè)節(jié)點(diǎn)的樣本數(shù)小于該值就不再繼續(xù)分裂5.min_samples_leaf 默認(rèn)值1 可以控制樹(shù)的復(fù)雜度。較大的值會(huì)使得葉子節(jié)點(diǎn)包含更多樣本有助于防止過(guò)擬合。6.min_weight_fraction_leaf 默認(rèn)值 0.0 可以防止訓(xùn)練數(shù)據(jù)集中某些特定樣本的過(guò)度影響。一般在樣本權(quán)重不均時(shí)使用。其他略不太重要。。。17.7決策樹(shù)可視化結(jié)合matplotlib實(shí)現(xiàn)決策樹(shù)可視化這樣更直觀方便直觀的看到具體算法數(shù)據(jù)。先安裝下matplotlib庫(kù)以及jupyter庫(kù)pip install matplotlib -i https://pypi.tuna.tsinghua.edu.cn/simplepip install jupyter -i https://pypi.tuna.tsinghua.edu.cn/simple新建DecisionTreeClassifierTest.ipynb文件。from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from sklearn.tree import DecisionTreeClassifier # 1, 加載數(shù)據(jù) iris load_iris() x iris.data # 特征矩陣150個(gè)樣本4個(gè)特征萼長(zhǎng)、萼寬、瓣長(zhǎng)、瓣寬 y iris.target # 特征值 目標(biāo)向量3類(lèi)鳶尾花0, 1, 2 # 2, 數(shù)據(jù)預(yù)處理 X_train, X_test, y_train, y_test train_test_split(x, y, test_size0.2) # 劃分訓(xùn)練集和測(cè)試集 # 3, 創(chuàng)建和訓(xùn)練KNN模型 dtc DecisionTreeClassifier() # 創(chuàng)建決策樹(shù)分類(lèi)器 dtc.fit(X_train, y_train) # 訓(xùn)練模型 import matplotlib from sklearn.tree import plot_tree from matplotlib import pyplot as plt # 設(shè)置matplotlib使用黑體顯示中文 matplotlib.rcParams[font.family] Microsoft YaHei # 可視化決策樹(shù) plt.figure(figsize(12, 8)) plot_tree( dtc, filledTrue, feature_namesiris.feature_names, class_namesiris.target_names, roundedTrue ) plt.title(決策樹(shù)可視化) plt.show()運(yùn)行結(jié)果