家庭農(nóng)場網(wǎng)站建設(shè),網(wǎng)絡(luò)營銷客戶的心里特征,做物流網(wǎng)站費用多少,wordpress公共庫設(shè)置人工智能之核心基礎(chǔ) 機器學(xué)習(xí) 第二章 監(jiān)督學(xué)習(xí)—公式關(guān)注公眾號 文章目錄人工智能之核心基礎(chǔ) 機器學(xué)習(xí)2.1 監(jiān)督學(xué)習(xí)的定義與特點#x1f4cc; 什么是監(jiān)督學(xué)習(xí)#xff1f;#x1f50d; 監(jiān)督學(xué)習(xí)的特點2.2 監(jiān)督學(xué)習(xí)的核心任務(wù)1?? 分類任務(wù)#xff08;Classification#…人工智能之核心基礎(chǔ) 機器學(xué)習(xí)第二章 監(jiān)督學(xué)習(xí)—公式關(guān)注公眾號文章目錄人工智能之核心基礎(chǔ) 機器學(xué)習(xí)2.1 監(jiān)督學(xué)習(xí)的定義與特點 什么是監(jiān)督學(xué)習(xí) 監(jiān)督學(xué)習(xí)的特點2.2 監(jiān)督學(xué)習(xí)的核心任務(wù)1?? 分類任務(wù)Classification2?? 回歸任務(wù)Regression2.3 數(shù)據(jù)集劃分訓(xùn)練集、驗證集、測試集 重要原則2.4 模型評估指標(biāo) 分類任務(wù)常用指標(biāo)1. **準確率**Accuracy2. **精確率**Precision3. **召回率**Recall / Sensitivity4. **F1值**F1-Score5. **ROC曲線 AUC值** 回歸任務(wù)常用指標(biāo)1. **MAE**Mean Absolute Error平均絕對誤差2. **MSE**Mean Squared Error均方誤差3. **RMSE**Root Mean Squared Error均方根誤差4. **R2**決定系數(shù)R-squared 本章總結(jié)資料關(guān)注2.1 監(jiān)督學(xué)習(xí)的定義與特點 什么是監(jiān)督學(xué)習(xí)監(jiān)督學(xué)習(xí)就像“有老師教學(xué)生”的過程。你給計算機一堆已經(jīng)知道答案的例子比如“這張圖是貓”、“那封郵件是垃圾郵件”讓它從這些例子中學(xué)會規(guī)律然后用學(xué)到的規(guī)律去預(yù)測新數(shù)據(jù)的答案。?核心關(guān)鍵詞有標(biāo)簽的數(shù)據(jù)labeled data“標(biāo)簽”就是每個樣本的正確答案。比如圖片 “貓” → 標(biāo)簽是“貓”房屋信息 “300萬元” → 標(biāo)簽是價格 監(jiān)督學(xué)習(xí)的特點特點說明需要標(biāo)簽每條訓(xùn)練數(shù)據(jù)都必須帶有“標(biāo)準答案”目標(biāo)明確學(xué)會輸入特征和輸出標(biāo)簽之間的映射關(guān)系可評估性能因為有真實標(biāo)簽可以計算預(yù)測對不對應(yīng)用廣泛分類、回歸等大多數(shù)實際問題都屬于監(jiān)督學(xué)習(xí)打個比方你教小孩認水果——給他看100張帶名字的水果照片“這是蘋果”“這是香蕉”。之后你給他一張新照片他就能說出是什么水果。這就是監(jiān)督學(xué)習(xí)2.2 監(jiān)督學(xué)習(xí)的核心任務(wù)監(jiān)督學(xué)習(xí)主要解決兩類問題1?? 分類任務(wù)Classification目標(biāo)預(yù)測離散的類別標(biāo)簽有限個選項? 例子判斷郵件是不是垃圾郵件是 / 否識別圖片中的動物貓 / 狗 / 鳥醫(yī)療診斷患病 / 健康關(guān)鍵點輸出是類別不是數(shù)字大小。2?? 回歸任務(wù)Regression目標(biāo)預(yù)測連續(xù)的數(shù)值可以是任意實數(shù)? 例子預(yù)測房價比如 285.6 萬元預(yù)測明天的氣溫23.7℃預(yù)測銷售額12,345.8 元關(guān)鍵點輸出是數(shù)字而且關(guān)注數(shù)值的大小和誤差。一句話區(qū)分如果答案是“是什么”類別→分類如果答案是“是多少”數(shù)值→回歸2.3 數(shù)據(jù)集劃分訓(xùn)練集、驗證集、測試集為了讓模型既學(xué)得好又不會“死記硬背”我們需要把數(shù)據(jù)分成三份數(shù)據(jù)集占比常見作用類比訓(xùn)練集Training Set60%~70%用來“上課學(xué)習(xí)”學(xué)生做練習(xí)題驗證集Validation Set10%~20%調(diào)整模型參數(shù)、選模型小測驗看看哪種方法更有效測試集Test Set20%~30%最終考試評估真實水平期末考試不能提前看題 重要原則測試集絕對不能參與訓(xùn)練或調(diào)參否則就像“提前看了考題”評估結(jié)果會虛高。劃分要隨機且有代表性避免偏差比如所有貓都在訓(xùn)練集狗全在測試集。常用劃分方法train_test_splitScikit-learn庫函數(shù)小技巧對于小數(shù)據(jù)集可以用交叉驗證Cross-Validation來更充分地利用數(shù)據(jù)。2.4 模型評估指標(biāo)光說“模型好不好”不夠得用數(shù)字說話不同任務(wù)用不同指標(biāo)。 分類任務(wù)常用指標(biāo)假設(shè)我們做一個“是否患癌”的預(yù)測模型實際 預(yù)測預(yù)測“患病”預(yù)測“健康”真實患病真陽性TP假陰性FN真實健康假陽性FP真陰性TN1.準確率Accuracy所有預(yù)測中猜對的比例Accuracy T P T N T P T N F P F N ext{Accuracy} frac{TP TN}{TP TN FP FN}AccuracyTPTNFPFNTPTN?? 適合類別平衡的情況比如男女各一半? 不適合不平衡數(shù)據(jù)比如99%健康1%患病——瞎猜“健康”也能99%準確2.精確率Precision預(yù)測為“陽性”的人里真正陽性的比例Precision T P T P F P ext{Precision} frac{TP}{TP FP}PrecisionTPFPTP? 關(guān)注別亂報陽性比如垃圾郵件過濾別把正常郵件當(dāng)垃圾3.召回率Recall / Sensitivity所有真實陽性中被找出來的比例Recall T P T P F N ext{Recall} frac{TP}{TP FN}RecallTPFNTP? 關(guān)注別漏掉真陽性比如癌癥篩查千萬別漏診4.F1值F1-Score精確率和召回率的調(diào)和平均兼顧兩者F 1 2 ? Precision ? Recall Precision Recall F1 2 cdot frac{ ext{Precision} cdot ext{Recall}}{ ext{Precision} ext{Recall}}F12?PrecisionRecallPrecision?Recall?? 當(dāng)你不知道該優(yōu)先看精確率還是召回率時就看F15.ROC曲線 AUC值ROC曲線畫出不同閾值下“真正率TPR” vs “假正率FPR”的曲線AUCArea Under CurveROC曲線下面積越大越好最大為1? AUC能衡量模型在所有分類閾值下的整體表現(xiàn)不受類別不平衡影響 回歸任務(wù)常用指標(biāo)假設(shè)真實房價是 300 萬模型預(yù)測了 280 萬誤差 20 萬。1.MAEMean Absolute Error平均絕對誤差平均每個預(yù)測錯多少MAE 1 n ∑ i 1 n ∣ y i ? y ^ i ∣ ext{MAE} frac{1}{n}sum_{i1}^n |y_i - hat{y}_i|MAEn1?∑i1n?∣yi??y^?i?∣? 單位與原數(shù)據(jù)一致好解釋比如“平均差5萬元”2.MSEMean Squared Error均方誤差先平方再平均放大較大誤差的影響MSE 1 n ∑ i 1 n ( y i ? y ^ i ) 2 ext{MSE} frac{1}{n}sum_{i1}^n (y_i - hat{y}_i)^2MSEn1?∑i1n?(yi??y^?i?)2?? 單位是“平方”不好直接理解3.RMSERoot Mean Squared Error均方根誤差MSE 開平方回到原始單位RMSE MSE ext{RMSE} sqrt{ ext{MSE}}RMSEMSE?? 既保留了MSE對大誤差敏感的優(yōu)點又便于理解4.R2決定系數(shù)R-squared模型比“瞎猜均值”好多少R 2 1 ? ∑ ( y i ? y ^ i ) 2 ∑ ( y i ? y ˉ ) 2 R^2 1 - frac{sum (y_i - hat{y}_i)^2}{sum (y_i - ar{y})^2}R21?∑(yi??yˉ?)2∑(yi??y^?i?)2?R2 1完美預(yù)測R2 0和猜平均值一樣差R2 0比猜平均值還差模型有問題?R2最常用因為它無量綱便于比較不同模型。 本章總結(jié)監(jiān)督學(xué)習(xí) 用帶答案的數(shù)據(jù)教模型分類預(yù)測“是什么”回歸預(yù)測“是多少”數(shù)據(jù)要分訓(xùn)練/驗證/測試三份測試集是“期末考”分類看準確率、精確率、召回率、F1、AUC回歸看MAE、RMSE、R2建議先掌握準確率、MAE、R2這三個最直觀的指標(biāo)再逐步深入其他指標(biāo)資料關(guān)注公眾號咚咚王《Python編程從入門到實踐》《利用Python進行數(shù)據(jù)分析》《算法導(dǎo)論中文第三版》《概率論與數(shù)理統(tǒng)計第四版 (盛驟) 》《程序員的數(shù)學(xué)》《線性代數(shù)應(yīng)該這樣學(xué)第3版》《微積分和數(shù)學(xué)分析引論》《西瓜書周志華-機器學(xué)習(xí)》《TensorFlow機器學(xué)習(xí)實戰(zhàn)指南》《Sklearn與TensorFlow機器學(xué)習(xí)實用指南》《模式識別第四版》《深度學(xué)習(xí) deep learning》伊恩·古德費洛著 花書《Python深度學(xué)習(xí)第二版(中文版)【純文本】 (登封大數(shù)據(jù) (Francois Choliet)) (Z-Library)》《深入淺出神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)(邁克爾·尼爾森MichaelNielsen》《自然語言處理綜論 第2版》《Natural-Language-Processing-with-PyTorch》《計算機視覺-算法與應(yīng)用(中文版)》《Learning OpenCV 4》《AIGC智能創(chuàng)作時代》杜雨張孜銘《AIGC原理與實踐零基礎(chǔ)學(xué)大語言模型、擴散模型和多模態(tài)模型》《從零構(gòu)建大語言模型中文版》《實戰(zhàn)AI大模型》《AI 3.0》