移動網(wǎng)站排名怎么做,上海cms建站系統(tǒng),網(wǎng)絡(luò)營銷推廣與策劃總結(jié),天津網(wǎng)站建設(shè)工具1. Mini-batch 梯度下降法其實(shí)我們早就在使用這個方法了#xff0c;現(xiàn)在來系統(tǒng)的闡述一下。如果你有些遺忘了梯度下降法本身的概念#xff0c;可以回看之前的筆記#xff1a;梯度下降法而發(fā)展出的隨機(jī)梯度#xff0c;Mini-batch 梯度#xff0c;batch 梯度只是一次迭代中使…1. Mini-batch 梯度下降法其實(shí)我們早就在使用這個方法了現(xiàn)在來系統(tǒng)的闡述一下。如果你有些遺忘了梯度下降法本身的概念可以回看之前的筆記梯度下降法而發(fā)展出的隨機(jī)梯度Mini-batch 梯度batch 梯度只是一次迭代中使用樣本數(shù)量的不同。1.1 隨機(jī)梯度下降法實(shí)際上在第一周學(xué)習(xí)向量化之前我們理解的梯度下降法就是隨機(jī)梯度下降法Stochastic Gradient DescentSGD。具體展開概念隨機(jī)梯度下降法是一種優(yōu)化算法常用于訓(xùn)練機(jī)器學(xué)習(xí)模型尤其是在深度學(xué)習(xí)中。隨機(jī)梯度下降法在每次更新時只使用一個樣本來計(jì)算梯度并進(jìn)行參數(shù)更新而與之相對的批量梯度下降法就是使用全部樣本計(jì)算梯度并更新。也就是說在一次訓(xùn)練中我們有多少個樣本就會進(jìn)行多少次參數(shù)更新。現(xiàn)在展開幾個小問題。1使用隨機(jī)梯度下降和是否向量化的關(guān)系之前在向量化部分我們提到使用向量化是為了在代碼中避免顯示的for循環(huán)以并行提高效率。通過向量化我們可以并行地進(jìn)行多個樣本的訓(xùn)練用多個樣本的損失更新參數(shù)。那現(xiàn)在使用隨機(jī)梯度下降我們一次迭代只用一個樣本那是不是就代表我們要使用非向量化的輸入先說結(jié)論隨機(jī)梯度下降 ≠ 非向量化因?yàn)?“是否向量化” 和 “是否使用隨機(jī)梯度” 是兩個不同維度的問題向量化 → 指的是代碼實(shí)現(xiàn)方式是否用for循環(huán)逐樣本計(jì)算。SGD / Mini-batch / Batch GD → 指的是算法在每次更新參數(shù)時使用多少樣本。也就是說我們完全可以向量化地實(shí)現(xiàn)SGD即一次用一個樣本但仍然用矩陣操作計(jì)算二者可以并存。舉個例子就像做飯時“你一次炒幾份菜”與“你用不用電磁爐這種高效設(shè)備”是兩件不同的事情。是否向量化就像是你用不用電磁爐、用不用多頭灶臺它決定的是你做菜的效率是工具層面的提升。而隨機(jī)梯度下降、Batch 或 Mini-batch 則是你每次炒幾人份一次炒一份、一次炒十份、還是一次炒滿整鍋這是做飯方式的選擇。你完全可以同時做到“使用電磁爐向量化”并且“每次只炒一份SGD”。兩者互不矛盾只是一個管“快不快”一個管“每次做多少”。這就是二者的區(qū)別。Pasted image 202511071354352隨機(jī)梯度下降的優(yōu)劣先總地看一下這個算法的優(yōu)劣SGD 的特點(diǎn) 它帶來的優(yōu)點(diǎn) 它造成的缺點(diǎn)每次只使用 1 個樣本更新高頻、小步、噪聲大 更新非常頻繁模型能更快開始學(xué)習(xí)帶噪聲的更新更容易跳出局部最優(yōu) 噪聲過大導(dǎo)致收斂不穩(wěn)定損失曲線抖動明顯學(xué)習(xí)率一旦偏大容易發(fā)散每次計(jì)算量小占用內(nèi)存少 不需要大顯存小設(shè)備也能訓(xùn)練適合超大規(guī)模數(shù)據(jù) 單次處理數(shù)據(jù)量太小無法用好 GPU 的并行能力整體訓(xùn)練速度反而偏慢更新方向依賴單一樣本信息量少 每次更新成本低可以快速迭代 單一樣本可能不能代表整體趨勢更新方向偏差大需要更多 epoch 才能收斂對于其中第一點(diǎn)可能不太清晰我們來詳細(xì)解釋一下。3SGD的收斂不穩(wěn)定現(xiàn)象我們剛剛提到“每次只使用一個樣本更新”會帶來一個核心影響更新方向帶有更多的噪聲。為了更好的理解這點(diǎn)我們依舊把最小化損失類比成從山谷下山。如果我們使用批量梯度下降Batch GD每次更新方向是所有樣本平均后的梯度因此方向非常穩(wěn)定像是沿著山谷中心線穩(wěn)穩(wěn)地往下走。但 SGD 不同。因?yàn)樗看沃皇褂靡粋€樣本如果這個樣本是個“好樣本”那更新后損失就向谷底走一步如果下一個樣本是噪聲樣本更新后損失甚至可能回反著走回去。這樣每次更新對單一樣本的依賴就會帶來損失的“振蕩”導(dǎo)致收斂不穩(wěn)定就像一個不準(zhǔn)的導(dǎo)航讓你繞著彎下山。Pasted image 202511071437161.2 Mini-batch 梯度下降法Mini-batch 梯度下降法是介于Batch GD和SGD之間的一種折中方案。它每次更新使用一個小批量樣本而不是全部樣本或單個樣本。舉個實(shí)例假設(shè)我們有 1000 個樣本設(shè)置 mini-batch 大小為 10那么每次迭代我們會隨機(jī)選 10 個樣本計(jì)算平均梯度并更新參數(shù)這樣下來一個 epoch 需要進(jìn)行 (1000 / 10 100) 次參數(shù)更新。1Mini-batch 的優(yōu)缺點(diǎn)Mini-batch 特點(diǎn) 它帶來的優(yōu)點(diǎn) 它造成的缺點(diǎn)每次使用部分樣本更新 更新方向比 SGD 穩(wěn)定損失曲線波動小收斂更可靠 每次更新仍存在一定噪聲收斂路徑不是完全平滑計(jì)算量適中可利用并行 可以充分利用 GPU 并行能力訓(xùn)練速度快 mini-batch 太小會像 SGD 一樣噪聲大太大又趨向 Batch GD靈活性降低在噪聲和穩(wěn)定性之間折中 既有一定跳出局部最優(yōu)的能力又不會像 SGD 那樣過于顛簸 超參數(shù)batch size需要調(diào)節(jié)不同任務(wù)最優(yōu)值不同2Mini-batch 的收斂表現(xiàn)在“下山”比喻下Mini-batch 就像是手里拿著局部準(zhǔn)確的地圖噪聲被部分平滑每次看幾個人的樣本方向不會因?yàn)閱我粯颖井惓６蠓x。路徑仍有微小抖動相比 Batch GD仍然可以“微調(diào)”路線更靈活地適應(yīng)復(fù)雜地形。訓(xùn)練效率較高每次更新占用內(nèi)存適中可以充分利用 GPU 并行整體訓(xùn)練時間比 SGD 更短。Pasted image 20251107143949總的來說Mini-batch 在性能和成本上的平衡讓其成為了我們的最佳選擇。但Mini-batch也帶來一個新的超參數(shù)批次大小Batch size。3Batch size 的選擇Mini-batch 的核心超參數(shù)是 batch size一般來說小 batch如 1~32 → 噪聲大收斂不穩(wěn)定但可能幫助跳出局部最優(yōu)中 batch如 64~256 → 收斂穩(wěn)定訓(xùn)練速度較快適合大部分任務(wù)大 batch如 1024 以上 → 接近 Batch GD收斂平穩(wěn)但對 GPU 顯存要求高因此我們通常的選擇是這樣的小數(shù)據(jù)集 → 可用大 batch保證穩(wěn)定收斂大數(shù)據(jù)集 → 使用中等 batch兼顧效率與穩(wěn)定性盡量避免過小或過大的批次大小。