歡迎進(jìn)入河南國安建設(shè)集團(tuán)有限公司網(wǎng)站,4399游戲網(wǎng)頁游戲大全,石家莊企業(yè)名錄大全,建設(shè)網(wǎng)站需要收費(fèi)嗎#x1f368; 本文為#x1f517;365天深度學(xué)習(xí)訓(xùn)練營中的學(xué)習(xí)記錄博客 #x1f356; 原作者#xff1a;K同學(xué)啊 一、我的環(huán)境 二、動(dòng)態(tài)學(xué)習(xí)率 這個(gè)地方使用的是官方的動(dòng)態(tài)學(xué)習(xí)率接口#xff0c;最開始源代碼中0.92 ** (epoch // 2)#xff0c;在多輪實(shí)驗(yàn)中#xff0… 本文為365天深度學(xué)習(xí)訓(xùn)練營中的學(xué)習(xí)記錄博客 原作者K同學(xué)啊一、我的環(huán)境二、動(dòng)態(tài)學(xué)習(xí)率這個(gè)地方使用的是官方的動(dòng)態(tài)學(xué)習(xí)率接口最開始源代碼中0.92 ** (epoch // 2)在多輪實(shí)驗(yàn)中后期的模型都訓(xùn)練不動(dòng)loss不降我采用了Adam、標(biāo)簽平滑、正則化都沒有講test_acc提升到84%。掉回頭來修改衰減梯度在最后兩輪達(dá)到了最終目標(biāo)修改代碼是0.95*epoch減緩了衰減速度讓模型更容易收斂。我也不懂為啥就實(shí)現(xiàn)了目標(biāo)我問aiai建議如下。最近建議我嘗試余弦退火策略因?yàn)槲业腶cc曲線最終還是掉了一些下去為什么“平滑”能提高準(zhǔn)確率你可以看看這兩個(gè)對(duì)比圖想象配合動(dòng)量Momentum現(xiàn)在的優(yōu)化器如 Adam都有“慣性”。舊方案的突變會(huì)打斷慣性導(dǎo)致模型在那個(gè)瞬間方向迷失。新方案順應(yīng)慣性讓模型在減速的同時(shí)依然保持方向感更容易滑入“全局最優(yōu)解”Global Minima。更早的干預(yù)舊方案前 2 輪學(xué)習(xí)率完全沒變。如果初始學(xué)習(xí)率這就有點(diǎn)大前 2 輪可能已經(jīng)跑偏了。新方案從第 1 輪就開始減速乘以 0.95。這種“盡早介入、溫柔介入”的策略能防止模型在訓(xùn)練初期因?yàn)椴阶犹蠖鲎顑?yōu)解的坑。三 代碼# # 調(diào)用官方動(dòng)態(tài)學(xué)習(xí)率接口時(shí)使用 learn_rate 1e-4 lambda1 lambda epoch: (0.95 ** epoch) optimizer torch.optim.SGD(model.parameters(), lrlearn_rate) scheduler torch.optim.lr_scheduler.LambdaLR(optimizer, lr_lambdalambda1) #選定調(diào)整方法loss_fn nn.CrossEntropyLoss() # 創(chuàng)建損失函數(shù) epochs 40 train_loss [] train_acc [] test_loss [] test_acc [] for epoch in range(epochs): # 更新學(xué)習(xí)率使用自定義學(xué)習(xí)率時(shí)使用 model.train() epoch_train_acc, epoch_train_loss train(train_dl, model, loss_fn, optimizer) # scheduler.step() # 更新學(xué)習(xí)率調(diào)用官方動(dòng)態(tài)學(xué)習(xí)率接口時(shí)使用 model.eval() epoch_test_acc, epoch_test_loss test(test_dl, model, loss_fn) scheduler.step() train_acc.append(epoch_train_acc) train_loss.append(epoch_train_loss) test_acc.append(epoch_test_acc) test_loss.append(epoch_test_loss) # 獲取當(dāng)前的學(xué)習(xí)率 lr optimizer.state_dict()[param_groups][0][lr] template (Epoch:{:2d}, Train_acc:{:.1f}%, Train_loss:{:.3f}, Test_acc:{:.1f}%, Test_loss:{:.3f}, Lr:{:.2E}) print(template.format(epoch1, epoch_train_acc*100, epoch_train_loss, epoch_test_acc*100, epoch_test_loss, lr)) print(Done)