高校學風建設網(wǎng)站,怎么做淘課網(wǎng)站,臨沂網(wǎng)站制作專業(yè),軟裝設計公司網(wǎng)站#x1f368; 本文為#x1f517;365天深度學習訓練營中的學習記錄博客 #x1f356; 原作者#xff1a;K同學啊 一、我的環(huán)境 二、動態(tài)學習率 這個地方使用的是官方的動態(tài)學習率接口#xff0c;最開始源代碼中0.92 ** (epoch // 2)#xff0c;在多輪實驗中#xff0… 本文為365天深度學習訓練營中的學習記錄博客 原作者K同學啊一、我的環(huán)境二、動態(tài)學習率這個地方使用的是官方的動態(tài)學習率接口最開始源代碼中0.92 ** (epoch // 2)在多輪實驗中后期的模型都訓練不動loss不降我采用了Adam、標簽平滑、正則化都沒有講test_acc提升到84%。掉回頭來修改衰減梯度在最后兩輪達到了最終目標修改代碼是0.95*epoch減緩了衰減速度讓模型更容易收斂。我也不懂為啥就實現(xiàn)了目標我問aiai建議如下。最近建議我嘗試余弦退火策略因為我的acc曲線最終還是掉了一些下去為什么“平滑”能提高準確率你可以看看這兩個對比圖想象配合動量Momentum現(xiàn)在的優(yōu)化器如 Adam都有“慣性”。舊方案的突變會打斷慣性導致模型在那個瞬間方向迷失。新方案順應慣性讓模型在減速的同時依然保持方向感更容易滑入“全局最優(yōu)解”Global Minima。更早的干預舊方案前 2 輪學習率完全沒變。如果初始學習率這就有點大前 2 輪可能已經(jīng)跑偏了。新方案從第 1 輪就開始減速乘以 0.95。這種“盡早介入、溫柔介入”的策略能防止模型在訓練初期因為步子太大而跳出最優(yōu)解的坑。三 代碼# # 調用官方動態(tài)學習率接口時使用 learn_rate 1e-4 lambda1 lambda epoch: (0.95 ** epoch) optimizer torch.optim.SGD(model.parameters(), lrlearn_rate) scheduler torch.optim.lr_scheduler.LambdaLR(optimizer, lr_lambdalambda1) #選定調整方法loss_fn nn.CrossEntropyLoss() # 創(chuàng)建損失函數(shù) epochs 40 train_loss [] train_acc [] test_loss [] test_acc [] for epoch in range(epochs): # 更新學習率使用自定義學習率時使用 model.train() epoch_train_acc, epoch_train_loss train(train_dl, model, loss_fn, optimizer) # scheduler.step() # 更新學習率調用官方動態(tài)學習率接口時使用 model.eval() epoch_test_acc, epoch_test_loss test(test_dl, model, loss_fn) scheduler.step() train_acc.append(epoch_train_acc) train_loss.append(epoch_train_loss) test_acc.append(epoch_test_acc) test_loss.append(epoch_test_loss) # 獲取當前的學習率 lr optimizer.state_dict()[param_groups][0][lr] template (Epoch:{:2d}, Train_acc:{:.1f}%, Train_loss:{:.3f}, Test_acc:{:.1f}%, Test_loss:{:.3f}, Lr:{:.2E}) print(template.format(epoch1, epoch_train_acc*100, epoch_train_loss, epoch_test_acc*100, epoch_test_loss, lr)) print(Done)