成都建立網站的公司網站,什么博客可以做網站,設計網頁布局的常用方法有,wordpress去掉.php【強化學習筆記】從數學推導到電機控制#xff1a;深入理解 Policy Gradient 與 Sim-to-Real前言#xff1a; 最近在研究基于 /* by 01022.hk - online tools website : 01022.hk/zh/json2java.html */ legged_gym 的四足機器人控制。在啃代碼和論文的過程中#xff0c;Poli…【強化學習筆記】從數學推導到電機控制深入理解 Policy Gradient 與 Sim-to-Real前言最近在研究基于/* by 01022.hk - online tools website : 01022.hk/zh/json2java.html */ legged_gym的四足機器人控制。在啃代碼和論文的過程中Policy Gradient策略梯度是一個繞不開的核心概念。面對一堆( abla)和(log)符號我不禁思考這些抽象的數學公式到底是如何變成控制電機輸出扭矩的指令的本文將從最基礎的目標函數出發(fā)推導策略梯度公式并結合 Sim-to-Real仿真到真機的工程難點記錄我的理解。1. 核心目標我們在優(yōu)化什么在強化學習RL中我們的機器狗Agent擁有一個策略網絡Policy Network參數為( heta)。我們的終極目標是找到一組參數使得機器人在環(huán)境中的期望回報Expected Return最大化。我們將這個目標函數記為(U( heta))[U( heta) E_{ au sim P_ heta( au)} [R( au)] ]這里的符號含義如下( au)(Trajectory)軌跡。代表機器人從開機到結束的一連串狀態(tài)(s)和動作(a)的序列。(R( au))回報。這條軌跡獲得的總分數例如走得遠10分摔倒-100分電機發(fā)熱-5分。(P_ heta( au))概率。在當前策略(pi_ heta)下走出這條特定軌跡的概率。簡單來說(U( heta))就是機器人目前的“平均考試成績”。我們要做的就是通過梯度上升把這個分數提上去。2. 數學推導Log-Derivative Trick為了提升(U( heta))我們需要求它的梯度( abla_ heta U( heta))。這里的核心難點在于我們無法直接對環(huán)境物理世界求導。但是利用似然比技巧Likelihood Ratio Trick我們可以巧妙地繞過環(huán)境模型。2.1 展開為積分期望本質上是加權平均。我們將(U( heta))寫成積分形式[ abla_ heta U( heta) abla_ heta int P_ heta( au) R( au) d au ]假設獎勵函數(R( au))是由環(huán)境給出的客觀反饋與( heta)無關我們可以把梯度算子移進去[ int abla_ heta P_ heta( au) R( au) d au ]2.2 引入 Log 技巧利用微積分恒等式((log x) frac{1}{x} Rightarrow abla x x cdot abla log x)我們可以將( abla_ heta P_ heta( au))替換為[ abla_ heta P_ heta( au) P_ heta( au) abla_ heta log P_ heta( au) ]代回原式[ abla_ heta U( heta) int color{red}{P_ heta( au) abla_ heta log P_ heta( au)} R( au) d au ]2.3 變回期望消掉環(huán)境現(xiàn)在積分里又出現(xiàn)了(P_ heta( au))這正是期望的定義。同時將軌跡概率(P_ heta( au))展開后所有與策略參數( heta)無關的環(huán)境轉移概率Dynamics在求導時都變成了 0。最終我們得到經典的策略梯度公式[ abla_ heta U( heta) E_{ au sim P_ heta( au)} left[ sum_{t} abla_ heta log pi_ heta(a_t|s_t) cdot R( au) ight] ]Note: 這個公式的強大之處在于Model-Free。它不需要知道機器人腿有多重、地面摩擦系數是多少只要能采樣Rollout就能訓練。3. 物理直覺梯度如何影響電機公式中的( abla_ heta log pi_ heta(a_t|s_t))實際上是在調整策略網絡輸出分布的均值對于高斯策略。我們可以將參數更新過程具象化為正反饋Reward 0如果機器狗做了一個動作比如前腿抬高并且之后沒有摔倒獲得了正獎勵。梯度會增加該狀態(tài)下輸出“前腿抬高”的概率。電機層面的效果神經網絡會記住這個關節(jié)位置下次遇到類似狀態(tài)會更傾向于輸出這個位置指令。負反饋Reward 0如果機器狗因為步幅過大導致劈叉獲得了負獎勵。梯度方向反轉抑制該動作的概率。電機層面的效果神經網絡會學會“收斂”減小輸出幅度。4. 工程挑戰(zhàn)Sim-to-Real Gap在 Isaac Gym 仿真中基于上述原理訓練出的策略往往表現(xiàn)完美但直接部署到真機如 A1 或自定義的 8010 電機狗上常常會失效。這就是著名的Sim-to-Real Gap主要源于以下差異4.1 執(zhí)行器動力學Actuator Dynamics這是最關鍵的差異。Sim: 理想電機。指令(T_{cmd})下發(fā)實際扭矩(T_{out})瞬間到達。Real: 真實電機如宇樹 8010是一個復雜的動力學系統(tǒng)存在帶寬限制、死區(qū)、摩擦。高頻的劇烈抖動指令在真機上根本執(zhí)行不出來甚至會導致電機過熱保護。4.2 延遲LatencyReal: 傳感器數據IMU MINS-200通過串口回傳( ightarrow)C解析( ightarrow)Python推理( ightarrow)指令下發(fā)。這個閉環(huán)通常有15ms-30ms的延遲。如果訓練時沒有模擬這個延遲策略網絡在真機上就會因為“反應慢半拍”而發(fā)生振蕩。4.3 解決方案域隨機化Domain Randomization既然無法精準建模真實世界我們就讓仿真環(huán)境變得足夠“惡劣”。在/* by 01022.hk - online tools website : 01022.hk/zh/json2java.html */ legged_gym中我們通常會開啟Mass Randomization: 隨機改變機身質量。Friction Randomization: 地面摩擦系數在 0.5~1.5 之間跳變。Push Robots: 定時給機器人施加隨機外力推擠。Lag Simulation: 模擬隨機的控制回路延遲。只要策略能在這個充滿了隨機擾動的“混沌宇宙”中存活它在那個唯一的真實世界中大概率也能穩(wěn)定行走。5. 總結Policy Gradient 將數學上的概率優(yōu)化與物理上的電機控制連接了起來。理解了這個過程不僅有助于調參Reward Scaling更能讓我們在面對 Sim-to-Real 失敗時理性分析是哪一部分分布Distribution出了問題。目前的計劃是先在 Isaac Gym 和 MuJoCo 之間跑通Sim-to-Sim的驗證流程利用 MuJoCo 更精準的物理引擎來檢驗策略的魯棒性為之后的真機部署打好基礎。本文基于個人學習理解整理歡迎指正交流。