湖北網(wǎng)站建設(shè)貼吧,網(wǎng)站建設(shè)加優(yōu)化,黃頁(yè)號(hào)碼標(biāo)記申訴,高級(jí)網(wǎng)站開(kāi)發(fā)創(chuàng)新點(diǎn)#xff1a;? 首次把“最優(yōu)獎(jiǎng)勵(lì)函數(shù)”顯式定義為使策略遺憾最小的函數(shù)#xff0c;并將其形式化為一個(gè)雙層優(yōu)化問(wèn)題#xff1a;下層做常規(guī)策略優(yōu)化#xff0c;上層用近似元梯度迭代更新獎(jiǎng)勵(lì)函數(shù)#xff0c;實(shí)現(xiàn)獎(jiǎng)勵(lì)-策略協(xié)同進(jìn)化。? 在稀疏獎(jiǎng)勵(lì)、高維連續(xù)控制以及數(shù)…創(chuàng)新點(diǎn)? 首次把“最優(yōu)獎(jiǎng)勵(lì)函數(shù)”顯式定義為使策略遺憾最小的函數(shù)并將其形式化為一個(gè)雙層優(yōu)化問(wèn)題下層做常規(guī)策略優(yōu)化上層用近似元梯度迭代更新獎(jiǎng)勵(lì)函數(shù)實(shí)現(xiàn)獎(jiǎng)勵(lì)-策略協(xié)同進(jìn)化。? 在稀疏獎(jiǎng)勵(lì)、高維連續(xù)控制以及數(shù)據(jù)中心能耗調(diào)度、無(wú)人機(jī)自主飛行等真實(shí)任務(wù)上統(tǒng)一框架下學(xué)到的獎(jiǎng)勵(lì)函數(shù)均優(yōu)于人工設(shè)計(jì)獎(jiǎng)勵(lì)與 LIRBO、Tomax、SASR 等最新基線首次展示“零先驗(yàn)獎(jiǎng)勵(lì)”的具身智能體可直接部署于現(xiàn)實(shí)系統(tǒng)。方法本文提出一種雙層-元學(xué)習(xí)框架把“最優(yōu)獎(jiǎng)勵(lì)函數(shù)”顯式定義為使策略遺憾最小化的函數(shù)并在線求解下層讓具身智能體在由上層給出的獎(jiǎng)勵(lì)信號(hào)驅(qū)動(dòng)下進(jìn)行常規(guī)強(qiáng)化學(xué)習(xí)將交互軌跡存入緩存上層隨機(jī)采樣小批量軌跡利用策略分布和優(yōu)勢(shì)函數(shù)近似獎(jiǎng)勵(lì)的元梯度沿遺憾最小方向更新獎(jiǎng)勵(lì)函數(shù)參數(shù)如此交替迭代直至收斂。該方法無(wú)需專家演示或人類偏好標(biāo)注僅依賴智能體自身與環(huán)境的交互回放即可同步優(yōu)化獎(jiǎng)勵(lì)與策略并在稀疏獎(jiǎng)勵(lì)、高維連續(xù)控制及真實(shí)數(shù)據(jù)中心節(jié)能、無(wú)人機(jī)飛行等任務(wù)上驗(yàn)證其有效性與跨域泛化能力。從自然智能到具身智能創(chuàng)造力與學(xué)習(xí)效率的殊途同歸本圖用上下兩條并行的彩色箭頭把“自然智能”與“具身智能”在核心目標(biāo)與實(shí)現(xiàn)途徑上做了一次直觀對(duì)照自然生物以“最大化創(chuàng)造力”為終極驅(qū)動(dòng)通過(guò)感知、模仿與適應(yīng)環(huán)境來(lái)不斷提升生存與演化效率而具身人工智能則以“最大化學(xué)習(xí)效率”為宗旨借助通用化策略與持續(xù)學(xué)習(xí)在真實(shí)世界中快速遷移與成長(zhǎng)。兩條箭頭最終交匯到同一終點(diǎn)——“Generalization”暗示不論是碳基生命還是硅基智能體其本質(zhì)都是把經(jīng)驗(yàn)提煉成可泛化的能力以應(yīng)對(duì)未知場(chǎng)景。雙層元梯度框架從人工試錯(cuò)到獎(jiǎng)勵(lì)函數(shù)自我進(jìn)化本圖完整呈現(xiàn)了論文“獎(jiǎng)勵(lì)函數(shù)自主發(fā)現(xiàn)”思路的演進(jìn)與實(shí)現(xiàn)閉環(huán)左側(cè)先指出傳統(tǒng)人工設(shè)計(jì)獎(jiǎng)勵(lì)在任務(wù)復(fù)雜化時(shí)迅速失效而依賴專家演示或人類偏好標(biāo)注又代價(jià)高昂由此引出“讓智能體自己發(fā)現(xiàn)獎(jiǎng)勵(lì)”的需求中間給出雙層優(yōu)化框架——下層是常規(guī)的強(qiáng)化學(xué)習(xí)策略優(yōu)化上層把軌跡緩存、小批量采樣、策略分布與優(yōu)勢(shì)函數(shù)估計(jì)串聯(lián)起來(lái)用近似元梯度不斷修正獎(jiǎng)勵(lì)函數(shù)使獎(jiǎng)勵(lì)信號(hào)與策略同步進(jìn)化右側(cè)通過(guò)對(duì)比“人為設(shè)計(jì)好壞參半”與“隨機(jī)初始化后自動(dòng)收斂”的獎(jiǎng)勵(lì)曲面展示該方法最終能精準(zhǔn)地把高獎(jiǎng)勵(lì)賦予真正有助于任務(wù)的最優(yōu)動(dòng)作從而擺脫人工調(diào)參與獎(jiǎng)勵(lì)黑客困擾。從稀疏到稠密自動(dòng)塑形獎(jiǎng)勵(lì)讓學(xué)習(xí)曲線一飛沖天本圖可視化直擊“獎(jiǎng)勵(lì)稀疏”這一強(qiáng)化學(xué)習(xí)頑疾在 CartPole、Acrobot、FourRoom、LunarLander 四個(gè)經(jīng)典稀疏任務(wù)上論文把“原始環(huán)境只給終端稀疏信號(hào)”與“同一狀態(tài)下雙層框架自動(dòng)發(fā)現(xiàn)的稠密獎(jiǎng)勵(lì)”并排展示——左側(cè)學(xué)習(xí)曲線顯示稀疏獎(jiǎng)勵(lì)幾乎全程平坦智能體得不到有效反饋而遲遲不進(jìn)步右側(cè)則因獎(jiǎng)勵(lì)函數(shù)被實(shí)時(shí)塑形回報(bào)曲線迅速抬升并更早收斂。更關(guān)鍵的是圖 e–h 的 Acrobot 獎(jiǎng)勵(lì)曲面對(duì)同一對(duì)關(guān)節(jié)角論文方法為三個(gè)離散動(dòng)作分別生成精細(xì)的獎(jiǎng)勵(lì)地形高值恰好落在能利用重力加速擺起的轉(zhuǎn)矩區(qū)低值對(duì)應(yīng)“無(wú)為”或“反方向”動(dòng)作說(shuō)明框架無(wú)需人類經(jīng)驗(yàn)就自動(dòng)把動(dòng)力學(xué)“常識(shí)”編碼進(jìn)獎(jiǎng)勵(lì)從而把稀疏任務(wù)轉(zhuǎn)化為可高效爬坡的稠密問(wèn)題。高維狀態(tài)獎(jiǎng)勵(lì)熱力圖機(jī)器自主發(fā)現(xiàn)的“隱形專家”與人工設(shè)計(jì)殊途同歸本圖把 MuJoCo 四套高維連續(xù)控制任務(wù)的狀態(tài)空間經(jīng) t-SNE 壓到二維用顏色深淺展示獎(jiǎng)勵(lì)大小上一排是人工精心設(shè)計(jì)的“專家獎(jiǎng)勵(lì)”下一排是同一狀態(tài)下雙層框架自動(dòng)發(fā)現(xiàn)的獎(jiǎng)勵(lì)。直觀可見(jiàn)兩者在“碰撞、摔倒、超時(shí)”等關(guān)鍵區(qū)均呈現(xiàn)相似的極低值暗斑在“平衡、前進(jìn)、目標(biāo)接近”區(qū)域則同時(shí)出現(xiàn)高亮寬帶差別在于機(jī)器生成的獎(jiǎng)勵(lì)分布更連續(xù)、過(guò)渡更平滑沒(méi)有出現(xiàn)人為設(shè)計(jì)常見(jiàn)的離散跳變或異常高值孤島。這說(shuō)明框架無(wú)需領(lǐng)域知識(shí)就能讓獎(jiǎng)勵(lì)曲面“對(duì)齊”專家意圖卻比人工調(diào)參更細(xì)膩、更穩(wěn)定從而直接提升高維關(guān)節(jié)控制的學(xué)習(xí)速度與收斂可靠性。題目: Discovery of the reward function for embodied reinforcement learning agents論文地址https://doi.org/10.1038/s41467-025-66009-y代碼地址https://github.com/RenzhiLu/Discovery-of-Reward-Function