承德網(wǎng)站制作方案,哈爾濱旅游網(wǎng)頁(yè)設(shè)計(jì),Asp網(wǎng)站開發(fā)入門,工商網(wǎng)查詢官網(wǎng)文章目錄#x1f4da; 核心結(jié)論#xff08;塔尖#xff09;#xff1a;MDP建模環(huán)境獎(jiǎng)勵(lì)信號(hào)指導(dǎo)學(xué)習(xí)價(jià)值函數(shù)和策略函數(shù)策略梯度深度強(qiáng)化學(xué)習(xí)#xff0c;通過(guò)交互學(xué)習(xí)最優(yōu)策略一、MDP環(huán)境建模#xff1a;用數(shù)學(xué)模型描述環(huán)境二、獎(jiǎng)勵(lì)信號(hào)#xff1a;學(xué)習(xí)的唯一指導(dǎo)三、價(jià)…文章目錄 核心結(jié)論塔尖MDP建模環(huán)境獎(jiǎng)勵(lì)信號(hào)指導(dǎo)學(xué)習(xí)價(jià)值函數(shù)和策略函數(shù)策略梯度深度強(qiáng)化學(xué)習(xí)通過(guò)交互學(xué)習(xí)最優(yōu)策略一、MDP環(huán)境建模用數(shù)學(xué)模型描述環(huán)境二、獎(jiǎng)勵(lì)信號(hào)學(xué)習(xí)的唯一指導(dǎo)三、價(jià)值函數(shù)評(píng)估狀態(tài)和動(dòng)作的長(zhǎng)期價(jià)值四、策略函數(shù)行為選擇規(guī)則五、策略梯度方法直接優(yōu)化策略1. REINFORCE算法使用完整軌跡估計(jì)梯度2. Actor-Critic方法結(jié)合策略和價(jià)值3. 基線方法減少方差六、深度強(qiáng)化學(xué)習(xí)解決復(fù)雜決策問(wèn)題七、方法選擇根據(jù)問(wèn)題特點(diǎn)權(quán)衡??預(yù)計(jì)閱讀時(shí)間40-50分鐘學(xué)習(xí)目標(biāo)學(xué)會(huì)怎么通過(guò)與環(huán)境交互學(xué)習(xí)最優(yōu)策略怎么用MDP建模環(huán)境怎么用獎(jiǎng)勵(lì)信號(hào)指導(dǎo)學(xué)習(xí)怎么用價(jià)值函數(shù)和策略函數(shù)學(xué)習(xí)最優(yōu)行為 核心結(jié)論塔尖MDP建模環(huán)境獎(jiǎng)勵(lì)信號(hào)指導(dǎo)學(xué)習(xí)價(jià)值函數(shù)和策略函數(shù)策略梯度深度強(qiáng)化學(xué)習(xí)通過(guò)交互學(xué)習(xí)最優(yōu)策略當(dāng)你需要設(shè)計(jì)一個(gè)能夠通過(guò)與環(huán)境交互學(xué)習(xí)最優(yōu)策略的智能體時(shí)面臨的核心問(wèn)題是不是通過(guò)老師指導(dǎo)監(jiān)督學(xué)習(xí)而是通過(guò)試錯(cuò)和獎(jiǎng)勵(lì)反饋強(qiáng)化學(xué)習(xí)來(lái)學(xué)習(xí)。就像學(xué)騎自行車沒(méi)有人告訴你每一步該怎么做只能通過(guò)不斷嘗試摔倒了負(fù)獎(jiǎng)勵(lì)就調(diào)整騎穩(wěn)了正獎(jiǎng)勵(lì)就繼續(xù)最終學(xué)會(huì)騎自行車。強(qiáng)化學(xué)習(xí)解決的核心問(wèn)題是怎么設(shè)計(jì)一個(gè)能夠通過(guò)與環(huán)境交互學(xué)習(xí)最優(yōu)策略的智能體解決復(fù)雜的決策問(wèn)題。這需要解決幾個(gè)核心問(wèn)題怎么用MDP建模環(huán)境就像你要在一個(gè)迷宮中找路需要知道你現(xiàn)在在哪里狀態(tài)、可以往哪個(gè)方向走動(dòng)作、走對(duì)了有什么獎(jiǎng)勵(lì)獎(jiǎng)勵(lì)、往某個(gè)方向走會(huì)到哪里轉(zhuǎn)移概率。MDP用這四個(gè)要素描述環(huán)境就像畫一張地圖告訴智能體這個(gè)環(huán)境是什么樣的可以怎么行動(dòng)。怎么用獎(jiǎng)勵(lì)信號(hào)指導(dǎo)學(xué)習(xí)就像訓(xùn)練小狗做對(duì)了給零食正獎(jiǎng)勵(lì)做錯(cuò)了不給負(fù)獎(jiǎng)勵(lì)小狗慢慢學(xué)會(huì)什么該做什么不該做。智能體也一樣獎(jiǎng)勵(lì)高的行為會(huì)多做獎(jiǎng)勵(lì)低的行為會(huì)少做通過(guò)不斷試錯(cuò)最終學(xué)會(huì)最優(yōu)策略。怎么用價(jià)值函數(shù)和策略函數(shù)學(xué)習(xí)最優(yōu)行為就像下棋時(shí)你不能只看這一步能得多少分要考慮這一步對(duì)整盤棋的影響。價(jià)值函數(shù)告訴你從這個(gè)位置開始從長(zhǎng)遠(yuǎn)來(lái)看能得多少分策略函數(shù)告訴你在這個(gè)位置應(yīng)該走哪一步。兩者結(jié)合價(jià)值函數(shù)評(píng)估長(zhǎng)期收益策略函數(shù)選擇具體行動(dòng)最終學(xué)會(huì)最優(yōu)行為。怎么用策略梯度方法直接優(yōu)化策略就像直接調(diào)整你的下棋策略不需要先計(jì)算每個(gè)位置的價(jià)值而是直接讓策略越來(lái)越好。策略梯度方法直接優(yōu)化策略函數(shù)就像直接調(diào)整參數(shù)使策略越來(lái)越強(qiáng)。怎么用深度強(qiáng)化學(xué)習(xí)解決復(fù)雜決策問(wèn)題就像AlphaGo下圍棋圍棋的狀態(tài)空間有1 0 170 10^{170}10170種可能不可能用表格存儲(chǔ)每個(gè)狀態(tài)的價(jià)值。這時(shí)用神經(jīng)網(wǎng)絡(luò)表示策略和價(jià)值函數(shù)就像用大腦記住下棋的經(jīng)驗(yàn)。訓(xùn)練分三步先學(xué)人類怎么下有監(jiān)督學(xué)習(xí)然后自己跟自己下不斷改進(jìn)強(qiáng)化學(xué)習(xí)最后結(jié)合搜索算法選擇最佳走法MCTS。這樣就能處理復(fù)雜決策問(wèn)題。那么怎么用MDP建模環(huán)境怎么用獎(jiǎng)勵(lì)信號(hào)指導(dǎo)學(xué)習(xí)怎么學(xué)習(xí)最優(yōu)策略怎么解決復(fù)雜決策問(wèn)題這些正是本文要解決的核心。強(qiáng)化學(xué)習(xí)問(wèn)題通過(guò)交互學(xué)習(xí)MDP環(huán)境建模用數(shù)學(xué)模型描述環(huán)境獎(jiǎng)勵(lì)信號(hào)學(xué)習(xí)指導(dǎo)做對(duì)了有獎(jiǎng)勵(lì)價(jià)值函數(shù)策略函數(shù)評(píng)估選擇/選擇行為深度強(qiáng)化學(xué)習(xí)復(fù)雜決策結(jié)合深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)探索vs利用試試新的vs選已知好的一、MDP環(huán)境建模用數(shù)學(xué)模型描述環(huán)境當(dāng)你需要讓智能體在環(huán)境中做決策時(shí)首先需要描述這個(gè)環(huán)境。就像你要在一個(gè)迷宮中找路需要知道迷宮的結(jié)構(gòu)、你在哪里、可以往哪里走、走對(duì)了有什么獎(jiǎng)勵(lì)。MDP馬爾可夫決策過(guò)程提供了強(qiáng)化學(xué)習(xí)的數(shù)學(xué)框架用狀態(tài)、動(dòng)作、獎(jiǎng)勵(lì)、轉(zhuǎn)移概率等要素描述環(huán)境使問(wèn)題可以形式化和求解。狀態(tài)s環(huán)境當(dāng)前情況現(xiàn)在在哪動(dòng)作a智能體行為采取什么行動(dòng)獎(jiǎng)勵(lì)r環(huán)境反饋?zhàn)鰧?duì)了有獎(jiǎng)勵(lì)轉(zhuǎn)移概率P(s|s,a)狀態(tài)轉(zhuǎn)移會(huì)轉(zhuǎn)移到什么狀態(tài)新?tīng)顟B(tài)s馬爾可夫性未來(lái)只依賴當(dāng)前狀態(tài)新的位置累積獎(jiǎng)勵(lì)最大化目標(biāo)讓累積獎(jiǎng)勵(lì)最大MDP用四個(gè)核心要素描述環(huán)境狀態(tài)表示環(huán)境的當(dāng)前情況就像你在迷宮中的位置動(dòng)作表示智能體可以采取的行為就像你可以往哪個(gè)方向走獎(jiǎng)勵(lì)表示環(huán)境對(duì)動(dòng)作的反饋就像走對(duì)了有獎(jiǎng)勵(lì)走錯(cuò)了有懲罰轉(zhuǎn)移概率表示狀態(tài)轉(zhuǎn)移的概率就像你往某個(gè)方向走會(huì)以多大概率到達(dá)哪個(gè)新位置。馬爾可夫性是MDP的核心假設(shè)未來(lái)只依賴于當(dāng)前狀態(tài)不依賴過(guò)去。就像你決定下一步怎么走只需要知道現(xiàn)在在哪里不需要記住之前是怎么走過(guò)來(lái)的。這個(gè)假設(shè)簡(jiǎn)化了問(wèn)題使強(qiáng)化學(xué)習(xí)可以高效求解。二、獎(jiǎng)勵(lì)信號(hào)學(xué)習(xí)的唯一指導(dǎo)獎(jiǎng)勵(lì)信號(hào)是學(xué)習(xí)的唯一指導(dǎo)智能體通過(guò)最大化累積獎(jiǎng)勵(lì)來(lái)學(xué)習(xí)最優(yōu)策略。獎(jiǎng)勵(lì)高的行為被加強(qiáng)獎(jiǎng)勵(lì)低的行為被減弱就像通過(guò)獎(jiǎng)勵(lì)和懲罰來(lái)學(xué)習(xí)。獎(jiǎng)勵(lì)信號(hào)包括兩種即時(shí)獎(jiǎng)勵(lì)是每個(gè)動(dòng)作的即時(shí)反饋就像你走了一步立即知道這一步好不好累積獎(jiǎng)勵(lì)是長(zhǎng)期累積的獎(jiǎng)勵(lì)就像你走完整個(gè)路徑看總的獎(jiǎng)勵(lì)是多少。智能體的目標(biāo)是最大化累積獎(jiǎng)勵(lì)而不是只看眼前的即時(shí)獎(jiǎng)勵(lì)。獎(jiǎng)勵(lì)函數(shù)的設(shè)計(jì)對(duì)學(xué)習(xí)至關(guān)重要。獎(jiǎng)勵(lì)可能是延遲的比如下圍棋只有下完一盤才知道輸贏中間每一步都沒(méi)有明確的獎(jiǎng)勵(lì)。這時(shí)需要平衡即時(shí)獎(jiǎng)勵(lì)和長(zhǎng)期獎(jiǎng)勵(lì)既要考慮立即的獎(jiǎng)勵(lì)也要考慮長(zhǎng)期的獎(jiǎng)勵(lì)。就像下棋時(shí)不能只看眼前的一步要考慮整盤棋的走勢(shì)。三、價(jià)值函數(shù)評(píng)估狀態(tài)和動(dòng)作的長(zhǎng)期價(jià)值當(dāng)你需要在多個(gè)選擇中做決策時(shí)不能只看眼前的獎(jiǎng)勵(lì)要考慮長(zhǎng)期后果。就像下棋時(shí)不能只看這一步能得多少分要考慮這一步對(duì)整盤棋的影響。價(jià)值函數(shù)使智能體能夠評(píng)估不同選擇的長(zhǎng)期價(jià)值做出更好的決策。價(jià)值函數(shù)有兩種狀態(tài)價(jià)值V ( s ) V(s)V(s)評(píng)估狀態(tài)的長(zhǎng)期價(jià)值就像評(píng)估在這個(gè)位置從長(zhǎng)遠(yuǎn)來(lái)看能獲得多少獎(jiǎng)勵(lì)動(dòng)作價(jià)值Q ( s , a ) Q(s,a)Q(s,a)評(píng)估動(dòng)作的長(zhǎng)期價(jià)值就像評(píng)估在這個(gè)位置采取這個(gè)動(dòng)作從長(zhǎng)遠(yuǎn)來(lái)看能獲得多少獎(jiǎng)勵(lì)。價(jià)值函數(shù)評(píng)估長(zhǎng)期價(jià)值狀態(tài)價(jià)值V(s)狀態(tài)的長(zhǎng)期價(jià)值這個(gè)狀態(tài)值多少動(dòng)作價(jià)值Q(s,a)動(dòng)作的長(zhǎng)期價(jià)值這個(gè)動(dòng)作值多少貝爾曼方程V(s) r γ·max Q(s,a)當(dāng)前價(jià)值即時(shí)獎(jiǎng)勵(lì)未來(lái)價(jià)值貝爾曼方程Q(s,a) r γ·max Q(s,a)當(dāng)前價(jià)值即時(shí)獎(jiǎng)勵(lì)未來(lái)價(jià)值最優(yōu)價(jià)值最好的策略對(duì)應(yīng)的價(jià)值貝爾曼方程提供價(jià)值函數(shù)的遞歸定義當(dāng)前價(jià)值等于即時(shí)獎(jiǎng)勵(lì)加上未來(lái)價(jià)值的折扣和。就像評(píng)估一個(gè)位置的價(jià)值等于這一步的獎(jiǎng)勵(lì)加上下一步可能到達(dá)位置的價(jià)值。這樣價(jià)值函數(shù)可以遞歸計(jì)算不需要等到游戲結(jié)束。最優(yōu)價(jià)值是最優(yōu)策略對(duì)應(yīng)的價(jià)值函數(shù)表示如果按照最優(yōu)策略行動(dòng)從某個(gè)狀態(tài)或采取某個(gè)動(dòng)作能獲得的最大累積獎(jiǎng)勵(lì)。找到最優(yōu)價(jià)值就找到了最優(yōu)策略。四、策略函數(shù)行為選擇規(guī)則價(jià)值函數(shù)告訴你這個(gè)狀態(tài)或動(dòng)作值多少但最終還是要決定在什么情況下做什么。策略函數(shù)決定在給定狀態(tài)下選擇哪個(gè)動(dòng)作。策略函數(shù)有兩種確定性策略在給定狀態(tài)下確定選擇某個(gè)動(dòng)作就像在這個(gè)位置總是往右走隨機(jī)策略在給定狀態(tài)下按概率選擇動(dòng)作就像在這個(gè)位置80%概率往右走20%概率往上走。隨機(jī)策略可以增加探索避免總是走同一條路。最優(yōu)策略是最大化累積獎(jiǎng)勵(lì)的策略表示如果按照這個(gè)策略行動(dòng)能獲得最大的累積獎(jiǎng)勵(lì)。就像找到一條從起點(diǎn)到終點(diǎn)的最優(yōu)路徑每一步都選擇能獲得最大累積獎(jiǎng)勵(lì)的動(dòng)作。策略改進(jìn)通過(guò)逐步改進(jìn)策略找到最優(yōu)策略。就像先有一個(gè)簡(jiǎn)單的策略然后根據(jù)價(jià)值函數(shù)評(píng)估找到更好的策略不斷改進(jìn)最終找到最優(yōu)策略。五、策略梯度方法直接優(yōu)化策略之前的方法如價(jià)值函數(shù)是間接的先評(píng)估價(jià)值再根據(jù)價(jià)值選擇動(dòng)作。策略梯度方法更直接直接優(yōu)化策略函數(shù)使用梯度上升最大化期望累積獎(jiǎng)勵(lì)。策略梯度方法特別適合連續(xù)動(dòng)作空間和高維狀態(tài)空間。比如控制機(jī)器人動(dòng)作是連續(xù)的角度值不是離散的左轉(zhuǎn)、右轉(zhuǎn)這時(shí)用策略梯度方法更合適。1. REINFORCE算法使用完整軌跡估計(jì)梯度REINFORCE算法是策略梯度的基礎(chǔ)方法。它的思路很簡(jiǎn)單通過(guò)多次嘗試根據(jù)結(jié)果調(diào)整策略。就像你下了一盤棋贏了就加強(qiáng)這盤棋中采取的策略輸了就減弱。REINFORCE算法使用完整軌跡估計(jì)梯度需要等到游戲結(jié)束知道整條軌跡的累積獎(jiǎng)勵(lì)才能更新策略。梯度估計(jì)是無(wú)偏的估計(jì)是對(duì)的但梯度估計(jì)的方差較大估計(jì)不穩(wěn)定因?yàn)椴煌壽E的累積獎(jiǎng)勵(lì)可能差別很大。就像你下10盤棋有的贏了有的輸了累積獎(jiǎng)勵(lì)差別很大導(dǎo)致梯度估計(jì)不穩(wěn)定。2. Actor-Critic方法結(jié)合策略和價(jià)值REINFORCE算法的問(wèn)題是方差大需要等完整軌跡。Actor-Critic方法解決了這個(gè)問(wèn)題結(jié)合Actor策略和Critic價(jià)值函數(shù)Actor學(xué)習(xí)策略Critic評(píng)估策略Critic的評(píng)估幫助Actor更好地學(xué)習(xí)。就像有策略執(zhí)行者Actor和價(jià)值評(píng)估者CriticCritic告訴Actor這個(gè)動(dòng)作比平均好多少而不是這個(gè)動(dòng)作的絕對(duì)價(jià)值是多少。Actor策略π(a|s)選擇動(dòng)作策略執(zhí)行者環(huán)境執(zhí)行動(dòng)作獲得獎(jiǎng)勵(lì)執(zhí)行并反饋Critic價(jià)值函數(shù)V(s)評(píng)估狀態(tài)價(jià)值評(píng)估者優(yōu)勢(shì)函數(shù)A(s,a) Q(s,a) - V(s)減少方差看動(dòng)作比平均好多少更新Actor使用優(yōu)勢(shì)函數(shù)改進(jìn)策略讓策略越來(lái)越好更新Critic使用TD誤差改進(jìn)價(jià)值估計(jì)讓評(píng)估越來(lái)越準(zhǔn)Actor-Critic方法的核心是優(yōu)勢(shì)函數(shù)A ( s , a ) Q ( s , a ) ? V ( s ) A(s,a) Q(s,a) - V(s)A(s,a)Q(s,a)?V(s)表示這個(gè)動(dòng)作比平均好多少。使用優(yōu)勢(shì)函數(shù)而不是絕對(duì)價(jià)值可以減少方差因?yàn)閮?yōu)勢(shì)函數(shù)衡量的是相對(duì)好壞而不是絕對(duì)價(jià)值。就像評(píng)價(jià)一個(gè)學(xué)生的表現(xiàn)說(shuō)比平均分高10分比說(shuō)得了90分更穩(wěn)定因?yàn)槠骄挚赡軙?huì)變化。Actor-Critic方法可以在線學(xué)習(xí)邊學(xué)邊改不需要完整軌跡。就像你下棋時(shí)每走一步就可以根據(jù)Critic的評(píng)估調(diào)整策略不需要等整盤棋下完。3. 基線方法減少方差基線方法通過(guò)引入基線baseline減少策略梯度估計(jì)的方差提高訓(xùn)練穩(wěn)定性。就像減去一個(gè)基準(zhǔn)值減少方差?；€方法能夠減少方差提高訓(xùn)練的穩(wěn)定性同時(shí)保持梯度估計(jì)的無(wú)偏性估計(jì)是對(duì)的。常用的基線是狀態(tài)價(jià)值函數(shù)V ( s ) V(s)V(s)表示在這個(gè)狀態(tài)下的平均價(jià)值。六、深度強(qiáng)化學(xué)習(xí)解決復(fù)雜決策問(wèn)題當(dāng)面對(duì)復(fù)雜決策問(wèn)題如圍棋時(shí)狀態(tài)空間巨大傳統(tǒng)方法無(wú)法處理。就像圍棋有1 0 170 10^{170}10170種可能的狀態(tài)不可能用表格存儲(chǔ)每個(gè)狀態(tài)的價(jià)值。這時(shí)需要結(jié)合深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)用神經(jīng)網(wǎng)絡(luò)表示策略和價(jià)值函數(shù)用強(qiáng)化學(xué)習(xí)訓(xùn)練網(wǎng)絡(luò)。AlphaGo展示了深度強(qiáng)化學(xué)習(xí)在復(fù)雜決策問(wèn)題中的強(qiáng)大能力。它的訓(xùn)練分為三個(gè)階段階段1: 有監(jiān)督學(xué)習(xí)學(xué)習(xí)人類經(jīng)驗(yàn)先學(xué)人類怎么下策略網(wǎng)絡(luò)初始化初始策略階段2: 強(qiáng)化學(xué)習(xí)自我對(duì)弈自己跟自己下策略網(wǎng)絡(luò)改進(jìn)策略越來(lái)越好價(jià)值網(wǎng)絡(luò)評(píng)估局面評(píng)估局面好壞階段3: MCTS結(jié)合策略和價(jià)值結(jié)合策略和價(jià)值選走法AlphaGo強(qiáng)大決策能力強(qiáng)大的下棋能力階段1有監(jiān)督學(xué)習(xí)。先學(xué)習(xí)人類經(jīng)驗(yàn)用人類棋譜訓(xùn)練策略網(wǎng)絡(luò)初始化一個(gè)不錯(cuò)的策略。就像先學(xué)人類怎么下棋有一個(gè)基礎(chǔ)。階段2強(qiáng)化學(xué)習(xí)。通過(guò)自我對(duì)弈不斷改進(jìn)策略網(wǎng)絡(luò)和價(jià)值網(wǎng)絡(luò)相互促進(jìn)策略網(wǎng)絡(luò)選擇走法價(jià)值網(wǎng)絡(luò)評(píng)估局面兩者一起訓(xùn)練策略越來(lái)越好。就像自己跟自己下棋不斷改進(jìn)。階段3MCTS。在實(shí)際對(duì)弈時(shí)結(jié)合策略網(wǎng)絡(luò)、價(jià)值網(wǎng)絡(luò)和MCTS選擇最佳走法。策略網(wǎng)絡(luò)提供候選走法價(jià)值網(wǎng)絡(luò)評(píng)估局面MCTS搜索最優(yōu)路徑三者結(jié)合實(shí)現(xiàn)強(qiáng)大的決策能力。深度強(qiáng)化學(xué)習(xí)的關(guān)鍵是分階段訓(xùn)練從基礎(chǔ)到高級(jí)每一步解決前一步的局限性。先學(xué)人類經(jīng)驗(yàn)再通過(guò)自我對(duì)弈超越人類最后結(jié)合搜索算法實(shí)現(xiàn)強(qiáng)大能力。七、方法選擇根據(jù)問(wèn)題特點(diǎn)權(quán)衡在實(shí)際應(yīng)用中不同的問(wèn)題需要不同的方法。簡(jiǎn)單問(wèn)題狀態(tài)空間不大可以用MDP價(jià)值函數(shù)復(fù)雜問(wèn)題狀態(tài)空間巨大需要用深度強(qiáng)化學(xué)習(xí)。強(qiáng)化學(xué)習(xí)問(wèn)題通過(guò)交互學(xué)習(xí)簡(jiǎn)單問(wèn)題MDP價(jià)值函數(shù)狀態(tài)空間不大復(fù)雜問(wèn)題深度強(qiáng)化學(xué)習(xí)狀態(tài)空間巨大探索vs利用試試新的vs選已知好的強(qiáng)化學(xué)習(xí)解決的核心問(wèn)題是怎么設(shè)計(jì)一個(gè)能夠通過(guò)與環(huán)境交互學(xué)習(xí)最優(yōu)策略的智能體解決復(fù)雜的決策問(wèn)題。通過(guò)MDP建模環(huán)境用數(shù)學(xué)模型描述環(huán)境通過(guò)獎(jiǎng)勵(lì)信號(hào)指導(dǎo)學(xué)習(xí)做對(duì)了有獎(jiǎng)勵(lì)通過(guò)價(jià)值函數(shù)和策略函數(shù)學(xué)習(xí)最優(yōu)行為評(píng)估選擇/選擇行為通過(guò)策略梯度方法直接優(yōu)化策略直接優(yōu)化策略通過(guò)深度強(qiáng)化學(xué)習(xí)解決復(fù)雜決策問(wèn)題結(jié)合深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)。方法選擇取決于問(wèn)題特點(diǎn)簡(jiǎn)單問(wèn)題用MDP價(jià)值函數(shù)狀態(tài)空間不大復(fù)雜問(wèn)題用深度強(qiáng)化學(xué)習(xí)狀態(tài)空間巨大。