蘭州網(wǎng)站制作公司服務(wù)電話,在汕頭的網(wǎng)絡(luò)公司有哪些,seo優(yōu)化有百度系和什么,石家莊logo標(biāo)志設(shè)計(jì)概述 本文是一項(xiàng)研究#xff0c;旨在強(qiáng)調(diào)中期訓(xùn)練#xff08;mid-training#xff09;在使 Llama 等一般基礎(chǔ)模型通過強(qiáng)化學(xué)習(xí)#xff08;RL#xff09;獲得高級推理能力方面的有效性。我們特別關(guān)注了基于 Qwen 的模型和基于 Llama 的模型在 RL 擴(kuò)展行為上的差異#xff…概述本文是一項(xiàng)研究旨在強(qiáng)調(diào)中期訓(xùn)練mid-training在使 Llama 等一般基礎(chǔ)模型通過強(qiáng)化學(xué)習(xí)RL獲得高級推理能力方面的有效性。我們特別關(guān)注了基于 Qwen 的模型和基于 Llama 的模型在 RL 擴(kuò)展行為上的差異探討了造成這種差異的原因并提出了提高 Llama 模型 RL 性能的學(xué)習(xí)策略。研究的重點(diǎn)是一種名為 穩(wěn)定-然后衰退 的兩階段中期訓(xùn)練策略。第一階段通過穩(wěn)定學(xué)習(xí)培養(yǎng)穩(wěn)健的推理能力而第二階段則使用不同類型的數(shù)據(jù)短思維過程、長思維過程及其混合物生成多分支分支模型。因此這套名為 OctoThinker 的新模型的性能可與 Qwen2.5 等 RL 友好型模型相媲美并表明 RL 擴(kuò)展甚至對 Llama 系列也是可行的。我們還建立并發(fā)布了一個(gè)大型數(shù)學(xué)推理語料庫–MegaMath-Web-Pro-Max為今后的研究奠定了基礎(chǔ)。建議的方法我們提出了一種兩階段的中期訓(xùn)練策略–“穩(wěn)定-衰減”Stable-then-Decay用于將不適合 RL 的模型如 Llama轉(zhuǎn)化為 RL 可擴(kuò)展的基礎(chǔ)模型。在第一階段即 穩(wěn)定 階段使用 200B 個(gè)高質(zhì)量數(shù)學(xué)數(shù)據(jù)如 MegaMath-Web-Pro-Max以恒定的學(xué)習(xí)率進(jìn)行穩(wěn)定的預(yù)訓(xùn)練。這一階段是模型基本推理能力和數(shù)學(xué)知識的基礎(chǔ)。第二階段為 衰減 階段學(xué)習(xí)速度逐漸減慢并輸入不同性質(zhì)的數(shù)據(jù)如短思維鏈、長思維鏈以及兩者的混合從而使模型的性質(zhì)發(fā)生變化并培養(yǎng)出多種推理風(fēng)格。這一過程被命名為 “章魚思維”因?yàn)樗裾卖~的多臂一樣向多個(gè)方向展開。此外在這一過程中還對質(zhì)量保證格式數(shù)據(jù)和指令跟蹤數(shù)據(jù)的比例和組合進(jìn)行了精細(xì)控制并詳細(xì)評估了每種數(shù)據(jù)的影響。此外還設(shè)計(jì)了反應(yīng)時(shí)長控制調(diào)度程序和提示模板以穩(wěn)定 RL 訓(xùn)練。實(shí)驗(yàn)實(shí)驗(yàn)以 Llama 和 Qwen 作為比較對象以確定學(xué)習(xí)行為和 RL 性能的差異。初步觀察結(jié)果表明Qwen 模型在逐漸增加答案長度的過程中表現(xiàn)出穩(wěn)定的性能提升而 Llama 模型則表現(xiàn)出異常的學(xué)習(xí)行為例如在過程中一直迭代到答案達(dá)到最大長度4096 個(gè)字節(jié)。為了解決這個(gè)問題作者對 Llama 采用了上述兩階段的中期訓(xùn)練。在第一階段在高質(zhì)量數(shù)據(jù)主要是 MegaMath-Web-Pro-Max上進(jìn)行了 200B 標(biāo)記的穩(wěn)定訓(xùn)練然后在三種數(shù)據(jù)配置上進(jìn)行了分支訓(xùn)練短 CoT、長 CoT 和混合。然后在相同條件下對每個(gè)模型進(jìn)行 RL 訓(xùn)練并在 14 個(gè)數(shù)學(xué)推理基準(zhǔn)測試中進(jìn)行性能評估包括 MATH500、GSM8K、OlympiadBench 和 AMC23。結(jié)果表明OctoThinker 的每個(gè)分支模型的性能都比原始 Llama 高出 10-20%尤其是在 長 分支中其性能可與 Qwen2.5 相媲美。通過這種方式量化了中期訓(xùn)練策略對 RL 性能的影響并證明了在 Llama 系列中可以實(shí)現(xiàn)高性能的 RL 適應(yīng)。