如何做網(wǎng)站客戶端,注冊公司流程步驟,無錫做網(wǎng)站365caiyi,株洲關鍵詞seo優(yōu)化服務商中科院與騰訊研究團隊發(fā)現(xiàn)大語言模型內(nèi)部包含多個可采樣的內(nèi)部策略#xff0c;不同模型家族呈現(xiàn)不同推理熵模式?；诖?xff0c;他們提出Bottom-up Policy Optimization (BuPO)算法#xff0c;通過早期優(yōu)化底層內(nèi)部策略#xff0c;重構模型基礎推理能力。實驗證明#…中科院與騰訊研究團隊發(fā)現(xiàn)大語言模型內(nèi)部包含多個可采樣的內(nèi)部策略不同模型家族呈現(xiàn)不同推理熵模式?；诖怂麄兲岢鯞ottom-up Policy Optimization (BuPO)算法通過早期優(yōu)化底層內(nèi)部策略重構模型基礎推理能力。實驗證明BuPO在MATH、AMC23等復雜數(shù)學推理基準上全面超越GRPO、PPO等傳統(tǒng)算法為強化學習與大模型優(yōu)化提供了新思路。當前大模型強化學習成為AI領域極為熱門的研究。現(xiàn)有的強化學習RL方法通常將大語言模型LLM視為一個單一的整體策略進行優(yōu)化主要的算法優(yōu)化集中在表層的獎勵設計等方面卻忽略了模型內(nèi)部復雜的層級演化機制。大模型的黑盒特征通常阻礙了我們進一步了解其內(nèi)部工作機理然而理解其如何執(zhí)行內(nèi)部推理能為研究人員從算法層面設計提供更多的啟發(fā)和依據(jù)。來自中國科學院自動化研究所、騰訊AI Lab的研究團隊從可解釋性分析出發(fā)發(fā)現(xiàn) LLM 內(nèi)部“秘密”地包含了多個可采樣的內(nèi)部策略并揭示了不同模型家族如Llama 與 Qwen-3在推理過程中截然不同的推理熵模式?；谶@些發(fā)現(xiàn)研究團隊提出了一項從可解釋性出發(fā)的新穎強化學習算法Bottom-up Policy Optimization (BuPO)——自底向上的策略優(yōu)化和大模型內(nèi)部自底向上的推理完全耦合。BuPO通過在訓練早期直接優(yōu)化底層內(nèi)部策略重構了模型的基礎推理能力在復雜推理任務上取得了顯著優(yōu)于傳統(tǒng) GRPO 和 PPO 的性能。一、什么是內(nèi)部策略研究團隊提出了一個核心洞察語言模型的策略實際上是由一系列“內(nèi)部策略”組成的。你們是否想過在大模型強化學習的場景下什么是策略Policy實際上這個和環(huán)境交互的大模型策略Language Model Policy每次都會產(chǎn)生一個新的token這個采樣的過程本質(zhì)上是對一個詞表上的概率分布進行采樣即而這個概率分布正好來自于最后一層的隱狀態(tài)Hidden States加解嵌入矩陣Unembedding Matrix的組合。受到logit lens的啟發(fā)利用 Transformer 殘差流的加性分解特性事實上可以將任意中間層的隱藏狀態(tài)或者中間模塊的隱藏狀態(tài)self-attention和feed-forward network與 unembedding 矩陣結合構建出可采樣的概率分布——即內(nèi)部層策略Internal Layer Policy和內(nèi)部模塊策略Internal Modular Policy。從這一研究角度研究人員剖析推理是如何在層與層之間涌現(xiàn)的我們能否通過優(yōu)化這些內(nèi)部過程來提升整體性能圖1(a)Transformer內(nèi)部的殘差流可以分解為來自底層的累加使得底層的隱狀態(tài)可以被輕松剝離(b) 語言模型策略的本質(zhì)以及內(nèi)部策略的組成二、內(nèi)部策略研究發(fā)現(xiàn)研究團隊通過將內(nèi)部隱狀態(tài)作為策略從策略視角提出內(nèi)部策略熵Internal Policy Entropy:對 Qwen 和 Llama 系列模型進行了深入的“核磁共振”掃描揭示了兩種截然不同的內(nèi)部推理模式通用的熵流向所有模型都表現(xiàn)出一種普遍結構底層保持高熵以探索解空間頂層熵值迅速降至接近零以進行最終預測。這符合底層捕捉語義、高層決策的直覺。圖2不同架構模型內(nèi)部策略熵的連續(xù)走向。所有模型在早期保留較高的熵而在最后收斂。研究團隊為了隔離具體模塊的作用提出了內(nèi)部策略熵變化Internal Policy Entropy Change通過計算模塊輸出熵相較于輸入熵的變化判斷該模塊究竟是引入了不確定性還是嘗試收斂推理空間。Llama vs. Qwen架構決定的思維差異在細粒度的模塊層面不同模型差異顯著Llama 系列模型的預測空間僅在最后幾層突然收斂。其中間層的 FFN 模塊熵變化持續(xù)為微弱的正表明其在大部分層級中都在進行發(fā)散但淺顯的探索缺乏中間階段的信息整合。而Qwen 系列展示了一種更類似人類思考的漸進式推理結構。其 FFN 模塊呈現(xiàn)出清晰的“探索— 整合— 收斂” 三階段模式。底層熵增加擴大搜索空間中層熵變化趨近于零利用參數(shù)化知識進行信息整合高層熵減少逐步收斂至最終答案。這種結構化的推理模式可能解釋了為何 Qwen3 在后訓練階段展現(xiàn)出更高效的知識吸收能力。圖3Llmma和Qwen系列不同模塊的推理特征差異其中Qwen3系列表現(xiàn)出了良好的結構化特征一種漸進式的推理結構研究團隊形象的提供了Qwen3系列結構化推理的形象描述底層探索階段Qwen模型就像是在不斷增加自己的不確定性盡可能收集用于推理的信息中部整合階段整合中間部分FFN的參數(shù)知識類似用計算器在嘗試計算但不改變不確定性高層收斂階段Qwen收集到整體的推理信息FFN嘗試收斂內(nèi)部推理空間得出最終答案。圖4Qwen系列的漸進式結構化推理漫畫示例三、可采樣內(nèi)部策略優(yōu)化研究團隊通過將內(nèi)部層策略視為可優(yōu)化的策略進行強化學習優(yōu)化優(yōu)化方式為直接優(yōu)化內(nèi)部策略發(fā)現(xiàn)了很多有趣的現(xiàn)象內(nèi)部策略捕捉到更多上層推理的信息從而實現(xiàn)特征的早期對齊與精煉。這為后續(xù)層級的推理奠定了更堅實的基礎內(nèi)部策略對內(nèi)部推理不確定性壓縮更強過多的訓練內(nèi)部策略會導致性能坍塌圖5直接優(yōu)化內(nèi)部策略的實驗現(xiàn)象四、自底向上的策略優(yōu)化基于以上發(fā)現(xiàn)研究團隊認為既然推理是自底向上逐層涌現(xiàn)的那么優(yōu)化也應該順應這一過程。受此啟發(fā)Bottom-up Policy Optimization (BuPO) 應運而生。這是一種新穎的訓練范式其核心策略是早期階段Bottom Alignment優(yōu)先優(yōu)化細粒度的內(nèi)部層策略選取具有正向探索信號的 FFN 層引導底層特征對齊推理目標。后期階段Global Optimization切換至標準的語言模型策略優(yōu)化完成整體輸出的對齊。算法1Bottom-up Policy Optimization算法流程五、實驗結果研究團隊在 MATH、AMC23、AIME24/25 等復雜數(shù)學推理基準上的廣泛實驗證明了 BuPO 的有效性全面超越基線在 Qwen3-4B/8B 和 Llama-OctoThinker 系列模型上BuPO 的表現(xiàn)一致優(yōu)于 GRPO、PPO、Reinforce 和 RLOO 等主流算法。顯著的性能提升例如在 Qwen3-4B 上BuPO 在 AIME24 上的 Avg32 得分比 GRPO 提高了 4.69%在 Llama-OctoThinker-8B 上MATH500 的得分提升了 5.16%。更優(yōu)的 PassK 權衡在 到 的不同采樣設置下BuPO 均保持了最佳或次佳的性能證明了其生成的魯棒性。表1: AvgK實驗結果圖6PassK實驗結果圖同時BuPO的熵變化曲線也證明對齊內(nèi)部策略能有效擴展模型初期訓練的探索空間為后續(xù)的強化學習優(yōu)化提供好的基礎。圖7BuPO訓練熵動態(tài)圖六、總結Bottom-up Policy Optimization不僅是一項算法創(chuàng)新更提供了一種理解大模型的新視角。它告訴我們大模型的策略并非只是一個黑箱策略模型而是由無數(shù)內(nèi)部策略交織而成的精密系統(tǒng)。通過自底向上地優(yōu)化這些內(nèi)部組件我們能夠重構模型的基礎推理能力而非僅僅調(diào)整表層的輸出概率。如何學習大模型 AI 由于新崗位的生產(chǎn)效率要優(yōu)于被取代崗位的生產(chǎn)效率所以實際上整個社會的生產(chǎn)效率是提升的。但是具體到個人只能說是“最先掌握AI的人將會比較晚掌握AI的人有競爭優(yōu)勢”。這句話放在計算機、互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)的開局時期都是一樣的道理。我在一線互聯(lián)網(wǎng)企業(yè)工作十余年里指導過不少同行后輩。幫助很多人得到了學習和成長。我意識到有很多經(jīng)驗和知識值得分享給大家也可以通過我們的能力和經(jīng)驗解答大家在人工智能學習中的很多困惑所以在工作繁忙的情況下還是堅持各種整理和分享。但苦于知識傳播途徑有限很多互聯(lián)網(wǎng)行業(yè)朋友無法獲得正確的資料得到學習提升故此將并將重要的AI大模型資料包括AI大模型入門學習思維導圖、精品AI大模型學習書籍手冊、視頻教程、實戰(zhàn)學習等錄播視頻免費分享出來。第一階段10天初階應用該階段讓大家對大模型 AI有一個最前沿的認識對大模型 AI 的理解超過 95% 的人可以在相關討論時發(fā)表高級、不跟風、又接地氣的見解別人只會和 AI 聊天而你能調(diào)教 AI并能用代碼將大模型和業(yè)務銜接。大模型 AI 能干什么大模型是怎樣獲得「智能」的用好 AI 的核心心法大模型應用業(yè)務架構大模型應用技術架構代碼示例向 GPT-3.5 灌入新知識提示工程的意義和核心思想Prompt 典型構成指令調(diào)優(yōu)方法論思維鏈和思維樹Prompt 攻擊和防范…第二階段30天高階應用該階段我們正式進入大模型 AI 進階實戰(zhàn)學習學會構造私有知識庫擴展 AI 的能力?？焖匍_發(fā)一個完整的基于 agent 對話機器人。掌握功能最強的大模型開發(fā)框架抓住最新的技術進展適合 Python 和 JavaScript 程序員。為什么要做 RAG搭建一個簡單的 ChatPDF檢索的基礎概念什么是向量表示Embeddings向量數(shù)據(jù)庫與向量檢索基于向量檢索的 RAG搭建 RAG 系統(tǒng)的擴展知識混合檢索與 RAG-Fusion 簡介向量模型本地部署…第三階段30天模型訓練恭喜你如果學到這里你基本可以找到一份大模型 AI相關的工作自己也能訓練 GPT 了通過微調(diào)訓練自己的垂直大模型能獨立訓練開源多模態(tài)大模型掌握更多技術方案。到此為止大概2個月的時間。你已經(jīng)成為了一名“AI小子”。那么你還想往下探索嗎為什么要做 RAG什么是模型什么是模型訓練求解器 損失函數(shù)簡介小實驗2手寫一個簡單的神經(jīng)網(wǎng)絡并訓練它什么是訓練/預訓練/微調(diào)/輕量化微調(diào)Transformer結構簡介輕量化微調(diào)實驗數(shù)據(jù)集的構建…第四階段20天商業(yè)閉環(huán)對全球大模型從性能、吞吐量、成本等方面有一定的認知可以在云端和本地等多種環(huán)境下部署大模型找到適合自己的項目/創(chuàng)業(yè)方向做一名被 AI 武裝的產(chǎn)品經(jīng)理。硬件選型帶你了解全球大模型使用國產(chǎn)大模型服務搭建 OpenAI 代理熱身基于阿里云 PAI 部署 Stable Diffusion在本地計算機運行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何優(yōu)雅地在阿里云私有部署開源大模型部署一套開源 LLM 項目內(nèi)容安全互聯(lián)網(wǎng)信息服務算法備案…學習是一個過程只要學習就會有挑戰(zhàn)。天道酬勤你越努力就會成為越優(yōu)秀的自己。如果你能在15天內(nèi)完成所有的任務那你堪稱天才。然而如果你能完成 60-70% 的內(nèi)容你就已經(jīng)開始具備成為一名大模型 AI 的正確特征了。這份完整版的大模型 AI 學習資料已經(jīng)上傳CSDN朋友們?nèi)绻枰梢晕⑿艗呙柘路紺SDN官方認證二維碼免費領取【保證100%免費】