網(wǎng)站建設(shè)昆山花橋,wordpress feed 關(guān)閉,網(wǎng)站服務(wù)器 安全,免費網(wǎng)站建設(shè)朋友交流本文來源公眾號“機器之心”#xff0c;僅用于學(xué)術(shù)分享#xff0c;侵權(quán)刪#xff0c;干貨滿滿。 原文鏈接#xff1a;https://mp.weixin.qq.com/s/ADHg2sJOQZdgGqdr_DJl3g 如果把用戶在互聯(lián)網(wǎng)上留下的每一個足跡都看作一段記憶#xff0c;那么現(xiàn)在的推薦系統(tǒng)大多患有 “…本文來源公眾號“機器之心”僅用于學(xué)術(shù)分享侵權(quán)刪干貨滿滿。原文鏈接https://mp.weixin.qq.com/s/ADHg2sJOQZdgGqdr_DJl3g如果把用戶在互聯(lián)網(wǎng)上留下的每一個足跡都看作一段記憶那么現(xiàn)在的推薦系統(tǒng)大多患有 “短期健忘癥”。受限于算力和存儲那些沉睡在數(shù)年前的點擊、收藏與購買往往被粗暴地截斷或遺忘。即便被召回它們在模型眼中也只是一串串冰冷且互不相識的 ID 代碼。但事實上真正有趣的東西也往往藏在這些被遺忘的 “長尾” 之中。如何喚醒這 10 萬級 的沉睡數(shù)據(jù)并讀懂它們背后的視覺與語義關(guān)聯(lián)。阿里媽媽與武漢大學(xué)團隊給出的答案是 MUSEMUltimodal SEarch-based framework。這不僅僅是一個新的 CTR 模型更像是一個給推薦系統(tǒng)安裝的 “多模態(tài)海馬體”。它利用圖像與文本的語義力量重構(gòu)了用戶跨越時空的興趣圖譜。甚至他們還開源了構(gòu)建這個 “數(shù)字大腦” 的基石Taobao-MM 數(shù)據(jù)集。對于推薦系統(tǒng)長久以來技術(shù)演進路線這一突破可謂是一次深刻的反思與重構(gòu)論文標題MUSE: A Simple Yet Effective Multimodal Search-Based Framework for Lifelong User Interest Modeling論文鏈接https://arxiv.org/abs/2512.07216數(shù)據(jù)集鏈接https://taobao-mm.github.io/在搜推廣業(yè)務(wù)里CTR 建模這幾年大致走過了這樣一條路一方面特征工程和 ID embedding 體系越來越完善主流的 ID-based 建模方法基本都被嘗試過另一方面模型從只看短期行為逐步演進到以 SIM 為代表的 “兩階段長期行為建?！?框架在不犧牲時延的前提下把可用的歷史行為長度擴展到了萬級別。這些演進的確帶來了可觀收益但隨著歷史行為越來越長單純在 SIM 類 ID-based 結(jié)構(gòu)上疊加小改動收益的邊際變得越來越難以拉高尤其是在檢索精度受限的場景下序列從萬級往上擴展效果提升會明顯趨緩。與此同時一個趨勢越來越明顯用戶在平臺上的行為序列變得極長但絕大部分沒有被真正 “用起來”。在淘寶中用戶多年積累下來的瀏覽、點擊、加購、購買加起來輕松就是、百萬級行為序列。但受限于在線延遲、存儲和算力實際部署中的模型通常只能使用最近幾千條行為或者對整條序列做非常粗粒度的截斷和過濾。再疊加一個現(xiàn)實約束現(xiàn)有主力 CTR 模型在建模長期興趣時依賴的是高度稀疏的 ID 特征長尾和過期 item 的 ID embedding 質(zhì)量不佳而它們在 “終身歷史” 里占比很高另外即便把 10 萬條行為都拉了進來模型看到的依舊主要是 “ID 共現(xiàn)關(guān)系”而不是用戶真實的內(nèi)容興趣。在這樣的背景下MUSE 誕生了這是阿里媽媽和武漢大學(xué)團隊面向搜推廣業(yè)務(wù)提出的一個面向 “超長序列 多模態(tài)” 的終身興趣建模新框架。與其在現(xiàn)有 SIM 類 ID-based 長序列結(jié)構(gòu)上繼續(xù)做局部微調(diào)MUSE 更關(guān)注的是利用多模態(tài)信息重新組織這 10 萬級行為系統(tǒng)性提升 “終身興趣建模” 的質(zhì)量與可用長度。它在架構(gòu)上與各類 “擴展 dense 參數(shù)、提升模型表達能力” 的工作基本正交無論當(dāng)前使用的是經(jīng)典 DNN 還是基于 Transformer 的推薦大模型結(jié)構(gòu)都可以把 MUSE 視為一個可插拔的 “終身興趣建模模塊”與之疊加使用共同放大收益。目前MUSE 已在阿里媽媽展示廣告精排模型中全量上線具備對 10 萬長度用戶原始行為序列的建模能力并可結(jié)合聚類等方法持續(xù)向百萬級擴展基于多模態(tài) embedding 統(tǒng)一表示并建模用戶行為同時通過架構(gòu)與工程協(xié)同優(yōu)化不增加任何延遲。在線上 A/B 實驗中MUSE 帶來了穩(wěn)定、顯著的業(yè)務(wù)收益CTR 提升 12.6%。同時阿里媽媽也基于真實業(yè)務(wù)日志整理了首個 “長序列 多模態(tài) embedding” 的大規(guī)模數(shù)據(jù)集 Taobao-MM對外開放用于支持業(yè)界和學(xué)界在「長序列 × 多模態(tài)」方向的進一步研究。下面從 “工業(yè)落地視角” 拆解 MUSE一步步展開。一、問題背景終身行為建?？ㄔ谀脑诖笠?guī)模搜推廣業(yè)務(wù)中關(guān)于終身行為建模的主流架構(gòu)已經(jīng)比較統(tǒng)一以 SIM / TWIN 為代表的兩階段框架。GSUGeneral Search Unit在用戶超長行為序列中先做一次 “粗檢索”—— 從最多 10? 級行為中挑出與當(dāng)前目標 item 相關(guān)的 Top-K例如 50 條ESUExact Search Unit再在這 K 條行為上做精細建模DIN / Transformer 等各種 attention 結(jié)構(gòu)輸出 “終身興趣向量”輸入 MLP 結(jié)構(gòu)。這樣的設(shè)計讓我們一方面可以利用超長行為另一方面又不至于把在線模型的延遲與成本拉爆。然而業(yè)界兩階段模型SIM、TWIN、UBR4CTR 等的共性是從頭到尾都圍繞 ID 展開。GSU 使用 ID embedding 做相似度檢索比如基于類目、基于 ID embedding 近鄰、基于 attention score 等ESU 中仍然只使用 ID embedding 做行為聚合target attention /self-attention 等。對應(yīng)地又會暴露出兩類典型問題。長尾 / 過期 item 泛化能力弱這類 ID 出現(xiàn)次數(shù)少embedding 學(xué)得不充分GSU 檢索質(zhì)量直接受限 —— 歷史中與目標 item 實際高度相關(guān)的點擊行為因為 ID embedding 不 “像”可能被排除在 Top-K 之外。ESU 語義表達力有限只能依賴共現(xiàn)模型更多是在學(xué) “誰經(jīng)常和誰一起被點”對內(nèi)容語義本身掌握不足例如用戶一直在逛 “黑色運動鞋”一個新上的視覺相似的黑色休閑鞋廣告由于沒有歷史共現(xiàn)記錄在純 ID 空間里很難被識別為 “強相關(guān)”。為緩解上述問題近兩年開始有工作嘗試把多模態(tài)信息引入終身行為建模。例如 MISS 在 GSU 階段引入圖文 embedding 用于檢索但 ESU 階段仍然只使用 ID不對多模態(tài)語義做融合建模。也就是說檢索階段變 “聰明” 了一些但建模階段仍然在老路上。二、核心洞察GSU 要 “簡單”ESU 要 “豐富 融合”在 MUSE 之前阿里媽媽做了大規(guī)模系統(tǒng)實驗對多模態(tài)在 GSU 和 ESU 兩個階段的作用做了拆分分析得到三個關(guān)鍵洞察非常適合作為工業(yè)系統(tǒng)設(shè)計時的參考原則。對 GSU簡單的多模態(tài) cosine 就夠了。在 GSU 中他們系統(tǒng)對比了幾種檢索方式只用 ID embedding 做檢索用多模態(tài) embedding多種預(yù)訓(xùn)練方式得到的多模態(tài) embedding包括 OpenCLIP / I2I / SCL在多模態(tài) embedding 上疊加 Attention 打分ID 與多模態(tài)的各種 “加權(quán)融合” 檢索策略。結(jié)果非常直接單純用高質(zhì)量多模態(tài) embedding 做余弦相似度檢索就已經(jīng)穩(wěn)定優(yōu)于 ID-only 的 GSU再疊加復(fù)雜結(jié)構(gòu)Attention、ID-Multi 融合要么效果提升有限甚至下降要么算力和工程復(fù)雜度明顯增加不具備性價比。結(jié)論是在有高質(zhì)量多模態(tài) embedding 的前提下GSU 只需要一個輕量的余弦檢索就足夠好。GSU 屬于在線性能最敏感的一環(huán)在這層 “搞復(fù)雜”往往收益極低甚至適得其反。對 ESU多模態(tài)序列建模 ID 融合非常關(guān)鍵。在 ESU 端重點做了兩方面增強一是顯式建模多模態(tài)相似度序列引入 SimTier把 “目標 item 與每條歷史行為的多模態(tài)相似度序列” 壓縮為一個 “相似度直方圖”作為語義興趣的一種 summary 表達二是把多模態(tài)信號注入 ID-based attention提出 SA-TASemantic-Aware Target Attention在原有 ID-based target attention 打分的基礎(chǔ)上將多模態(tài) cosine 相似度及其與 ID 打分的交互項融合進去作為最終的 attention score。在大規(guī)模廣告數(shù)據(jù)上的實驗結(jié)果顯示單獨使用 SimTier 的多模態(tài) ESU相比只用 ID 的 Target AttentionGAUC 可以提升約 0.7%在此基礎(chǔ)上疊加 SA-TA總體 GAUC 提升可達到約 1.2%。這說明 ESU 和 GSU 的設(shè)計原則截然不同。表征質(zhì)量對 ESU 比 GSU 敏感得多。阿里媽媽對比了三類多模態(tài)預(yù)訓(xùn)練方式OpenCLIP基于 2 億級圖文數(shù)據(jù)的對比學(xué)習(xí)、I2I基于 item 共現(xiàn)關(guān)系的對比學(xué)習(xí)引入?yún)f(xié)同信號、SCL基于 “搜索 - 購買” 行為構(gòu)造正樣本兼具語義與行為相關(guān)性?，F(xiàn)象是在 GSU 只替換 embedding 類型時效果變化相對溫和在 ESU 替換 embedding 時差異明顯SCL I2I OpenCLIP。結(jié)論是ESU 對多模態(tài) embedding 的質(zhì)量極其敏感GSU 更像 “粗粒度過濾器”對表征精度的要求相對沒那么苛刻。三、MUSE 框架詳解基于上述分析團隊落地了完整可部署的 MUSE 框架。整體可以拆成三步下圖從左至右多模態(tài)表征如何預(yù)訓(xùn)練基于語義與行為的 SCL 對比學(xué)習(xí)多模態(tài) GSU 如何做輕量余弦檢索多模態(tài)增強 ESU 如何做SimTier SA-TA 雙路建模。底層采用 SCL 多模態(tài)預(yù)訓(xùn)練。以圖像模態(tài)為例所有 item 的圖像 embedding 預(yù)訓(xùn)練方式如下輸入包括用戶搜索 query 對應(yīng)的圖像和該 query 下最終購買的商品圖像正樣本 pair 由 query 與購買商品構(gòu)成負樣本 pair 通過 MoCo memory bank 動態(tài)構(gòu)造損失函數(shù)為 InfoNCE 對比學(xué)習(xí)形式類似 CLIP但正負樣本來自真實用戶搜購行為。得到的 embedding 具備兩方面能力內(nèi)容語義圖像信息的語義對齊和行為相關(guān)性與真實 “搜索 - 購買” 行為對齊。在 MUSE 中這些多模態(tài) embedding 在訓(xùn)練 CTR 模型時為凍結(jié)參數(shù)推理階段僅查表便于保證線上性能的穩(wěn)定性和工程可控性。GSU 使用 SCL embedding 做簡單 cosine Top-K。其目標是從用戶 10?~10? 級的歷史行為中選出最相關(guān)的幾十條行為作為 ESU 的輸入。具體步驟包括通過查 embedding 表獲取目標 item 的 SCL embeddingv_a和用戶所有歷史行為 item 的 SCL embeddingv_i計算每條歷史行為與目標 item 的相似度 r_i cos (v_a, v_i)按 r_i 排序取 Top-K形成 “輸入給精排模型的行為子序列”。整個過程沒有復(fù)雜 Attention也沒有 ID–MultiModal 的交織檢索本質(zhì)是一個高效的內(nèi)積排序。ESU 采用 SimTier SA-TA 雙管齊下。其核心由兩條并行路徑構(gòu)成。路徑 A 是 SimTier—— 顯式建模 “相似度分布”給定 GSU 得到的相似度序列 R [r_1, ..., r_K]將相似度區(qū)間 [-1, 1] 等分為 N 個 bintier統(tǒng)計每個 bin 內(nèi)落入的行為個數(shù)得到一個 N 維 histogramh_MMh_MM 可以理解為用戶歷史行為中與當(dāng)前廣告 “高相關(guān) / 中相關(guān) / 低相關(guān)” 的數(shù)量分布即一個緊湊的 “語義興趣分布向量”。相比直接在多模態(tài) embedding 序列上堆復(fù)雜結(jié)構(gòu)這種方式計算開銷極小并且在工業(yè)場景的實驗中效果非?？捎^。路徑 B 是 SA-TA—— 在 ID attention 里注入多模態(tài)語義。這條路徑保留了 ID embedding 的優(yōu)勢協(xié)同過濾信號在此基礎(chǔ)上做 “語義增強”。標準 DIN Target Attention用 target ID embedding 與行為 ID embedding 做打分得到 α_ID同步拿到多模態(tài)相似度 R沿用 GSU 的 r_i將兩者融合為最終打分α_Fusion γ??α_ID γ??R γ??(α_ID ⊙ R)其中 γ 為可學(xué)習(xí)標量⊙ 為逐元素乘用 Softmax (α_Fusion) 作為權(quán)重對行為 ID embedding 做加權(quán)和得到 u_l^ID。直觀理解是原本 ID-based attention 對長尾 item 的打分容易失真加上多模態(tài)相似度 R相當(dāng)于在告訴 attention “這條行為雖然 ID 很冷但在語義上和當(dāng)前廣告高度相似可以給更高權(quán)重?！弊罱K用戶終身興趣表示由 SimTier 輸出的 h_MM 與 SA-TA 輸出的 u_l^ID 拼接而成拼接后的向量作為 “終身興趣表示”輸入上層 CTR MLP。至此多模態(tài)在 ESU 中既有單獨一條序列建模路徑又深入?yún)⑴c到 ID attention 的行為聚合過程。四、工程落地10 萬行為 多模態(tài)還能延遲可控超長序列 多模態(tài)直覺上看 “又長又貴”。MUSE 在線上通過一個非常偏工程的拆分設(shè)計實現(xiàn)延遲可控。阿里媽媽展示廣告線上整體 pipeline 可粗略抽象為Matching從全庫召回約 103 個候選廣告和 RankingCTR 模型對這些候選預(yù)估打分。MUSE 被部署在 Ranking 階段用于針對這些候選建模用戶的終身行為。實踐發(fā)現(xiàn)最大瓶頸并不在算力而是在網(wǎng)絡(luò)通信需要拉取用戶 100k 行為序列及其對應(yīng) embedding網(wǎng)絡(luò)與存儲訪問會引入不容忽視的時延。為此團隊的改造重點是把 GSU 從 Ranking 的關(guān)鍵路徑中剝離出來做異步預(yù)取。具體分為兩個階段Pre-fetching 階段與 Matching 并行—— 用戶請求到達后Matching 負責(zé)召回候選廣告同時 GSU 服務(wù)開始從遠端存儲拉取用戶 100K 行為的多模態(tài) embedding這些 embedding 預(yù)先緩存到 GPU 顯存中該步驟的時延整體被 Matching 階段遮蔽掉相似度計算 Top-K Selection 階段Ranking 前的小環(huán)節(jié)—— 當(dāng) Matching 完成時GSU 一側(cè)的行為 embedding 已經(jīng)就緒此時只需對候選廣告與緩存的行為 embedding 做一次相似度計算即可得到 Top-K 行為 ID 和相似度序列交由 Ranking 服務(wù)的 ESU 使用這部分計算量很小可以與 Ranking 的特征處理并行完成對整體時延影響極小。在這樣的設(shè)計下GSU 對端到端延遲幾乎是 “隱身” 的。新增成本主要在于存儲與網(wǎng)絡(luò)讀取負載但被并行化掩蓋以及 ESU 端增加的 MLP /attention/ SimTier 算力開銷量級可控。線上對比實驗設(shè)置為Baseline 是 SIM兩階段 ID-only 架構(gòu)行為長度 5KMUSE 是多模態(tài) GSU 多模態(tài)增強 ESU行為長度擴展至 100K。 A/B 結(jié)果顯示CTR 12.6%、RPM 5.1%、ROI 11.4%。同時在離線實驗中也對行為長度做了消融5K / 10K / 100K觀察到序列越長MUSE 帶來的收益越大多模態(tài)增強 ESU 在所有長度上都顯著優(yōu)于 ID-only ESU且長度越長優(yōu)勢越明顯。這基本佐證了一個直觀判斷當(dāng)你手里有幾十萬級別的用戶歷史行為日志多模態(tài) 檢索式建模確實能把這些 “沉睡日志” 轉(zhuǎn)化為有效的業(yè)務(wù)資產(chǎn)。五、對業(yè)界的幾個直接啟發(fā)如果你在做廣告 / 內(nèi)容推薦 / 電商推薦MUSE 這套實踐有幾個非常 “可復(fù)制” 的啟發(fā)點。先別急著在 GSU 上玩花活優(yōu)先把 item 的圖文 embedding 學(xué)好無論是自建 CLIP、SCL還是其它多模態(tài)預(yù)訓(xùn)練在此基礎(chǔ)上用多模態(tài) cosine 取代 GSU 的 ID-only 檢索往往是性價比最高的一步。Attention 檢索、復(fù)雜多塔融合等設(shè)計在 GSU 這個階段不一定值得你花大量算力和工程復(fù)雜度。把多模態(tài)引入 ESU而不是只停留在 GSUESU 是真正決定 “特征如何被使用” 的地方也是對 embedding 質(zhì)量最敏感的環(huán)節(jié)即便暫時無法重構(gòu)整個 ESU也可以分兩步推進一是引入一個輕量的 “相似度直方圖” 類模塊如 SimTier來刻畫語義分布二是在現(xiàn)有 DIN / TWIN 的 attention 中引入多模態(tài)相似度作為輔助打分類似 SA-TA。這類改造對現(xiàn)有模型結(jié)構(gòu)的侵入性不大但從實驗看收益往往很可觀。工程上優(yōu)先解決 “序列拉不進來” 的問題多模態(tài) 超長序列的最大障礙往往不在算法而在 I/O 和基礎(chǔ)設(shè)施。MUSE 提供了一個可直接借鑒的模板把 GSU 抽成獨立服務(wù)盡量與 Matching 異步并行盡可能將 embedding 搬到就近緩存如 GPU 顯存在 Ranking 階段只保留輕量計算保證路徑收斂。這類設(shè)計思路本質(zhì)上是從 “只在舊框架上雕花”轉(zhuǎn)向圍繞 “可擴展架構(gòu) 高投產(chǎn)比” 重新規(guī)劃整條推薦鏈路。六、開源數(shù)據(jù)首個 “超長行為 多模態(tài) embedding” 公開數(shù)據(jù)集這篇工作還給社區(qū)帶來了一個附加價值首個同時具備 “長行為序列高質(zhì)量多模態(tài) embedding” 的大規(guī)模公開數(shù)據(jù)集 Taobao-MM。其主要特點包括用戶行為序列最長 1K開源版本工業(yè)內(nèi)部實驗支持高達 100K每個 item 提供 128 維 SCL 多模態(tài) embedding不包含原始圖文規(guī)避版權(quán)風(fēng)險數(shù)據(jù)規(guī)模約為 1 億樣本、近 900 萬用戶、3,500 萬級 item。對學(xué)界研究者和工業(yè)界團隊來說這是一個可以直接驗證 “多模態(tài)長序列” 建模方案的基準數(shù)據(jù)集有助于減少自建數(shù)據(jù)的成本。七、小結(jié)從 “只調(diào) ID 模型” 到 “MUSE 多模態(tài)興趣引擎”從 MUSE 和近期工業(yè)界的推薦系統(tǒng)演進可以看到一個共同趨勢不再只在舊的 ID-only 框架上做局部微調(diào)而是從軟硬件協(xié)同、架構(gòu)層面重新組織 “算力×特征×模型”。具體到 MUSE結(jié)構(gòu)觀上接受 “用戶行為本質(zhì)上是一個超大規(guī)模序列數(shù)據(jù)庫”先檢索再建模信號觀上擺脫 ID-only 的限制讓圖文 embedding 真正參與終身興趣建模工程觀上把最重的 I/O 和計算挪到異步與緩存把在線關(guān)鍵路徑做得足夠輕量。如果你的業(yè)務(wù)場景具備以下特征用戶累積了較長行為日志 萬條、每個 item 具備圖文等豐富內(nèi)容特征、純 ID-only 模型的收益已經(jīng)越來越難挖掘那么可以考慮按這樣一個路線落地 “輕量版 MUSE”先提高表征質(zhì)量評估現(xiàn)有圖文預(yù)訓(xùn)練 embedding或嘗試類似 SCL 的行為增強式預(yù)訓(xùn)練用多模態(tài)支撐 GSU在現(xiàn)有兩階段結(jié)構(gòu)中優(yōu)先用多模態(tài) cosine 替代 GSU 的 ID 檢索在 ESU 中融合多模態(tài)在 DIN / TWIN 的 target attention 中引入一條 “多模態(tài)相似度支路”觀察 offline 指標變化。這基本就是一個 “輕量版 MUSE” 的起點后續(xù)可以逐步演進到完整的雙路 ESU 與異步 GSU 架構(gòu)在控制延遲的前提下打開新的效果增量空間。阿里媽媽技術(shù)團隊已在多模態(tài)智能領(lǐng)域取得多項突破此次發(fā)布的 MUSE不僅僅是算法的進步更是工程與算法深度協(xié)同的典范。它告訴我們在追求模型 “大” 的同時也要注重 “巧” 和 “效率”才能真正讓技術(shù)在工業(yè)界發(fā)揮最大能量。One More ThingICLR 2026 Workshop 等你來稿還有個好消息阿里媽媽聯(lián)合北京大學(xué)等組織和個人將在 ICLR 2026 舉辦 Workshop on AIMSAI for Mechanism Design Strategic Decision Making 目前征稿已開啟如果你正在探索人工智能與機制設(shè)計、決策智能的交叉前沿 ——無論是自動機制發(fā)現(xiàn)、多智能體博弈均衡、高維/自然語言場景下的機制建模還是 AI 系統(tǒng)的公平性、魯棒性亦或是廣告、云市場等真實場景的落地應(yīng)用 ——那么這場 ICLR 2026 Workshop 正是為你而設(shè)截稿日期2026 年 1 月 30 日接受 Long Paper≤9 頁與 Short Paper≤4 頁支持雙重投稿可與 ICML/KDD 等會議多投錄用不存檔由 Tuomas SandholmCMU、Song Zuo谷歌、Vijay V. Vazirani (UCI)、Niklas Karlsson 亞馬遜、鄭臻哲 (上海交大) 等頂尖學(xué)者組成講者與審稿陣容投稿地址https://openreview.net/group?idICLR.cc/2026/Workshop/AIMS此外我們還設(shè)有 Best Paper 獎、Best Poster 獎優(yōu)秀作者還有機會獲得阿里巴巴等企業(yè)的研究實習(xí)推薦這不僅是一場研討會更是連接人工智能、經(jīng)濟學(xué)與運籌學(xué)的橋梁。更多詳情可戳 Workshop 官方網(wǎng)站https://alimama-tech.github.io/aims-2026/THE END !文章結(jié)束感謝閱讀。您的點贊收藏評論是我繼續(xù)更新的動力。大家有推薦的公眾號可以評論區(qū)留言共同學(xué)習(xí)一起進步。