網(wǎng)頁制作模板的網(wǎng)站element,如何創(chuàng)建網(wǎng)站小程序,網(wǎng)站dns錯誤,網(wǎng)站開發(fā)游戲程序開發(fā)概述 近年來#xff0c;風(fēng)格驅(qū)動生成 和 主題驅(qū)動生成 作為圖像生成中的兩個獨立問題被研究。 前者強調(diào)參考圖像的風(fēng)格#xff0c;而后者側(cè)重于保持人物或物體的一致性#xff0c;兩者被視為對立的。 然而#xff0c;本文認(rèn)為可以將兩者視為統(tǒng)一的…概述近年來風(fēng)格驅(qū)動生成 和 主題驅(qū)動生成 作為圖像生成中的兩個獨立問題被研究。前者強調(diào)參考圖像的風(fēng)格而后者側(cè)重于保持人物或物體的一致性兩者被視為對立的。然而本文認(rèn)為可以將兩者視為統(tǒng)一的。原因在于這兩項任務(wù)無非都是將 內(nèi)容 和 風(fēng)格 進(jìn)行分離和重新組合的任務(wù)。因此作者提出了 USO統(tǒng)一風(fēng)格-主體優(yōu)化模型。USO 建立了一個大型三元組數(shù)據(jù)集內(nèi)容圖像、風(fēng)格圖像和風(fēng)格應(yīng)用圖像并進(jìn)一步將風(fēng)格對齊學(xué)習(xí)和內(nèi)容-風(fēng)格分離學(xué)習(xí)結(jié)合起來風(fēng)格對齊學(xué)習(xí)和內(nèi)容-風(fēng)格分離學(xué)習(xí)。此外還引入了風(fēng)格獎勵學(xué)習(xí)SRL以增強風(fēng)格保真度。作者還建立了一個新的基準(zhǔn)–USO-Bench以同時評估風(fēng)格相似性和主題一致性。實驗結(jié)果表明USO 優(yōu)于傳統(tǒng)方法在風(fēng)格和主題一致性方面都達(dá)到了最先進(jìn)的水平。建議的方法USO 的核心思想是將風(fēng)格驅(qū)動任務(wù)和主題驅(qū)動任務(wù)作為 互補任務(wù) 同時學(xué)習(xí)。首先作者構(gòu)建了一個跨任務(wù)三元組保存框架Cross-Task Triplet Curation Framework。這是一種使用風(fēng)格化專用模型和去風(fēng)格化模型自動生成三重數(shù)據(jù)參考風(fēng)格圖像、主題參考圖像和風(fēng)格應(yīng)用結(jié)果圖像的機制。接下來是統(tǒng)一定制框架 統(tǒng)一定制框架USO。學(xué)習(xí)分為兩個階段。在第一階段使用 SigLIP 編碼器和分層投影儀進(jìn)行風(fēng)格對齊訓(xùn)練確保能夠準(zhǔn)確提取風(fēng)格特征。在第二階段內(nèi)容和風(fēng)格圖像被輸入到不同的編碼器中以執(zhí)行內(nèi)容-風(fēng)格分離訓(xùn)練Content-Style Disentanglement Training避免不必要的特征污染。此外還引入了風(fēng)格獎勵學(xué)習(xí)SRL將生成的結(jié)果與參考風(fēng)格的接近程度作為獎勵信號反映在訓(xùn)練中。這成功地同時提高了風(fēng)格保真度和主體一致性。實驗為了測試所提方法的有效性作者使用新構(gòu)建的 USO-Bench 和現(xiàn)有的 DreamBench 進(jìn)行了大規(guī)模實驗。USO-Bench 是一個結(jié)合了 50 種不同內(nèi)容圖像和 50 種不同風(fēng)格圖像的基準(zhǔn)可以全面評估主題驅(qū)動、風(fēng)格驅(qū)動和兩者結(jié)合的任務(wù)。評估指標(biāo)包括衡量主題一致性的 CLIP-I 和 DINO、衡量風(fēng)格相似性的 CSD 以及衡量文本和圖像一致性的 CLIP-T。實驗結(jié)果表明USO 在主題驅(qū)動和風(fēng)格驅(qū)動任務(wù)中的表現(xiàn)均優(yōu)于現(xiàn)有方法尤其是在同時處理風(fēng)格和主題的復(fù)雜任務(wù)中表現(xiàn)出了顯著的性能提升。在定量評估中CSD 和 CLIP-T 的得分最高在定性評估中USO 忠實地再現(xiàn)了各種繪畫風(fēng)格同時保留了主體的外觀。此外消融實驗證實風(fēng)格獎勵學(xué)習(xí)和分層投影對性能的提高有很大幫助?？傊梢缘贸鼋Y(jié)論USO 是一種最先進(jìn)的統(tǒng)一生成模型可以同時實現(xiàn)風(fēng)格和主題。