網(wǎng)站開(kāi)發(fā) 播放音頻amr,企業(yè)資質(zhì)查詢(xún),百度搜索 相關(guān)網(wǎng)站,網(wǎng)站平臺(tái)怎么推廣概述 這項(xiàng)研究旨在解決長(zhǎng)時(shí)間視頻生成中的最大難題#xff1a;長(zhǎng)期上下文保存。 傳統(tǒng)的擴(kuò)散變換器#xff08;Diffusion Transformer#xff09;基于自注意機(jī)制#xff0c;很難生成數(shù)分鐘規(guī)模的視頻#xff0c;因?yàn)橛?jì)算復(fù)雜度會(huì)隨著序列長(zhǎng)度的增加而平方增加。 以前的方法…概述這項(xiàng)研究旨在解決長(zhǎng)時(shí)間視頻生成中的最大難題長(zhǎng)期上下文保存。傳統(tǒng)的擴(kuò)散變換器Diffusion Transformer基于自注意機(jī)制很難生成數(shù)分鐘規(guī)模的視頻因?yàn)橛?jì)算復(fù)雜度會(huì)隨著序列長(zhǎng)度的增加而平方增加。以前的方法對(duì)歷史記錄進(jìn)行壓縮或固定減薄但存在細(xì)節(jié)缺失和重要背景缺失等問(wèn)題。因此作者將視頻生成重新表述為一個(gè) 內(nèi)部信息檢索 問(wèn)題并提出了一個(gè)框架該框架只動(dòng)態(tài)引用每次查詢(xún)的相關(guān)歷史記錄。在這一框架中視頻被分為幀或鏡頭每次查詢(xún)都會(huì)選擇最有意義的上下文。此外字幕和本地鏡頭信息始終被用作基本參考點(diǎn)從而保證了敘事的連續(xù)性和主題的一致性。結(jié)果表明該系統(tǒng)即使在幾分鐘的長(zhǎng)視頻中也能保持較高的準(zhǔn)確性和一致性同時(shí)大大降低了計(jì)算復(fù)雜度。建議的方法我們提出的方法即上下文混合法MoC是一種動(dòng)態(tài)上下文選擇機(jī)制而不是完全計(jì)算自我注意力。首先視頻被分割成語(yǔ)義一致的片段如幀、鏡頭和字幕。然后每次查詢(xún)都會(huì)計(jì)算均值池所代表的塊的特征向量和內(nèi)積并選擇前 k 個(gè)最相關(guān)的塊進(jìn)行注意力計(jì)算。此外它還引入了一種設(shè)計(jì)即始終將所有字幕標(biāo)記作為基本鏈接與同一鏡頭內(nèi)的所有標(biāo)記相連接從而在確保本地保真度的同時(shí)將計(jì)算資源集中在重要的遠(yuǎn)距離依賴(lài)關(guān)系上。此外通過(guò)強(qiáng)制執(zhí)行時(shí)間方向上的因果關(guān)系避免了循環(huán)結(jié)構(gòu)從而使生成過(guò)程不會(huì)中斷。這種機(jī)制減少了 85% 以上的計(jì)算浪費(fèi)同時(shí)保持了主題的一致性和操作的連續(xù)性。與傳統(tǒng)的壓縮和固定稀疏化相比它的特點(diǎn)是靈活和可學(xué)習(xí)的上下文選擇。實(shí)驗(yàn)作者進(jìn)行了單鏡頭和多鏡頭視頻生成實(shí)驗(yàn)以證實(shí)所提方法 MoC 的有效性?，F(xiàn)有的長(zhǎng)文本生成方法 LCT 被用作基礎(chǔ)模型MoC 取代了它的自注意層以進(jìn)行比較。使用 VBench 進(jìn)行評(píng)估評(píng)估指標(biāo)包括主體一致性、背景一致性、動(dòng)作流暢性和動(dòng)態(tài)程度。結(jié)果表明在短視頻中保持與密集自我注意相同或更高精度的同時(shí)長(zhǎng)視頻的計(jì)算量減少到了七分之一以下生成速度提高了 2.2 倍。特別是在動(dòng)作的多樣性和場(chǎng)景的一致性方面都有所改進(jìn)克服了傳統(tǒng)方法因信息壓縮而導(dǎo)致的性能下降問(wèn)題。此外MoC 在零鏡頭實(shí)驗(yàn)中表現(xiàn)出很高的穩(wěn)定性證實(shí)了它對(duì)其他擴(kuò)散模型的適用性。這些結(jié)果表明MoC 在生成長(zhǎng)視頻方面既高效又富有表現(xiàn)力。