wordpress調(diào)取留言頁(yè)面,優(yōu)化火車票,郴州網(wǎng)站運(yùn)營(yíng)公司,wap手機(jī)網(wǎng)站分享代碼概述 由于傳統(tǒng)的語(yǔ)音驅(qū)動(dòng)視頻生成研究?jī)H限于單個(gè)說(shuō)話者或人臉領(lǐng)域#xff0c;本文提出了一項(xiàng)新任務(wù)–多人對(duì)話視頻生成#xff0c;其目標(biāo)是生成多人之間的自然對(duì)話。 研究的重點(diǎn)是構(gòu)建多人類互動(dòng)對(duì)話數(shù)據(jù)集#xff08;MIT#xff09;#xff0c;這是一個(gè) 12 小時(shí)的高分辨率…概述由于傳統(tǒng)的語(yǔ)音驅(qū)動(dòng)視頻生成研究?jī)H限于單個(gè)說(shuō)話者或人臉領(lǐng)域本文提出了一項(xiàng)新任務(wù)–多人對(duì)話視頻生成其目標(biāo)是生成多人之間的自然對(duì)話。研究的重點(diǎn)是構(gòu)建多人類互動(dòng)對(duì)話數(shù)據(jù)集MIT這是一個(gè) 12 小時(shí)的高分辨率數(shù)據(jù)集。該數(shù)據(jù)集收集了涉及 2 到 4 人的對(duì)話視頻并自動(dòng)分配姿勢(shì)估計(jì)和語(yǔ)音狀態(tài)分?jǐn)?shù)以全面捕捉與多人對(duì)話相關(guān)的語(yǔ)音、聽力和手勢(shì)的互動(dòng)。此外作者還開發(fā)了一個(gè)基線模型 CovOG 來(lái)應(yīng)對(duì)這一新挑戰(zhàn)。CovOG 融合了多人姿勢(shì)編碼器MPE和交互式音頻驅(qū)動(dòng)程序IAD前者集成了每個(gè)人的姿勢(shì)特征后者根據(jù)語(yǔ)音特征控制面部動(dòng)作從而自然再現(xiàn)說(shuō)話和聆聽的角色變化。IAD。這樣就能生成模擬采訪和脫口秀等真實(shí)場(chǎng)景的視頻為今后的研究發(fā)展奠定了重要基礎(chǔ)。擬議方法擬議方法的核心是基線模型 “CovOG”它是現(xiàn)有單人生成模型 AnimateAnyone 的擴(kuò)展。首先多人體姿態(tài)編碼器MPE具有一種機(jī)制可在卷積網(wǎng)絡(luò)中分別處理每個(gè)人剪切出來(lái)的姿態(tài)然后進(jìn)行整合。這樣系統(tǒng)就能靈活應(yīng)對(duì)人數(shù)的波動(dòng)并在生成整體對(duì)話場(chǎng)景的同時(shí)保持每個(gè)人的獨(dú)立肢體動(dòng)作。接下來(lái)IAD交互式音頻驅(qū)動(dòng)程序?qū)⒚總€(gè)說(shuō)話者的語(yǔ)音特征和 說(shuō)話分?jǐn)?shù) 作為輸入并控制面部動(dòng)作和表情。當(dāng)說(shuō)話者說(shuō)話時(shí)該機(jī)制會(huì)使嘴部動(dòng)作與語(yǔ)音同步當(dāng)說(shuō)話者是聽眾時(shí)該機(jī)制會(huì)產(chǎn)生點(diǎn)頭和微笑等自然反應(yīng)。此外CovOG 還使用參考圖像來(lái)保持人的身份并結(jié)合姿勢(shì)和語(yǔ)音條件來(lái)生成視頻。這些創(chuàng)新技術(shù)能夠生成多人對(duì)話視頻而傳統(tǒng)的 純面部 或 單發(fā)言人 模型則無(wú)法做到這一點(diǎn)從而極大地?cái)U(kuò)展了視頻合成的潛力將自然互動(dòng)納入其中。實(shí)驗(yàn)在實(shí)驗(yàn)中CovOG 的性能在麻省理工學(xué)院的數(shù)據(jù)集上進(jìn)行了測(cè)試并與傳統(tǒng)方法進(jìn)行了比較。評(píng)估使用了表示圖像質(zhì)量的 SSIM 和 PSNR 以及衡量運(yùn)動(dòng)一致性的 FVD。結(jié)果表明CovOG 的表現(xiàn)始終優(yōu)于 AnimateAnyone 和 ControlSVD 等代表性方法而且質(zhì)量穩(wěn)定特別是在多人對(duì)話情況下。切除實(shí)驗(yàn)從數(shù)量上證明了這兩個(gè)模塊的有效性切除 MPE 會(huì)導(dǎo)致整體姿勢(shì)控制的喪失而切除 IAD 則會(huì)導(dǎo)致不自然的面部動(dòng)作。在用戶研究中CovOG 在角色一致性、與音頻的同步性和整體視頻自然度方面也獲得了很高的評(píng)價(jià)。此外在一項(xiàng) 跨模態(tài)實(shí)驗(yàn) 中結(jié)合了不同視頻中的身份、姿勢(shì)和音頻CovOG 保持了時(shí)間上的流暢性和空間上的一致性證明了它的多功能性。這些結(jié)果表明所提出的模型適用于再現(xiàn)逼真的多人對(duì)話。