拖拽下圖像就能生成視頻,中科大、微軟等DragNUWA屬實驚艷
機器之心報道
(相關(guān)資料圖)
編輯:小舟
隨著 ChatGPT、GPT-4、LLaMa 等模型的問世,人們越來越關(guān)注生成式模型的發(fā)展。相比于日漸成熟的文本生成和圖像生成,視頻、語音等模態(tài)的 AI 生成還面臨著較大的挑戰(zhàn)。
現(xiàn)有可控視頻生成工作主要存在兩個問題:首先,大多數(shù)現(xiàn)有工作基于文本、圖像或軌跡來控制視頻的生成,無法實現(xiàn)視頻的細粒度控制;其次,軌跡控制研究仍處于早期階段,大多數(shù)實驗都是在 Human3.6M 等簡單數(shù)據(jù)集上進行的,這種約束限制了模型有效處理開放域圖像和復(fù)雜彎曲軌跡的能力。
基于此,來自中國科學(xué)技術(shù)大學(xué)、微軟亞研和北京大學(xué)的研究者提出了一種基于開放域擴散的新型視頻生成模型 ——DragNUWA。DragNUWA 從語義、空間和時間三個角度實現(xiàn)了對視頻內(nèi)容的細粒度控制。本文共一作殷晟明、吳晨飛,通訊作者段楠。
論文地址:https://arxiv.org/abs/2308.08089
以拖動(drag)的方式給出運動軌跡,DragNUWA 就能讓圖像中的物體對象按照該軌跡移動位置,并且可以直接生成連貫的視頻。例如,讓兩個滑滑板的小男孩按要求路線滑行:
還可以「變換」靜態(tài)景物圖像的相機位置和角度:
方法簡介
該研究認為文本、圖像、軌跡這三種類型的控制是缺一不可的,因為它們各自有助于從語義、空間和時間角度控制視頻內(nèi)容。如下圖 1 所示,僅文本和圖像的組合不足以傳達視頻中存在的復(fù)雜運動細節(jié),這可以用軌跡信息來補充;僅圖像和軌跡組合無法充分表征視頻中的未來物體,文本控制可以彌補這一點;在表達抽象概念時,僅依賴軌跡和文本可能會導(dǎo)致歧義,圖像控制可以提供必要的區(qū)別。
DragNUWA 是一種端到端的視頻生成模型,它無縫集成了三個基本控件 —— 文本、圖像和軌跡,提供強大且用戶友好的可控性,從語義、空間和時間角度對視頻內(nèi)容進行細粒度控制。
為了解決當前研究中有限的開放域軌跡控制問題,該研究重點關(guān)注三個方面的軌跡建模:
使用軌跡采樣器(Trajectory Sampler,TS)在訓(xùn)練期間直接從開放域視頻流中采樣軌跡,用于實現(xiàn)任意軌跡的開放域控制; 使用多尺度融合(Multiscale Fusion,MF)將軌跡下采樣到各種尺度,并將其與 UNet 架構(gòu)每個塊內(nèi)的文本和圖像深度集成,用于控制不同粒度的軌跡; 采用自適應(yīng)訓(xùn)練(Adaptive Training,AT)策略,以密集流為初始條件來穩(wěn)定視頻生成,然后在稀疏軌跡上進行訓(xùn)練以適應(yīng)模型,最終生成穩(wěn)定且連貫的視頻。實驗及結(jié)果
該研究用大量實驗來驗證 DragNUWA 的有效性,實驗結(jié)果展示了其在視頻合成細粒度控制方面的卓越性能。
與現(xiàn)有專注于文本或圖像控制的研究不同,DragNUWA 主要強調(diào)建模軌跡控制。為了驗證軌跡控制的有效性,該研究從相機運動和復(fù)雜軌跡兩個方面測試了 DragNUWA。
如下圖 4 所示,DragNUWA 雖然沒有明確地對相機運動進行建模,但它從開放域軌跡的建模中學(xué)習(xí)了各種相機運動。
為了評估 DragNUWA 對復(fù)雜運動的精確建模能力,該研究使用相同的圖像和文本對各種復(fù)雜的拖動(drag)軌跡進行了測試。如下圖 5 所示,實驗結(jié)果表明 DragNUWA 能夠可靠地控制復(fù)雜運動。
此外,DragNUWA 雖然主要強調(diào)軌跡控制建模,但也融合了文本和圖像控制。研究團隊認為,文本、圖像和軌跡分別對應(yīng)視頻的三個基本控制方面:語義、空間和時間。下圖 6 通過展示文本(p)、軌跡(g)和圖像(s)的不同組合(包括 s2v、p2v、gs2v、ps2v 和 pgs2v)說明了這些控制條件的必要性。
感興趣的讀者可以閱讀論文原文,了解更多研究內(nèi)容
關(guān)鍵詞:
您可能也感興趣:
今日熱點
為您推薦
撩人美杜莎女王cosplay,斗破蒼穹中邪惡與柔情的絕美融合!
蹲下去站起來頭暈想吐是怎么回事(蹲下去站起來頭暈)
云南“疑被販賣緬北”女生平安回家,警方:正核實聊天記錄真實性
排行
最近更新
- 拖拽下圖像就能生成視頻,中科大、微軟等DragNUWA屬實驚艷
- 加快推進世界一流海洋港口建設(shè)!西海岸新區(qū)重點實施七大行動2...
- 售價9.48/9.68萬元起,菱勢黃金卡倉柵/貨柜版上市
- 自8月26日起,濰坊公交集團優(yōu)化調(diào)整5路公交線
- 中國與金磚成員間貿(mào)易猛增
- 一則消息帶崩整個板塊!兩大機場澄清后,國泰君安也辟謠了
- 走進“家門口”的圖書館,感受濃濃書香
- realme真我GT5將發(fā)布 采用奇跡玻璃技術(shù)
- 科達自控上半年營收同比增長19%:毛利率增加6.83個百分點
- 現(xiàn)代伊蘭特1.5L CVT GLS領(lǐng)先版售價9.98萬
- 丹麥國防大臣:烏克蘭只能在本國境內(nèi)使用捐贈的F-16戰(zhàn)機,這...
- 湖南工業(yè)大學(xué)2023年新進輔導(dǎo)員崗前培訓(xùn)開班
- 奇瑞推出全新緊湊級SUV 11.69萬-13.99萬
- 紫金礦業(yè):收購西藏朱諾銅礦權(quán)益
- 三部門:合理增加對消費者購買汽車、家電、家居等產(chǎn)品的消費...
- 通威股份:上半年凈利潤同比增長8.56% 擬合計200億元投建兩光伏項目
- 國產(chǎn)敞篷跑車MG Cyberster售價曝光:31.79萬元起售
- 中際旭創(chuàng)獲深股通連續(xù)3日凈買入 累計凈買入5.52億元
- 中國國家公園建設(shè)中的“科技范”
- 民警化身電影大使,反詐宣傳進影院
- 2023浙江寧波市奉化區(qū)紅果文體產(chǎn)業(yè)運營管理有限公司招聘工作...
- 律師找誰寫合伙合同協(xié)議書可以幫忙代寫嗎
- 中南文化:公司目前影視業(yè)務(wù)不涉及短劇
- 2023年成人高考《歷史》必背考點:明朝
- 08月21日國產(chǎn)丙烯腈為7800元
- 財報解讀:上半年凈利大漲230%,周黑鴨“贏”在門店擴張加速
- 商務(wù)部等三部門:合理增加對消費者購買汽車、家電、家居等產(chǎn)...
- 艾迪藥業(yè)(688488.SH):傅和亮擬辭去總裁及首席執(zhí)行官職務(wù)
- 寧夏銀川:七夕催熱“浪漫經(jīng)濟” 鮮花、餐飲開啟預(yù)訂模式
- 三部門:鼓勵開發(fā)適合中小微商貿(mào)流通企業(yè)的專項信貸產(chǎn)品