圖注：Sora可以為各種設(shè)備生成與其原始縱橫比完美匹配的內(nèi)容

改進(jìn)構(gòu)圖與框架

我們的實(shí)驗(yàn)結(jié)果顯示，在視頻的原始縱橫比上進(jìn)行訓(xùn)練，能夠顯著提升構(gòu)圖和框架的質(zhì)量。為了驗(yàn)證這一點(diǎn)，我們將Sora與一個(gè)將所有訓(xùn)練視頻裁剪為方形的模型版本進(jìn)行了比較。結(jié)果發(fā)現(xiàn)，在正方形裁剪上訓(xùn)練的模型有時(shí)會(huì)生成僅部分顯示主題的視頻。而Sora則能呈現(xiàn)出更加完美的幀，充分展現(xiàn)了其在視頻生成領(lǐng)域的卓越性能。

圖注：將所有訓(xùn)練視頻裁剪為方形的模型相比(左)，Sora能呈現(xiàn)出更加完美的幀

語(yǔ)言理解深化

為了訓(xùn)練文本轉(zhuǎn)視頻生成系統(tǒng)，需要大量帶有相應(yīng)文本字幕的視頻。為此，我們借鑒了DALL·E3中的re-captioning技術(shù)，并應(yīng)用于視頻領(lǐng)域。首先，我們訓(xùn)練了一個(gè)高度描述性的轉(zhuǎn)譯員模型，然后使用它為我們訓(xùn)練集中的所有視頻生成文本轉(zhuǎn)譯。通過(guò)這種方式，我們發(fā)現(xiàn)對(duì)高度描述性的視頻轉(zhuǎn)譯進(jìn)行訓(xùn)練，可以顯著提高文本保真度和視頻的整體質(zhì)量。

與此同時(shí)，與DALL·E3類(lèi)似，我們還利用GPT技術(shù)將簡(jiǎn)短的用戶(hù)提示轉(zhuǎn)換為更長(zhǎng)的詳細(xì)轉(zhuǎn)譯，并將其發(fā)送到視頻模型。這一創(chuàng)新使得Sora能夠精確地按照用戶(hù)提示生成高質(zhì)量的視頻。

圖片與視頻提示

在上述所有結(jié)果和我們的演示中，你可能已經(jīng)注意到了文本轉(zhuǎn)視頻的示例。但Sora的功能遠(yuǎn)不止于此，它還能接受其他類(lèi)型的輸入提示，如預(yù)先存在的圖像或視頻。這種多樣化的提示方式使Sora能夠執(zhí)行廣泛的圖像和視頻編輯任務(wù)，如創(chuàng)建完美的循環(huán)視頻、將靜態(tài)圖像轉(zhuǎn)化為動(dòng)畫(huà)、向前或向后擴(kuò)展視頻等。

將DALL·E圖片變成動(dòng)畫(huà)

值得一提的是，Sora還能在提供圖像和提示作為輸入的情況下生成視頻。下面展示的示例視頻就是基于DALL·E 2和DALL·E 3的圖像生成的。這些示例不僅證明了Sora的強(qiáng)大功能，還展示了它在圖像和視頻編輯領(lǐng)域的無(wú)限潛力。