openai視頻生成模型sora最近徹底爆火了，對于這次的爆火事件很多人還不是很了解，想要知道OpenAI王炸模型究竟是什么樣的，那么大家可以看看下面游戲鳥小編帶來的官方技術(shù)報(bào)告解讀，會(huì)給大家具體的介紹這次科技大爆炸的詳情。

OpenAI王炸模型官方技術(shù)報(bào)告解讀

OpenAI 2月16日凌晨發(fā)布了文生視頻大模型Sora，在科技圈引起一連串的震驚和感嘆，在2023年，我們見證了文生文、文生圖的進(jìn)展速度，視頻可以說是人類被AI攻占最慢的一塊“處女地”。而在2024年開年，OpenAI就發(fā)布了王炸文生視頻大模型Sora，它能夠僅僅根據(jù)提示詞，生成60s的連貫視頻，“碾壓”了行業(yè)目前大概只有平均“4s”的視頻生成長度。

為了方便理解，我們簡單總結(jié)了這個(gè)模型的強(qiáng)大之處：

1、文本到視頻生成能力：Sora能夠根據(jù)用戶提供的文本描述生成長達(dá)60S的視頻，這些視頻不僅保持了視覺品質(zhì)，而且完整準(zhǔn)確還原了用戶的提示語。

2、復(fù)雜場景和角色生成能力：Sora能夠生成包含多個(gè)角色、特定運(yùn)動(dòng)類型以及主題精確、背景細(xì)節(jié)復(fù)雜的場景。它能夠創(chuàng)造出生動(dòng)的角色表情和復(fù)雜的運(yùn)鏡，使得生成的視頻具有高度的逼真性和敘事效果。

3、語言理解能力：Sora擁有深入的語言理解能力，能夠準(zhǔn)確解釋提示并生成能表達(dá)豐富情感的角色。這使得模型能夠更好地理解用戶的文本指令，并在生成的視頻內(nèi)容中忠實(shí)地反映這些指令。

4、多鏡頭生成能力：Sora可以在單個(gè)生成的視頻中創(chuàng)建多個(gè)鏡頭，同時(shí)保持角色和視覺風(fēng)格的一致性。這種能力對于制作電影預(yù)告片、動(dòng)畫或其他需要多視角展示的內(nèi)容非常有用。

5、從靜態(tài)圖像生成視頻能力：Sora不僅能夠從文本生成視頻，還能夠從現(xiàn)有的靜態(tài)圖像開始，準(zhǔn)確地動(dòng)畫化圖像內(nèi)容，或者擴(kuò)展現(xiàn)有視頻，填補(bǔ)視頻中的缺失幀。

6、物理世界模擬能力：Sora展示了人工智能在理解真實(shí)世界場景并與之互動(dòng)的能力，這是朝著實(shí)現(xiàn)通用人工智能(AGI)的重要一步。它能夠模擬真實(shí)物理世界的運(yùn)動(dòng)，如物體的移動(dòng)和相互作用。

可以說，Sora的出現(xiàn)，預(yù)示著一個(gè)全新的視覺敘事時(shí)代的到來，它能夠?qū)⑷藗兊南胂罅D(zhuǎn)化為生動(dòng)的動(dòng)態(tài)畫面，將文字的魔力轉(zhuǎn)化為視覺的盛宴。在這個(gè)由數(shù)據(jù)和算法編織的未來，Sora正以其獨(dú)特的方式，重新定義著我們與數(shù)字世界的互動(dòng)。

01

以下為OpenAI文生視頻模型Sora官方技術(shù)報(bào)告

我們探索了利用視頻數(shù)據(jù)對生成模型進(jìn)行大規(guī)模訓(xùn)練。具體來說，我們在不同持續(xù)時(shí)間、分辨率和縱橫比的視頻和圖像上聯(lián)合訓(xùn)練了以文本為輸入條件的擴(kuò)散模型。我們引入了一種transformer架構(gòu)，該架構(gòu)對視頻的時(shí)空序列包和圖像潛在編碼進(jìn)行操作。我們最頂尖的模型Sora已經(jīng)能夠生成最長一分鐘的高保真視頻，這標(biāo)志著我們在視頻生成領(lǐng)域取得了重大突破。我們的研究結(jié)果表明，通過擴(kuò)大視頻生成模型的規(guī)模，我們有望構(gòu)建出能夠模擬物理世界的通用模擬器，這無疑是一條極具前景的發(fā)展道路。

這份技術(shù)報(bào)告主要聚焦于兩大方面：首先，我們詳細(xì)介紹了一種將各類可視數(shù)據(jù)轉(zhuǎn)化為統(tǒng)一表示的方法，從而實(shí)現(xiàn)了對生成式模型的大規(guī)模訓(xùn)練;其次，我們對Sora的能力及其局限性進(jìn)行了深入的定性評估。需要注意的是，本報(bào)告并未涉及模型的具體技術(shù)細(xì)節(jié)。

在過去的研究中，許多團(tuán)隊(duì)已經(jīng)嘗試使用遞歸網(wǎng)絡(luò)、生成對抗網(wǎng)絡(luò)、自回歸Transformer和擴(kuò)散模型等各種方法，對視頻數(shù)據(jù)的生成式建模進(jìn)行了深入研究。然而，這些工作通常僅限于較窄類別的視覺數(shù)據(jù)、較短的視頻或固定大小的視頻上。相比之下，Sora作為一款通用的視覺數(shù)據(jù)模型，其卓越之處在于能夠生成跨越不同持續(xù)時(shí)間、縱橫比和分辨率的視頻和圖像，甚至包括生成長達(dá)一分鐘的高清視頻。

將可視數(shù)據(jù)轉(zhuǎn)換成數(shù)據(jù)包(patchs)

在可視數(shù)據(jù)的處理上，我們借鑒了大語言模型的成功經(jīng)驗(yàn)。這些模型通過對互聯(lián)網(wǎng)規(guī)模的數(shù)據(jù)進(jìn)行訓(xùn)練，獲得了強(qiáng)大的通用能力。同樣，我們考慮如何將這種優(yōu)勢引入到可視數(shù)據(jù)的生成式模型中。大語言模型通過token將各種形式的文本代碼、數(shù)學(xué)和自然語言統(tǒng)一起來，而Sora則通過視覺包(patchs)實(shí)現(xiàn)了類似的效果。我們發(fā)現(xiàn)，對于不同類型的視頻和圖像，包是一種高度可擴(kuò)展且有效的表示方式，對于訓(xùn)練生成模型具有重要意義。

圖注：OpenAI專門設(shè)計(jì)的解碼器模型，它可以將生成的潛在表示重新映射回像素空間

在更高層次上，我們首先將視頻壓縮到一個(gè)低維度的潛在空間:這是通過對視頻進(jìn)行時(shí)間和空間上的壓縮實(shí)現(xiàn)的。這個(gè)潛在空間可以看作是一個(gè)“時(shí)空包”的集合，從而將原始視頻轉(zhuǎn)化為這些包。

視頻壓縮網(wǎng)絡(luò)

我們專門訓(xùn)練了一個(gè)網(wǎng)絡(luò)，專門負(fù)責(zé)降低視覺數(shù)據(jù)的維度。這個(gè)網(wǎng)絡(luò)接收原始視頻作為輸入，并輸出經(jīng)過壓縮的潛在表示。Sora模型就是在這個(gè)壓縮后的潛在空間中接受訓(xùn)練，并最終生成視頻。此外，我們還設(shè)計(jì)了一個(gè)解碼器模型，它可以將生成的潛在表示重新映射回像素空間，從而生成可視的視頻或圖像。

時(shí)空包

當(dāng)給定一個(gè)壓縮后的輸入視頻時(shí)，我們會(huì)從中提取出一系列的時(shí)空包，這些包被用作轉(zhuǎn)換token。這一方案不僅適用于視頻，因?yàn)橐曨l本質(zhì)上就是由連續(xù)幀構(gòu)成的，所以圖像也可以看作是單幀的視頻。通過這種基于包的表示方式，Sora能夠跨越不同分辨率、持續(xù)時(shí)間和縱橫比的視頻和圖像進(jìn)行訓(xùn)練。在推理階段，我們只需在適當(dāng)大小的網(wǎng)格中安排隨機(jī)初始化的包，就可以控制生成視頻的大小和分辨率。

用于視頻生成的縮放Transformers

Sora是一個(gè)擴(kuò)散模型，它接受輸入的噪聲包(以及如文本提示等條件性輸入信息)，然后被訓(xùn)練去預(yù)測原始的“干凈”包。重要的是，Sora是一個(gè)基于擴(kuò)散的轉(zhuǎn)換器模型，這種模型已經(jīng)在多個(gè)領(lǐng)域展現(xiàn)了顯著的擴(kuò)展性，包括語言建模、計(jì)算機(jī)視覺以及圖像生成等領(lǐng)域。

圖注：隨著訓(xùn)練量的增加，擴(kuò)散轉(zhuǎn)換器生成的樣本質(zhì)量有了明顯提高

在這項(xiàng)工作中，我們發(fā)現(xiàn)擴(kuò)散轉(zhuǎn)換器在視頻生成領(lǐng)域同樣具有巨大的潛力。我們展示了不同訓(xùn)練階段下，使用相同種子和輸入的視頻樣本對比，結(jié)果證明了隨著訓(xùn)練量的增加，樣本質(zhì)量有著明顯的提高。

豐富的持續(xù)時(shí)間、分辨率與縱橫比

過去，圖像和視頻生成方法常常需要將視頻調(diào)整大小、裁剪或修剪至標(biāo)準(zhǔn)尺寸，如4秒、256x256分辨率的視頻。但Sora打破了這一常規(guī)，它直接在原始大小的數(shù)據(jù)上進(jìn)行訓(xùn)練，從而帶來了諸多優(yōu)勢。

采樣更靈活

Sora具備出色的采樣能力，無論是寬屏1920x1080p視頻、垂直1080x1920視頻，還是介于兩者之間的任何視頻尺寸，它都能輕松應(yīng)對。這意味著Sora可以為各種設(shè)備生成與其原始縱橫比完美匹配的內(nèi)容。更令人驚嘆的是，即使在生成全分辨率內(nèi)容之前，Sora也能以較小的尺寸迅速創(chuàng)建內(nèi)容原型。而所有這一切，都得益于使用相同的模型。