Sora最近很火爆，AI視頻生成讓行業(yè)內(nèi)發(fā)生了很大變動(dòng)，對(duì)于Sora已經(jīng)有不少業(yè)內(nèi)的大佬開始激烈探討，想要了解Sora到底懂不懂物理世界，那么大家可以看看下方游戲鳥小編帶來的最新資訊，方便大家更好的了解哦。

Sora到底懂不懂物理世界

Sora 到底是不是物理引擎甚至世界模型?圖靈獎(jiǎng)得主 Yann LeCun、Keras 之父 Francois Chollet 等人正在深入探討。

最近幾天，OpenAI 發(fā)布的視頻生成模型 Sora 成了全世界關(guān)注的焦點(diǎn)。

【關(guān)注機(jī)器之心視頻號(hào)，第一時(shí)間看到有趣的 AI 內(nèi)容】

和以往只能生成幾秒鐘視頻的模型不同，Sora 把生成視頻的長(zhǎng)度一下子拉長(zhǎng)到 60 秒。而且，它不僅能了解用戶在 Prompt 中提出的要求，還能 get 到人、物在物理世界中的存在方式。

以經(jīng)典的「海盜船在咖啡杯中纏斗」為例。為了讓生成效果看起來逼真，Sora 需要克服以下幾個(gè)物理難點(diǎn)：

規(guī)模和比例的適應(yīng)：將海盜船縮小到能夠在咖啡杯中纏斗的尺寸，同時(shí)保持它們的細(xì)節(jié)和結(jié)構(gòu)，是一個(gè)挑戰(zhàn)。AI 需要理解和調(diào)整這些對(duì)象在現(xiàn)實(shí)生活中的相對(duì)尺寸，使得場(chǎng)景在視覺上顯得合理;

流體動(dòng)力學(xué)：咖啡杯中的液體會(huì)對(duì)海盜船的運(yùn)動(dòng)產(chǎn)生影響。AI 模型需要模擬液體動(dòng)力學(xué)的效果，包括波浪、濺水和船只移動(dòng)時(shí)液體的流動(dòng)，這在計(jì)算上是復(fù)雜的;

光線和陰影的處理：為了使場(chǎng)景看起來真實(shí)，AI 需要精確地模擬光線如何照射在這個(gè)小型場(chǎng)景中，包括咖啡的反光、船只的陰影，以及可能的透光效果;

動(dòng)畫和運(yùn)動(dòng)的真實(shí)性：海盜船的運(yùn)動(dòng)需要符合真實(shí)世界的物理規(guī)律，即使它們被縮小到咖啡杯中。這意味著 AI 需要考慮到重力、浮力、碰撞以及船體結(jié)構(gòu)在動(dòng)態(tài)環(huán)境中的行為。

雖然生成效果還有些瑕疵，但我們能明顯感覺到，Sora 似乎是懂一些「物理」的。英偉達(dá)高級(jí)研究科學(xué)家 Jim Fan 甚至斷言，「Sora 是一個(gè)數(shù)據(jù)驅(qū)動(dòng)的物理引擎」，「是一個(gè)可學(xué)習(xí)的模擬器，或『世界模型』」。

部分研究者同意這樣的觀點(diǎn)，但也有不少人反對(duì)。

Yann LeCun：生成視頻的過程與基于世界模型的因果預(yù)測(cè)完全不同

圖靈獎(jiǎng)得主 Yann LeCun 率先亮明觀點(diǎn)。在他看來，僅僅根據(jù) prompt 生成逼真視頻并不能代表一個(gè)模型理解了物理世界，生成視頻的過程與基于世界模型的因果預(yù)測(cè)完全不同。

他接著講到，模型生成逼真視頻的空間非常大，視頻生成系統(tǒng)只需要產(chǎn)生一個(gè)合理的示例就算成功。不過對(duì)于一個(gè)真實(shí)視頻而言，其合理的后續(xù)延續(xù)空間卻非常小，生成這些延續(xù)的代表性片段，特別是在特定行動(dòng)條件下，任務(wù)難度更大。此外生成視頻的后續(xù)內(nèi)容不僅成本高昂，實(shí)際上也毫無意義。

因此，Yann LeCun 認(rèn)為，更理想的做法是生成視頻后續(xù)內(nèi)容的抽象表達(dá)，并消除與我們可能所采取動(dòng)作無關(guān)的場(chǎng)景中的細(xì)節(jié)。

當(dāng)然，他借此又 PR 了一波 JEPA(Joint Embedding Predictive Architecture，聯(lián)合嵌入預(yù)測(cè)架構(gòu))，認(rèn)為上述做法正是它的核心思想。JEPA 不是生成式的，而是在表示空間中進(jìn)行預(yù)測(cè)。與重建像素的生成式架構(gòu)(如變分自編碼器)、掩碼自編碼器、去噪自編碼器相比，聯(lián)合嵌入架構(gòu)(如 Meta 前幾天推出的 AI 視頻模型 V-JEPA)可以產(chǎn)生更優(yōu)秀的視覺輸入表達(dá)。