Google推出影片生成AI VideoPoet 技術突破將成2024新趨勢?

記者/B084020010

Google在2023年底拋出了震撼彈,公開了新的大型AI語言模型 VideoPoet,能夠進行文字轉影片、圖片轉影片、影片風格化、影片轉音訊、擴展影片故事、影片修復等功能,產生直式短影音形式的影片,目前Google Research已公布了各種功能的實際demo畫面,並且將VideoPoet解釋為「用於零鏡頭視訊生成的大型語言模型」 loans-cash.net

在2022~2023年非常流行生成AI圖像、AI繪圖等軟體,也出現了一些能生成影片的AI模型,但VideoPoet的突破之處在於,其可以產生超過10秒的短影音,且可以進行大幅的動作連貫,不像過去的AI模型只能生成斷斷續續的畫面,此外,VideoPoet是使用多模態大模型,多模態大模型融合了視覺、語言及多任務建模的功能,可能會成為未來影片生成AI的主流趨勢。

總結來說,VideoPoet擁有了三大優勢,除了上述提到的能生成較長的影片以外,還可以運用不同的指令(如:使用圖片轉影片功能後,再將用文字補充敘述),進而調整生成效果、變得更加精準,另外,也可以使用運鏡的功能,提升畫面的靈活度。

目前VideoPoet還在研究階段,但Google的研究者表示,未來希望能夠讓此模型實現「any to any」的生成,例如音訊轉影片等。而更多的研究細節與畫面demo也可以至Google Research觀看。

 

分享此新聞: