Google宣布開發基於人工智慧的下一代文字視訊生成器 Lumiere

2024-01-26 15:20:52

谷歌研究院的人工智慧研究人員團隊開發了一種名為 Lumiere 的下一代基於人工智慧的文字到視訊產生器。該小組發表了一篇論文，描述了他們在 arXiv 預印本伺服器上所做的努力。

Google announces the development of Lumiere, an AI based next-generation text-to-video generator — Lumiere 產生的範例結果，包括文字到影片產生（第一行）、圖像到影片（第二行）、樣式引用產生和影片修復（第三行；邊界框表示修復蒙版區域）。信用：*arXiv*（2024）。DOI：10.48550/arxiv.2401.12945

谷歌研究院的人工智慧研究人員團隊開發了一種名為 Lumiere 的下一代基於人工智慧的文字到視訊產生器。集團有發表一篇描述他們的努力的論文arXiv預印本伺服器。

在過去的幾年裡，人工智慧應用程式已經從研究實驗室轉移到了廣大的用戶社群——例如，ChatGPT 等法學碩士已經與瀏覽器集成，允許用戶以前所未有的方式生成文字。

最近，文字到圖像生成器允許用戶創建超現實的圖像。文字到視訊產生器允許用戶僅使用幾個單字即可生成短視訊剪輯。在這項新的努力中，Google團隊將最後一個類別提升到了新的高度，宣布推出一款名為「文字轉影片」的生成器盧米埃爾。

Lumiere 很可能以早期攝影設備先驅盧米埃爾兄弟的名字命名，它允許用戶輸入一個簡單的句子，例如“兩隻浣熊一起閱讀”，然後返回一個完整的視頻，顯示兩隻浣熊正在這樣做，而且它確實做到了以令人驚嘆的高解析度。新的生成器透過創建更好看的結果，代表了文字到視訊生成器開發的下一步。

谷歌將新型發電機背後的技術描述為「突破性的時空 U-Net 架構」。它旨在在單一模型通道中生成動畫影片。

示範影片顯示，Google新增了額外的功能，例如允許使用者透過突出顯示影片的一部分並輸入指令（例如「將衣服顏色變更為紅色」）來編輯現有影片。生成器還產生不同類型的結果，例如風格化，其中創建主題的風格而不是全彩表示。它還允許子樣式，例如不同的樣式引用。它還具有電影圖像功能，用戶可以突出顯示部分或全部靜止圖像並使其動畫化。

谷歌在其聲明中沒有具體說明他們是否計劃向公眾發布或分發 Lumiere，這可能是因為可能創建違反版權法的影片可能會產生明顯的法律後果。

更多資訊：Omer Bar-Tal 等人，Lumiere：用於視訊生成的時空擴散模型，arXiv（2024）。DOI：10.48550/arxiv.2401.12945

lumiere-video.github.io/

期刊資訊： arXiv

引文:Google宣布開發基於人工智慧的下一代文字到視訊生成器 Lumiere（2024 年，1 月 26 日）檢索日期：2024 年 1 月 26 日取自 https://techxplore.com/news/2024-01-google-lumiere-ai-based- Generation.html

本文檔受版權保護。除了出於私人學習或研究目的的任何公平交易外，不得未經書面許可，不得複製部分內容。所提供的內容僅供參考。