什麼時候Google推出夜視功能在 Pixel 3 上,這是一個啟示。 

就好像有人真的打開了你的低光照片中的燈。以前不可能的拍攝變得可能——無需三腳架或頭燈閃光燈。

五年後,在黑暗中拍照已經過時了——幾乎所有價位上下的手機都配備了某種夜間模式。然而,影片則是另一回事。靜態照片的夜間模式會捕獲多個幀以創建一個更明亮的圖像,並且無法將該功能的機制複製並貼上到影片中,而影片本質上是已經一系列圖像。最近看來,答案是求助於人工智慧。

Pixel 8 Pro 今年秋天推出時,Google宣布了一項名為「夜視影片增強」的功能,該功能將在未來的軟體更新中推出。它使用人工智慧來處理您的影片 - 呈現更多細節並增強色彩,這對於低光剪輯特別有用。但有一個問題:此處理發生在 Google 伺服器的雲端,而不是在您的手機上。

正如承諾的那樣,視訊增強功能在幾週前隨著 12 月的 Pixel 更新開始出現在設備上,包括我的 Pixel 8 Pro 評測設備。而且這很好!但這並不是初代夜視儀的分水嶺時刻。這既說明了夜視功能首次亮相時的令人印象深刻,也說明了影片對智慧型手機相機系統帶來的特殊挑戰。

影片增強的工作原理如下:首先,也是最重要的一點,您需要擁有 Pixel 8專業版,不是普通的 Pixel 8 - Google 尚未回答我的問題。當您想要使用它時,您可以在相機設定中將其打開,然後開始錄製影片。完成後,需要將影片自動或手動備份到您的 Google 相簿帳戶。然後你等著。等待。在某些情況下,請繼續等待 - Video Boost 適用於長達十分鐘的視頻,但即使是長度只有幾分鐘的剪輯也可能需要幾個小時才能處理。

根據您錄製的影片類型,這種等待可能值得也可能不值得。Google 的支援文件據稱,它的設計目的是讓您在任何照明條件下「在 Pixel 手機上以更高的品質、更好的照明、色彩和細節製作影片」。但是主要的Video Boost 的目的是提供更好的低光視訊效果,這是集團產品經理 Isaac Reynolds 告訴我的。– 將其視為夜視視頻,因為對其他演算法的所有調整都是為了追求夜視。 

當您嘗試在非常低的光線下錄製影片時,所有使我們的影片在良好照明下看起來更好的過程(穩定、色調映射)都會停止工作。雷諾茲解釋說,即使種類在低光影片中獲得的模糊程度是不同的。– OIS [光學影像穩定] 可以穩定幀,但只能穩定一定的長度。– 當您開始在低光源下行走時,使用那麼長的幀,您可能會得到一種特殊類型的幀內模糊,這正是 OIS 可以補償的殘差。複雜。 

這一切都有助於解釋我在自己的影片增強剪輯中看到的內容。在良好的照明條件下,我看不出有多大區別。有些顏色更流行一點,但我沒有看到任何東西會迫使我在光線充足的情況下經常使用它。在極為低光視訊增強可以恢復標準視訊剪輯中完全丟失的一些顏色和細節。但這並不像相同條件下的普通照片和夜視照片之間的差異那麼明顯。

不過,在這些極端之間存在一個真正的最佳點,我可以看到視頻增強確實派上用場。在一個片段中,我在黃昏時沿著小路走入黑暗的涼棚容納科比貝爾,Boost 後的陰影細節和穩定性有了顯著改善。我在常規的中低室內照明中使用視訊增強功能越多,我就越能看到它的作用。你開始看到標準影片在這些條件下看起來是多麼的褪色——就像我兒子在餐廳地板上玩卡車一樣。打開視頻增強恢復了一些我忘記了的活力。 

視訊增強僅限於 Pixel 8 Pro 的後置主相機,並以 4K(預設)或 1080p、30 fps 進行錄製。使用視訊增強會產生兩個剪輯,其中一個是尚未增強且可立即共享的初始「預覽」文件,最後是第二個「增強後」文件。但在幕後,還有更多的事情發生。 

雷諾茲向我解釋說,Video Boost 使用完全不同的處理管道,可以保存更多捕獲的圖像數據,而這些數據在錄製標準視頻文件時通常會被丟棄,有點像以下關係: RAW 和 JPEG 文件。臨時文件會在您的裝置上保存此訊息,直到將其發送到雲端為止;之後,它就會被刪除。這是一件好事,因為臨時檔案可能很大 - 對於較長的剪輯來說可能有幾 GB。然而,最終的增強影片的大小更加合理——我錄製的三分鐘剪輯為 513MB,而臨時檔案為 6GB。 

我對 Video Boost 的最初反應是,它似乎是一個權宜之計——現在需要雲端才能運行的功能演示,但將來會移動到設備上。高通展示了類似內容的裝置版本就在今年秋天,所以這一定是結局,對吧?雷諾茲說,他並不是這麼想的。“在雲端中可以做的事情總是比在手機上可以做的事情更令人印象深刻。” 

手機功能和雲端伺服器功能之間的差異將逐漸消失

舉個例子:他說,目前 Pixel 手機在裝置上運行 Google HDR Plus 模型的各種較小的最佳化版本。但谷歌在過去十年中為其 Pixel 手機開發的完整「父級」HDR Plus 模型太大,無法在任何手機上實際運行。設備上的人工智慧功能將隨著時間的推移而提高,因此很可能一些只能在雲端完成的事情將轉移到我們的裝置上。但同樣,雲端中的可能性也將改變。Reynolds 表示,他認為雲端只是 Tensor 功能的「另一個組成部分」。

從這個意義上說,視訊增強未來一瞥——這只是手機上的人工智慧與雲端的人工智慧攜手合作的未來。更多功能將由設備內和設備外人工智慧的組合,您的手機可以做什麼和雲端伺服器可以做什麼之間的差異將逐漸消失。這很難說是夜視那樣的「啊哈」時刻,但它仍然將是我們對手機功能的看法的重大轉變。