想知道人工智慧如何拯救超差畫質?今天你來對地方了!
目錄
童年的懷舊動漫和卡通仍相當經典,許多人仍會在網路上重溫過去的美好時光。但是已經習慣 1080p 或甚至 4k 畫質的現代人,看到以前只有 360p 或甚至更低的影片,感覺總有些不舒服。 近日 GitHub 熱門榜上出現一個專為動漫影像而生的畫質修復模型,竟能夠將動漫一秒變高畫質!一起看看到底是什麼黑科技吧!
人工智慧修復,再差的畫質都能秒變高清!
由中國網路影片平台 Bilibili 官方在 Github 上發布的 Real-CUGAN 模型,是結合來自日本的圖片修復降噪神器「Waiuf2x」與騰訊去年推出的一款應用人工智慧放大圖片的「RealESRGAN」發展而來。
「Waiuf2x」出自一位日本的電腦技術高手,原理大概是把二次元圖片縮小再和原圖放在一起,藉由演算法讓模型學會如何放大拉伸圖片。而 「RealESRGAN」則是透過模擬影像由高解析度變低的分辨率的過程,讓模型能夠將一張模糊的圖片倒推出原本高畫質的樣貌。
結合 Waiuf2x、RealESRGAN 的 Real-CUGAN,修圖效果青出於藍?
結合了兩個修圖神器的 Real-CUGAN 模型,效果會更好嗎?
官方便將原動畫畫面及 Waiuf2x、RealESRGAN、Real-CUGAN 三個模型修復出的畫面結果,分別就紋理、線條、畫質、景深分別做比較如下,每張圖從左至右分別是原動畫畫面、Waiuf2x 版、RealESRGAN 版以及 Real-CUGAN 版,這樣的對比圖可以明顯看出各模型的優缺點:
一、材質紋理
首先是紋理挑戰,對於畫面背景中的材質紋理是否能完整保留,圖中以畫面中地板紋理的呈現來做示範。第一關來說,各家的表現結果其實都差不多,但是 RealESRGAN (左三)在圈起來的陰影處沒有處理好地板紋理。
二、線條處理
第二關是線條挑戰,應注意線條中心與邊緣的虛實是否有處理好。在這組對比圖中,Waiuf2x (左二)在清晰度的表現上略遜一籌,而 RealESRGAN (左三)雖看似表現不錯,但若將畫面放大細看,人物嘴巴和下顎處的線條沒有處理好,不是實線。
三、畫質比較
而第三關的超差畫質,則應該注意畫風、雜線等。在這組對比中,可以清楚發現 Waiuf2x (左二)的效果明顯沒有後面兩張的線條清晰;而 RealESRGAN(左三) 雖然清晰,但是角色鬍鬚、耳朵的線條是虛的,背景也有多餘的雜線出現。
四、淺景深效果
最後是景深虛化,圖中以蠟燭為後景,並刻意加入虛化特效,應儘量保留原始版本而不需特別處理。最後一關看似表現都不錯,但若放大細看,RealESRGAN (左三) 將蠟燭周圍線條處理過,而失去原本的淺景深效果。
結論: Real-CUGAN 雖非最清晰,但平均表現最佳
但是綜合以上評比來說,雖然 Real-CUGAN 未必在清晰度表現最突出,不過相對保守的處理讓其他版本出現的紋理或人工智慧處理痕跡過重的問題大幅減少,反而脫穎而出成為平均表現最優秀的選手。
Real-CUGAN 也計劃持續更新,包括提升速度、簡單的 GUI、一步指定解析度功能以及自身優化效果的再升級等等。
雖然還不知道這套系統是否之後會引入 Bilibili 平台,但是現在已發佈在 Github 供下載使用,而 Waiuf2x 的程式碼也提供有興趣的大家參考。藉著人工智慧技術,大家未來都有機會以高清畫質觀看童年經典懷舊動畫了!
|推薦閱讀:特效不夠人工智慧來湊!迪士尼換臉 AI 達百萬畫素
本文轉載自科技報橘(原標題:【好想看高畫質小當家】AI 修復懷舊動漫超渣畫質,開發者還在 Github 佛心公開程式碼),僅反映專家作者意見,不代表本站立場。
責任編輯/Ruthy
延伸閱讀:
以色列新創Deepdub推人工智慧電影配音,自動切換各國語言零違和!
FLoC取代cookie追蹤惹議,Google再推Topics API 是否真能保障用戶隱私?
留言列表