目錄
迪士尼近日發表其研究最新「換臉」技術，不但能透過 AI 人工智慧 自動替換照片或影片內的人臉，成像更是突破百萬畫素，研究人員並表示其技術是當前業內最高水準。
雖然目前還無法廣泛應用在電影製作中，但依然是換臉領域的又一突破，並且也逐步規劃登場好萊塢。
迪士尼於自家網頁「迪士尼研究中心 」（Disney Research）上發表一篇文章，公開了與蘇黎世聯邦理工學院（ETH Zurich）研究團隊共同研究的人臉替換技術，能透過神經網絡自動轉換包含影片、照片等圖像中的人臉面孔，解析度可達百萬畫素。
迪士尼「親上火線」研發換臉技術，自然是希望能應用在影視製作上，為觀眾帶來更逼真的畫面、更真實的視覺特效與節省後製成本。
那有望衝擊影視產業、發揮巨大效用的迪士尼換臉 AI 人工智慧 ，實際效果究竟如何呢？
人眼看不出區別 AI 人工智慧 換臉將粉墨登場大螢幕
▲Disney Research 所釋出的官方影片，實際演示 AI 人工智慧 換臉的真實效果。
迪士尼研究中心除了於網站上公開一篇達 16 頁研究報告，亦上傳一支演示影片。
影片可以看到，AI 人工智慧 將下排二位演員的唇部、眼部等局部人臉進行分析，並融合在「目標演員」的面孔上。
從動態影像可以看出融合後的臉部動作非常自然，甚至 AI 人工智慧 能即時隨著口部開閉動作融合，也不會讓觀眾感到違和或不適。研究團隊也強調，比起當前常見的靜態圖像換臉，其技術在動態影像的表現更佳。
並且「擅於局部融合」與「高畫質解析度」這兩項特點搭配十分相得益彰，使得迪士尼的換臉 AI 人工智慧 能極大地擴展了人臉替換在電影中的實際應用。
未來有望能省去繁複的後期製作工作，交給 AI 輕鬆完成。諸如交換替身演員的臉孔、為年齡逐漸增長角色增添皺紋或是重現昔日巨星風采，迪士尼就曾在 2016 年的電影《星際大戰外傳：俠盜一號》（Rogue One: A Star Wars Story）中用特殊技術，讓飾演「塔金總督」的已故演員彼得．庫辛及飾演「莉亞公主」的嘉莉．費雪重返大螢幕。
雖然《俠盜一號》的換臉效果令人驚艷，但迪士尼研究人員指出由於技術尚未成熟，不但成本高昂，而且需耗費數個月的時間才能獲得幾秒鐘的成功換臉畫面。而這次研發的新技術，建構好原始模型後搭配上適宜的運算能力，AI 人工智慧 就能在數小時內製作出換臉的動態影像。
除了生動自然，更重要的是換臉後輸出的成果圖像有百萬級畫素的解析度，而局部臉孔交換在動態影片能清晰的呈現，對電影後製的重要性不言而喻。
過去換臉技術因著重在臉部替換的平滑化，對提高畫素則沒有太多重視，導致解析度過低成為過去換臉技術的硬傷，才會出現如「在手機上效果絕佳的換臉影片，投放在更大的屏幕上呈現，卻看到明顯的顆粒與其他瑕疵」的狀況。
那迪士尼研究人員是怎麼實現「百萬畫素換臉 AI 人工智慧」的呢？
首個百萬畫素換臉方法
研究團隊提出了一個漸進式訓練的梳狀模型（comb model），並配合編碼器進行模型訓練。
- 步驟 1：對原始圖像 xt 進行臉部檢測辨識，並提取關鍵點。
- 步驟 2：將人臉分辨率歸一化（即標準化剪裁）為 1024×1024 像素，並保存歸一化參數
- 步驟 3：將步驟 1、2 預處理好的圖像輸入編碼器中，用相應的解碼器解碼。
- 步驟 4：使用步驟 2 保存的歸一化參數，在圖像「x˜_s」上反轉圖像歸一化結果，將生成的圖像與原始圖像 xt 進行多頻帶混合，得到人臉交換的成果圖像。
而畫素方面，研究團隊表示他們曾使用開源 deepfake 模型 DeepFakeLab，但成果影像的分辨率最高只到 256×256 像素。而研究團隊所採用的漸進式、對原始圖像進行預訓練的方法可從中提取出較高解析度圖像。下圖可看出經過訓練模型，輸出的人臉畫素與效果都優於未經訓練的結果。
迪士尼換臉 AI 有待突破的缺點
儘管研究團隊證明在細節、解析度以及自然度上，迪士尼 AI 人工智慧 都優於其他換臉模型，但團隊也承認他們的技術存在明顯的侷限性。
如「有戴眼鏡的臉」無法穩定進行人臉交換，問題不在於眼鏡部分無法渲染，而是無法恰當捕捉到表情和姿勢。研究人員曾嘗試調整輸入源，但依然無法穩定掌握產出品質。還有，雖然人臉正面直視鏡頭的圖像換臉效果良好，但俯視、仰視或側面等人臉角度與特殊光源下的換臉，可能會導致不完善的生成結果，如模糊和僞影。
不過研究人員補充道，這類問題實際應用於電影場景中影響不大，亦可以經由其他方式解決。
未來當這項 AI 人工智慧 技術更加成熟，得以廣泛應用後，影視作品能有更逼真自然、栩栩如生的特效，對觀眾來說也是一大福音啊！