目錄
視訊會議邋遢怎辦？AI 讓正式照片中的你「動起來」當替身！
COVID-19 疫情持續影響我們的工作與生活，視訊會議讓我們的房間取代了原本的會議室，大家也希望自己能在鏡頭前體面的呈現。繪圖晶片大廠 NVIDIA 於去年 10 月在 GPU 技術大會（GTC）上發表了全新雲端的視訊串流平台「Maxine」，整合各種人工智慧輔助功能，能即時美化鏡頭前「太過真實」的畫面、或優化不佳的音訊。
大家都希望在每次的視訊會議中，保持個人最佳狀態。但是辦公室移到家裡後，難免會因剛睡醒、或是小孩、寵物吵鬧等，導致自己蓬頭亂髮，無法在會議平台中顯現出體面的打扮。針對此問題，NVIDIA 研究團隊在 2021 年的 CVPR 會議發表論文中，提出全新的解決方案——Vid2Vid Cameo，如以下影片所示：
Vid2Vid Cameo：AI 讓人像照跟著你擠眉弄眼！
這個區塊包含未預期或無效的內容。解析轉換成 HTML「Vid2Vid Cameo」是新的深度學習模型，利用生成對抗網路 (GAN) ，只需一張使用者的臉部照片以及一段視訊串流內容，就能利用這兩種素材建立出可動的、用於視訊的擬真對話頭像。這意味著我們只需在會議前上傳一張體面、正式的個人照片，平台系統就會自動抓取照片中的幾個關鍵點，開會時AI 模型再抓取個人在鏡頭前的即時動作，再將這些動作套用在先前上傳的靜態圖片上。
如此一來，鏡頭前的你無論是多麼蓬頭垢面，在視訊中都可以如同照片中的你一樣衣冠楚楚的參與會議！也藉著Vid2Vid Cameo 的 AI 把你的臉部動作與即時動作轉移到照片上，你就像是如同照片中體面地參加會議！
Vid2Vid Cameo 的功能如下：
真人視角調整方向
透過 Vid2Vid Cameo，使用者能自由調整所生成的人臉視角，人臉的角度可選側面（上圖左）或正面（上圖右）、或是透過調整攝影機的的角度高低來顯示對話時的頭像視角。
虛擬角色逼真動態
在視訊通話越來越普遍的當下，親和力高的卡通人物有助於緩解網絡社交的壓力。Vid2Vid Cameo 亦可將卡通形象與真人進行即時合成。
AI演算法節省頻寬，保留絕佳視訊通話品質
透過 Vid2Vid Cameo 的新 AI 演算法 ，視訊會議只需傳送用戶的臉部關鍵點的動作資料，接著在所有與會者的視訊中即時模擬出立體頭像即可，而不需像以往的視訊會議中，每個與會者之間都要互相發送龐大的即時視訊串流內容。
這樣的技術可將視訓通話的流量需求減少十倍，讓通話品質更流暢、也不影響視訊畫質。
Vid2Vid Cameo：完美結合 2D 照片與 3D 動態
Vid2Vid Cameo 是 NVIDIA Maxine AI 視訊串流平台背後、以生成對抗網絡（Generative Adversarial Network，GAN）為基礎的深度學習模型之一。
根據相關論文的解釋，該模型在 NVIDIA DGX 系統上使用 18 萬高品質的對話頭像資料集來進行訓練，學習辨識20 個關鍵點（用來建模「臉部表情」與「頭部運動」所必備的關鍵點），以便在沒有人類加以標註的情況下，能針對臉部動作建立模型。關鍵點中，包含針對眼睛、嘴巴、鼻子等特徵位置進行編碼。
下圖展示了 20 個關鍵點當中，前 5 個關鍵點的計算流程，給來源圖像及預測模型來規範關鍵點。
NVIDIA 的研究人員表示：從用戶的參考圖片中抓取這些關鍵點，用戶的參考圖片可事先發給其他的視訊與會者，或是從過往的視訊會議中擷取並重複使用。如此一來，視訊會議平台只需傳送用戶臉部特徵的動作數據，而不需要在每一個與會者間傳送龐大的即時視訊資料。對接收者來說，GAN 模型使用這些資料，在接收端合成一個模擬參考圖片外觀的視訊畫面。
整體來說，NVIDIA 去年推出的「會議神器」Maxine 平台就使用 AI 驅動來實現高解析度、背景噪音消除、眼神校正等功能，讓你不需升級電腦效能也能擁有高品質的視訊會議。近期新推 Maxine 平台的深度學習模型 Vid2Vid Cameo 更讓你體面開會，AI 技術完美掩蓋鏡頭前的蓬頭亂髮！Vid2Vid Cameo 目前已可在 NVIDIA AI Playground 上測試使用，其開發套件也將在不久後推出，讓開發人員可以運用優化後的訓練模型，為視訊、直播串流強化效果。