讓臉書 CEO 祖克柏熱血沸騰的「元宇宙」(Metaverse)新虛擬世界,目前是以有限的形式存在,我們只要戴上 VR 眼鏡便可抵達!祖克柏日前更將 Facebook 母公司改名 「Meta」,展現將「元宇宙」深入現實世界的野心!緊跟著「元宇宙」的腳步,祖克柏在十一月宣布:自家公司研發了新的觸覺感測器「ReSkin」,質感如真人皮膚,可安裝在 AI 機器人身上、收集人工智慧的觸覺資料。
Google 使用上述的 AIST 資料庫,訓練 FACT 模型從音樂生成 3D 舞蹈。該模型先使用動作轉換器與音頻轉換器,分別對一段音樂與一個短的(2 秒)種子動作(seed motion)進行編碼。之後再將嵌入碼連接、發送到跨模型轉換器,該轉換器學習兩種模型之間的對應關係,並生成 N 個未來的動作序列。 然後使用這些序列以自我監督的方式訓練模型。在測試時,Google 將此模型用於自回歸框架,其中所預測的動作則作為下一個生成步驟的輸入。因此,FACT 模型能夠一個框架接著一個框架地,生成長時間的舞蹈動作。
Google 正進行一項人工智慧研究,開發稱為「FACT (Full-Attention Cross-modal Transformer)」的模型,可以模仿、理解舞蹈動作,甚至可提高個人的編舞能力。Google 研究團隊為了訓練該模型,也隨之發布一個大規模、多模態的 3D 舞蹈動作資料庫「AIST++」,包含長達 5.2 小時的 1408 個 3D 舞蹈動作序列,涵蓋 10 種舞蹈類型。都包含了已知相機位置的多視角影片,可生成逼真流暢的 3D 舞蹈動作。