Meta 申请新专利，可在游戏和 VR 应用中实现更逼真的口型同步
source link: http://vr.sina.com.cn/news/hot/2022-09-29/doc-imqqsmrp0964200.shtml
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
新浪VR >
正文页
Meta 申请新专利，可在游戏和 VR 应用中实现更逼真的口型同步
近日，Meta 申请的一项新专利展示了一项技术，该技术可以为电子游戏和 VR 应用带来更逼真的嘴唇同步和面部动画。通过这些更逼真的面部动作创建 NPC 和玩家虚拟化身，为更逼真、引人入胜和沉浸式的游戏和体验打开了大门。
尽管几十年来图形在电子游戏中取得了进步，近年来允许创建近乎逼真的虚拟角色，但为这些角色描绘逼真的语音和面部表情仍然是开发人员面临的挑战。游戏玩家的大脑习惯于看到和阅读其他人的脸，因此即使是电子游戏角色上最好的面部动画也很容易陷入恐怖谷效应，导致角色看起来“不对劲”，甚至完全令人不安。Meta 的专利可以即时生成逼真的嘴唇同步和面部表情，为开发人员节省时间，并提高玩家的沉浸感。
该专利详细介绍了将用户语音转换为逼真的嘴唇同步和面部动画的各种方法，使开发人员能够灵活地选择使用该系统。该专利中概述的一种方法涉及使用多个人的音频和视频记录的数据集，因为他们阅读了 50 个不同的语音平衡句子，系统在阅读每个句子时会跟踪他们的面部表情。通过跟踪个人在阅读每句话时脸部和嘴部的动作，系统可以从这些动作中提取信息，并将它们混合在一起，以逼真地为角色制作动画，甚至包括眨眼和扬眉等微妙的动作。
除了能够基于现有数据集生成面部动画和嘴唇同步外，该专利还描述了该系统如何使用集成到 VR 头显中的摄像头做同样的事情。此功能可以让 VR 用户拥有准确模仿自己面部表情的虚拟化身，从而在多人游戏和 VR Chat 等社交 VR 体验中提供更加沉浸式的体验。
从 Valve 的 Source 引擎使用动画系统来模拟对话的每个音素（构成单词的单个声音）建立面部动作模型，到 Bandi 团队使用 MotionScan 技术通过 32 个高清摄像机系统捕捉《黑色海岸》演员的表演，开发者们始终在努力为游戏创造真实的面孔。Meta 的专利可能预示着这一探索中的巨大技术飞跃，并可能有助于在游戏和 VR 体验中开创一个高质量、逼真的面部动画的新时代。
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK