2

OPPO发布最新AI技术,仅需几部手机,便可生成一个能熟练舞蹈的“数字分身”

 2 years ago
source link: https://mobile.zol.com.cn/800/8001739.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

OPPO发布最新AI技术,仅需几部手机,便可生成一个能熟练舞蹈的“数字分身”

2022-08-25 16:12:59   [  中关村在线 原创  ]   作者:木积木
ChMkK2MHLdiIZySOAAVSSqete5YAAG0rQDFBmoABVJi128.png

当前,现实物理世界与虚拟数字世界从未如此特别地连接、发展着。很多人都梦想过上科幻电影演绎的生活——自由地在两个平行空间穿梭,运用虚拟化身学习、工作、娱乐,开启无限可能的第二人生。

OPPO正在将这样的“数字分身”自由从理想照进现实。通过自研结构化局部辐射场动态角色建模方法,OPPO在业界首次实现了自动为宽松着装人体创建动态数字孪生体的工作。AI算法仅通过分析手机摄像头拍摄的RGB视频,即可自动创建用户的“三维化身”,还原动态细节。

高效、便捷、易得,“数字分身”不再遥不可及

不穿戴全套动作捕捉设备,还要低成本、高效率、高质量的驱动虚拟世界的人物行为,是一件非常复杂且精细的事情。在操作层面,OPPO简化了三维人体采集、扫描、修复等步骤的门槛,同时大大提升了真实性和便捷性。来到OPPO数字分身实验室,模特只需在室内中央站好,舒展姿态,让几部OPPO Find X5 Pro手机进行多角度的拍摄,便可以完成人体形态的初步记录和数据收集,为更逼真的数字分身的生成打下基础。

ChMkK2MHLdiIZySOAAVSSqete5YAAG0rQDFBmoABVJi128.png

仅需几部OPPO Find X5 Pro手机,便可以完成对模特人体形态的初步记录和数据收集

与普遍使用2D图片重建的方式不同,视频录制完成后,AI模型通过计算手机摄像头拍摄的RGB数据,可以自动生成3D人体模型,克服传统方法导致的重建误差。

ChMkLGMHLd-IewCDAAONstXnV-8AAG0rQEbHA4AA43K380.png

AI模型通过计算手机摄像头拍摄的RGB数据,可以自动生成3D人体模型

为了进一步打造数字世界的舞蹈明星,OPPO找到专业舞者,通过对他的动态捕捉,预先锚定其舞动时的骨骼状态为节点,从而构建一组结构化的局部辐射场。

ChMkK2MHLeKINYKWAAKeJQAIf-sAAG0rQEjrDkAAp49195.png

OPPO通过捕捉专业舞者的骨骼动态,构建一组结构化的局部辐射场

局部辐射场可以模拟其相应节点周围局部空间内的形状和外观,并根据身体姿态和服装样式的动态细节进行变化。值得一提的是,算法可以用残差运动(residual movements)更好体现出舞蹈时衣裙摆动的细微变化。基于此模型逻辑,神经网络可以掌握多样的舞种动作,让舞蹈梦想触手可及。未来,模型也可以不断学习,支撑更多应用场景,引领人们去亲身经历各种超越想象力的互动体验。

舞者的舞蹈姿势经过编码和渲染,仅需几小时,一个迈着酷炫流行舞步的“数字分身”最终生成。当音乐响起,孪生体化身与真实舞者同台“斗舞”,运动节拍准确、利落,脚步灵动,长裙也随着随舞步变化而轻微起伏、摇曳,与现实中的舞者别无二致。

ChMkLGMHLemIAbsMAAKDrkDsyVYAAG0rQEteDMAAoPG193.png

仅需几小时,一个能熟练舞蹈的人体“数字分身”便可最终生成

立体、逼真、灵动,OPPO AI的全面突破

这一系列有趣画面的背后,是OPPO通过改进 NeRF(Neural Radiance Fields)创新的结构化局部辐射场动态角色建模方法。

传统的创建3D建模方法在观察和分离人体姿态与衣物形变之间面临着很大困难。在神经场景渲染技术的支持下,OPPO突破性地将传统NeRF模型分解为一组结构化的局部辐射场(structured local radiance fields),由身体骨架驱动,动态细节嵌入作为条件,提供了一种泛化性能更加的方案。

摒除了常见的全局规范场,局部辐射场表示方法可以更为细致的从粗到细分为三个层次:第一层是骨架运动;第二层是残差运动;第三层是时间变化细节,通过分层处理避免反向蒙皮的缺点,解决模糊性问题。由此一来,算法不仅在学习衣物logo、褶皱、层次和织物纹理等细节方面表现得更好,而且即使面对“未知”的场景,也能准确生成。不久的将来,每个人都有机会创造自己的全动画数字孪生体,在数字世界表达另一个自我。

一直以来,OPPO致力于通过技术创新为美好生活注入更多灵感。在OPPO数字分身实验室,我们将继续进行基础研究与应用,赋能千行万业。在健康领域,用户的数字分身可以还原肢体动作,帮助用户直观看到自己的动作形态与准确度,实现AI智能识别纠错和指导,甚至可以提前创造出拥有完美身材的“自己”,让居家健身更沉浸、更有趣;游戏动画设计师的创作灵感同样能与数字分身碰撞出新的火花,未来游戏或将基于真实人物动态进行塑造,从2D平面到3D立体,打造活灵活现的“真人化”原创角色;数字人作为虚拟世界的身份入场券,下一代XR融合场景、AR/VR世界中跨越时空的在线生活,也值得期待。

OPPO相信,数字分身将进一步协助人类社会发展,在娱乐、时尚、通信等领域开启前所未有的体验,激发创造活力,开启更智慧、更多可能的未来。


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK