30

Google 打造了一个「野生字幕君」,不用联网,还支持所有应用

 5 years ago
source link: http://www.geekpark.net/news/241891?amp%3Butm_medium=referral
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

在刚刚过去的Google I/O 2019上,Google 展示了一项名为 Live Caption(实时字幕)的新功能。它内置在 Android Q 中,可以将手机上播放的音频实时转化为字幕,适用于播客、视频网站、语音消息、本地拍摄视频等场景。

更厉害的是,Live Caption 的处理过程全部都在手机本地完成,不需要上传到云端,既保证了速度,又保证了安全。Live Caption 还有哪些强大之处?这篇文章向你完整介绍。

没网也能用,在本地进行处理

字幕的重要性可能超过了很多人的想象。在一般观众眼里,它是可有可无的选项,而对于听力障碍者,字幕是他们理解内容的重要工具,Live Caption 正是为他们而设计。在此之前,Google 已经在 YouTube 中加入了自动字幕,然而世界上还有很多没有字幕的视频内容,对于听力障碍者来说,它们就像没有声音的默剧。

能不能给手机上的所有音频添加实时字幕?这成为了 Google 的下一个目标。经过多个团队的努力,这个方案终于被实现出来。不过在最初,系统需要将音频上传到云端,然后运行一个 2GB 的机器学习模型,过程耗时又不安全。后来,他们在手机终端实现了相同的处理效果,并且只需要运行一个 80M 的模型,它可以在手机联网时自动更新,然后在没网状态下完全离线运行。

QzuIjaI.gif

Live Caption 的优势主要有三个:第一,完全在本地运行,适用于所有场景;第二,数据不会上传到云端,保证数据安全;第三,内容创作者和应用开发者不需要做任何工作,就可以让用户体验到实时字幕。

系统级的实时字幕,支持所有应用

在 Google 的演示中,Live Caption 可以在直播、视频网站、播客、拍摄的本地视频、社交媒体、语音消息等多种场景下使用。打开方式是点击音量键,点击实时字幕按钮。

ZVvIR3V.png!web

随着音频的播放,画面中央会显示动态的实时字幕,你可以调整字幕条的显示大小,拖动它们到任意位置。更神奇的,即使在静音状态下 Live Caption 也能正常运行。

vAzayiR.gif

虽然 Google 主要强调了 Live Caption 对听力障碍者的作用,但其实它对普通用户也十分有用。在看视频的同时开启字幕,可以更好地理解内容,Google 将这个功能做到了系统底层,就意味着你可以在任何视频中开启字幕。另外在会议和地铁这样的特殊场景,你可以在不开启音频的情况下理解视频内容。

今年晚些时候推出

前几天我们给大家推荐了几个「自动加字幕」的工具,视频创作者可以利用它们来减轻工作负担。不过 Google 的思路显然更加彻底,他们将实时字幕做成了系统级的功能,内容创作者和应用开发者不需要做任何工作,就能让用户随时体验到实时字幕。这个功能集成在 Android Q 中,一旦普及就能方便大量用户。

NZJBFva.gif

目前 Live Caption 还无法在 Android Q 系统中进行体验。Android 团队的 Brian Kemler 透露,它将在今年晚些时候推出。由于对内存和空间有要求,Live Caption 会首先出现在高端的 Android Q 设备上,之后将支持更多设备。

文章参考: VentureBeat


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK