创建半现实合成多对象视频 Kubric
source link: https://www.oschina.net/p/kubric
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
Kubric 是一个数据生成管道，用于创建具有丰富注释的半现实合成多对象视频，例如实例分割掩码、深度图和光流。
动机和设计
我们需要更好的数据来训练和评估机器学习系统，尤其是在无监督多对象视频理解的背景下。当前系统在玩具数据集上成功，但在现实世界数据上失败。如果我们能够根据需要创建具有不同复杂性的合适数据集，则进展可能会大大加快。Kubric 主要建立在 pybullet（用于物理模拟）和 Blender（用于渲染）之上；但是，代码保持模块化以可能支持不同的渲染后端。
Requirements
- 用于方便地生成视频数据的管道。
- 物理模拟，用于自动生成多个对象之间的物理交互。
- 很好地控制生成数据的复杂性，以便我们可以评估各个方面，例如对象和纹理的可变性。
- 现实主义：理想情况下，能够跨越从 CLEVR 到 YouTube8 等真实视频的整个复杂范围。这显然是不可行的，但我们希望尽可能接近。
- 访问有关场景中对象的丰富地面实况信息以进行评估（例如对象分割和属性）
- 控制训练/测试拆分以评估组合性和系统泛化（例如在特征或对象的保留组合上）
Recommend
-
94
对象的分配 大部分对象都在Heap(堆中进行分配）,Heap空间是共享的内存空间，当多个线程在Heap中为对象分配内存空间时，需要通过加锁的方式进行同步，为了提高对象分配的效率，对象在线程TLAB空间为对象分配内存。对象分配流程图如下： 下面结合Hotspot源码来分析对...
-
69
创建对象当 JVM 收到一个 new 指令时，会检查指令中的参数在常量池是否有这个符号的引用，还会检查该类是否已经被加载过了，如果没有的话则要进行一次类加载。接着就是分配内存了，通常有两种方式：指针碰撞空闲列表使用指针碰撞的前提是堆内存是完全工整的，用过...
-
29
-
13
by zhangxinxu from https://www.zhangxinxu.com/wordpress/?p=9892 本文欢迎分享与聚合，全文转载就不必了，尊重版权，圈子就这么大，若急用可...
-
7
为了批量下载壁纸，学习了爬虫。 学习之后发现，下载之后，还要手动去筛选。我就想了一下能不能把图片合成视频，一秒一张图，根据秒数，确定图片名。 之前已经尝试过了，感觉看的过程很无聊了。于是，我就想着能不能加个音频...
-
4
Kubric A data generation pipeline for creating semi-realistic synthetic multi-object videos with rich annotations such as instance segmentation masks, depth maps, and optical flow.
-
3
高清虚拟人视频合成技术_QCon_InfoQ技术大会_InfoQ精选视频 Sorry, your browser doesn't support embedded videos. 当前播放: 高清虚拟人视频合成技术00:00 / 00:00
-
7
数字化转型：创建现实战略的五种方法-51CTO.COM 数字化转型：创建现实战略的五种方法 作者：Sarah McCasland 2022-06-17 10:44:53
-
4
首页人工智能AI工具Synthesia AI视频制作 合成 视频生成器，可创...
-
8
2023-10-07 03:23 Wayve 升级生成式人工智能模型 GAIA-19B，通过生成合成视频训练自动驾驶 据站长之家 10 月 7 日报道，英国初创公司 Wayve 在 2023 年 6 月发布了 GAIA-1（Generative Artificial Intelligence for Autonomy），一...
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK