2
VP视频结构化框架 - 周见智
source link: https://www.cnblogs.com/xiaozhi_5638/p/16520710.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
VP视频结构化框架
完成多路视频并行接入、解码、多级推理、结构化数据分析、上报、编码推流等过程，插件式/pipe式编程风格，功能上类似英伟达的deepstream和华为的mxvision，但底层核心不依赖复杂难懂的gstreamer框架（少部分地方需要），框架主干部分主要使用原生C++ STL实现，目标是平台高可移植性。框架可用于：视频结构化、以图搜图、目标行为分析等应用领域。
- 视频接入，支持file/rtsp/udp/rtmp等主流视频流协议；
- 多级推理，自带检测/分类/特征提取等推理插件。默认使用opencv.dnn实现，可基于其他类似tensorrt、甚至原生的pytorch/tensorflow扩展新的推理插件；
- 目标跟踪，自带基于iou的跟踪插件，可基于其他算法扩展新的跟踪插件；
- 行为分析，自带若干行为分析插件，比如目标跨线、拥堵/目标聚集判断；
- 图像叠加，结构化数据和视频融合显示；
- 消息推送，自带基于kafka的消息推送插件，可基于其他消息中间件扩展新的插件；
- 录像/截图，自带截图/录像插件；
- 编码输出，支持file/screen/rtmp/rtsp等主流方式输出编码结果；
- 可视化调试，自带pipe可视化功能，可在界面实时显示pipe的运行状态，如pipe中各个环节的fps/缓存队列大小，以及计算pipe起/止插件之间的时间延时，帮助程序员快速定位性能瓶颈位置；
- 插件与插件之间默认采用“smart pointer”传递数据，数据从头到尾，只需创建一次，不存在拷贝操作。当然，可根据需要设置“深拷贝”方式在插件之间传递数据；
- pipe中各通道视频的fps、分辨率、编码方式、来源均可不同，并且可单独暂停某一通道；
- pipe中可传递的数据只有两种，一种frame_meta数据、一种control_meta数据，结构清晰明了；
- 插件组合方式自由，在满足客观逻辑的前提下，可合并、可拆分，根据需要设计不同的pipe结构。同时自带pipe结构检查功能，识别出不合规的pipe结构；
- pipe支持各种hook，外部通过hook可以实时获取pipe的运行情况（第1点就是基于该特性实现）；
- 基于指定基类，所有自带插件全部可自定义重新实现；
- 框架主干代码完全基于原生C++ STL实现，跨平台编译部署简单。
- 2022/7/22：已完成主干框架开发，预估占总体进度的1/3。等基本完成后开源，有兴趣的朋友可以关注。
下面第一张图显示pipe构建过程，第二张图自动显示pipe结构、并实时刷新pipe运行状态：
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK