玩转多种应用场景，快手 MMU 分享秘籍

✏️ 编者按：

短视频的兴起见证了一场信息革命。图文时代逐渐过渡到多媒体时代，对视频的理解和搜索已成为当下的关键技术。作为国民级短视频 App 的 AI 中台，快手 MMU（Multimedia understanding 多媒体内容理解）团队是如何在多种应用场景下应对自如的？Milvus 社区有幸邀请到了来自快手 MMU 的研发工程师余晋，与大家分享 Milvus 在快手中的应用。

🌟 嘉宾简介：余晋，快手多媒体内容理解工程师，负责引擎架构、大规模向量计算，毕业于北京大学，喜欢读书与慢跑。

完整视频请戳：https://www.bilibili.com/vide...

MMUMMR1.0：基于 Milvus 数据库的向量近似计算平台

快手 MMU 是负责快手短视频搜索系统以及视频理解的 AI 中台，业务覆盖 OCR，ASR，分词，NER 等基础 AI 算法；短视频分类，标签体系建设等中台技术；以及短视频搜索等系统服务。在该 AI 中台中，向量计算起到了至关重要的作用。

快手 MMU 团队需要处理许多与向量计算相关的应用场景：相似视频检索、视频合规检索、原创视频检测、商品检测……在接触 Milvus 之前，团队使用的是自研向量检索系统，但实现方式比较复杂，维护成本高，系统可用性一般，亟需一款高性能、易接入且高稳定性的向量数据库供各个业务方使用。

经过一系列的产品调研，快手 MMU 团队最终选择了社区活跃、稳定与性能兼备的 Milvus 作为 AI 中台，搭建包括 AI 模型、数据分析工具、ANNS 等平台。目前已经实现的场景包含千亿级的视频检索、十亿级的商品检索，后续也会有更多场景逐步迁徙至 Milvus 搭建的 ANNS 平台。

基于 Milvus 1.1 的 MMUMMR 1.0 架构如上图所示，其中，向量数据存储计算是基于 Milvus 的数据分片和归并管理。Milvus 数据库支持云原生分布式架构，具有存储计算分离，写入、构建、分布计算、查询分离的特点，流批一体、弹性伸缩。
（Milvus 2.0 也在前不久和大家见面了，一起来看看 Milvus 2.0 有哪些新功能吧！）

冠军方案分析：当我们讨论向量计算的时候，我们在讨论什么

快手团队在前不久举办的国际首届向量检索大赛中获得了赛道第一的好成绩。该赛道要求参赛队伍针对 6 个十亿规模的数据集中的至少三个，达到在 10000 QPS 以上性能的同时，相对基准方案 Faiss 的 IVFPQ 方法尽可能提高召回率。快手团队的方案针对 IVFPQ 方法进行了全方面的优化，在四个数据集上都比 baseline 高 5% - 10%。

关于国际首届向量检索比赛的更多信息，欢迎参考：产学研用跨界对话，向量数据库研讨会回顾

向量近似计算 API 介绍和应用

Milvus 数据库提供一整套简单直观的 API。MMUMMR 1.0 的 Collection 索引库就使用了 create、drop、count、stat 等 Milvus 原生 API，实现最近三天的冷启视频特征召回、最近 90 天的近期热门视频特征召回等自动生命周期管理类业务应用。
Milvus Collection API 地址是：https://milvus.io/api-referen...

此外，MMUMMR 1.0 还在视频查重、视频生成物料检索、商品 SKU 识别、平行语料建设等业务中采用高精度 KNN 检索；在视频商品检索和视频检索等场景中采用属性检索；在视频封面去重业务中采用 ADBKmeans 聚类的方法，具体实践详见视频 👇

https://www.bilibili.com/vide...