5

社区内容流量调控系统设计——成本与指标平衡的背后

 3 years ago
source link: https://www.infoq.cn/article/yQqDZ5KmfE5A7bzJCpoh
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

社区内容流量调控系统设计——成本与指标平衡的背后



2021 年 8 月 04 日

社区内容流量调控系统设计——成本与指标平衡的背后

在闲鱼,除了可以进行闲置交易,当你点击第二个 tab“会玩”后,还会发现一个好玩、有趣的内容社区。内容分发作为社区的重要环节,核心目标是实现内容与用户之间的匹配效率最大化,核心指标就是内容的点击率(CTR)和停留时长,这也正是算法推荐模型的优化方向。同时运营在内容分发环节有着各种各样的需求,主要有以下几类:

• 活动运营:对于社会热点、节日氛围和品牌活动相关的内容,运营需要进行提前布局,给予更多流量。

• 社区生态:存量的内容由于历史积累的行为数据更多,更容易被算法推荐,导致流量分发存在马太效应,内容新鲜度不够。同时对于擦边球的内容,虽然 CTR 很高,但是从长期平台生态来看,需要限制其流量。

• 流量扶持:对于核心内容创作者、BD 作者,运营需要进行一定的流量扶持,长期来看可以促进内容供给。

如果单纯依赖推荐算法实现以上需求会带来 2 个问题,一是开发成本高,二是有的运营需求短期会带来核心指标的下降,和算法模型的优化目标是冲突的。因此我们设计了一套流量调控系统,面向运营提供灵活的流量调控能力,在内容分发时打通推荐算法,快速实现运营需求,同时兼顾核心业务指标。

系统整体设计

运营的需求整体可抽象为两类:

1.针对具体内容的流量调控任务,核心是对具体内容,在具体时间、具体分发场景、针对具体目标人群、实现具体的调控目标(曝光量)。

2.基于规则的流量调控,即当特定事件发生时,自动生成流量调控任务。比如当特定等级的创作者发布了特定质量的内容时,我们在一阶段给与一定的曝光量,如果曝光目标完成后,同时 CTR 指标达到一定标准,会再次给予一定的曝光量。

针对上面的需求,我们设计了策略链路动态创建具体调控任务,然后通过调控链路实现调控任务的管理和调度,同时调控链路也支持运营手动创建调控任务。

分发链路则打通了推荐系统,在完成调控任务的同时,尽可能的优化核心指标。

流量数据处理服务负责采集用户的曝光埋点数据,为流量调控模块提供实时的调控任务状态更新,同时沉淀数据资产,供流量洞察分析使用,最终在流量策略中心运营后台为运营提供决策支撑。限于篇幅,这部分内容后续有机会再和大家分享。

具体方案实现

策略事件接入将各种异构的消息事件进行归一化处理,形成标准的策略事件,供后续的各种策略执行器进行订阅。

运营的各种调控策略被抽象为标准的策略处理器(StrategyManager),当监听到策略事件后,策略路由器将其转发给订阅了该事件的策略执行器,策略执行器处理事件,创建相应的调控任务。

调控任务生成后,经过任务调度,实时同步到算法所需的调控内容池(采用图数据库存储),进行后续的内容分发。当内容在指定的分发场景曝光后,数据采集模块会实时采集客户端上报的用户行为日志埋点,进行 3 部分操作:

• 通过处理产生曝光、点击等数据指标并存储。

• 产生干预消息,实时更新调控内容池。

• 判断指标是否达到目标曝光值,产生任务结束消息,结束任务调控。

数据采集需要满足高吞吐、低延时,采用流处理平台实现。

• 召回:推荐系统在收到前台请求的时候,同时从调控内容池(冷启动内容池、保量内容池)以及大盘正常召回链路进行个性化召回,保证即使是调控内容,也和用户兴趣相匹配。

• 排序:推荐系统会通过相关的核心指标预估模型,以及特定类型调控任务(如冷启动)的算法模型,对内容进行排序。投放系统会根据运营设置的优先级,进行排序。

总结和展望

目前实现了运营保量投放能力,以及特定创作者的内容冷启动策略,其中

• 运营手动保量投放调控日新增任务数 30+,调控曝光百万级别。

• 针对特定作者的冷启动调控业务实现了对于优质创作者的流量扶持,极大地激励了创作者积极性,日均发帖量提升 14.4%。

后续针对流量调控系统将进行进一步的能力升级:

• 多目标调控,除曝光量外增加点击,甚至涨粉能力。

• 策略配置化。当前通过代码的方式实现运营策略,后续可实现调控策略配置化,热更新。实现运营策略的 0 代码、SOP 化支持。

本文转载自:闲鱼技术(ID:XYtech_Alibaba)

原文链接:社区内容流量调控系统设计——成本与指标平衡的背后

划线
评论
复制

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK