基于因果推断的商家经营智能诊断实践

导读 本文主题为基于因果推断的商家经营智能诊断实践。

文章将围绕下面三点展开：

1. 因果推断简述

2. 生意参谋之商家经营智能诊断

3. 关键技术节选

分享嘉宾｜刘春辰，阿里巴巴 高级算法专家

编辑整理｜杨文铸 哈尔滨理工大学

出品社区｜DataFun

---

01/因果推断简述

首先对商家经营智能诊断的基础技术，因果推断，做一个整体的概述。

1.什么是因果推断

近年来，因果推断在学术界和工业界都受到了越来越多的关注，在因果推断基础领域最受关注的两个基本问题为：

• 变量之间是否存在因果关系？如果存在，如何判定谁是因、谁是果？
• 假设已知变量之间存在因果关系，那么原因变量对于结果变量的控制效应是什么？

（1）什么是因果关系

通常来讲，若随机变量T是随机变量Y的原因，则通过干预变量T的取值，目标变量Y的取值或者分布也会随之发生变化。

例如，在市场营销领域，通过对产品的价格进行干预控制，产品的销量也会相应地发生变化，也就是说价格是销量的原因之一。

（2）如何发现因果关系

因果关系发现的黄金准则一般是通过随机控制实验。但实验的成本往往会比较高，特殊情况下可能会出现有悖道德伦理的问题。因此在实践中一般都会在观测数据上进行因果关系的发现以及因果效应的估计。

（3）因果关系与相关关系的辨别

实践过程中因果关系和相关关系是比较容易被混淆的，实际上因果关系和相关关系是完全不同的。变量之间存在因果关系却不一定存在相关关系，而变量之间存在相关关系时也不一定存在因果关系。

比如基于历史数据的统计，可以发现冰淇淋的销量和溺水量之间是相关的，但是他们之间并不存在因果关系，因为冰淇淋的销量和溺水量之间存在一个协变量------温度。当温度升高时，冰淇淋的销量会上升，同时游泳的人数也会增多，相应的溺水量也会增加。由于温度变量的存在使两者之间看似具有相关性，但是当我们干预控制冰淇淋销量时，溺水量也不会发生明显的变化，即两者之间不存在因果关系。

2.因果推断的基础研究

在因果推断的基础研究方向上主要包含两大基础研究分支，分别是潜在结果模型和因果网络模型。

（1）潜在结果模型

潜在结果模型主要研究在原因变量和结果变量已知的前提下，如何定量的评价原因变量对结果变量的因果作用。在这个方向上的代表人物是来自于哈佛大学的Rubin，具体理论可以参考他在2015年发表的著作《Causal Inference for Statistics, Social, and Biomedical Sciences》。

（2）因果网络模型

因果网络模型是一种描述数据产生机制和外部干预的形式化语言，不仅能够进行因果关系的发现和定向，也能够定量的评价因果作用，在这个方向上的代表人物是图灵奖得主Judea Pearl，有兴趣可以了解一下他的著作------《The Book of Why: The New Science of Cause and Effect》。

（3）因果推断延申研究

近年来，很多学者在基础的因果效应和因果网络研究之外，也将因果理论同机器学习中的诸多分支理论相结合产生了很多活跃的研究分支。例如：

• 在归因领域，因果归因致力于如何从海量的数据中发现导致现象事件发生的根因，一些研究中提出将Causal network和博弈论中的Shapley相结合能够更好的发现比较深层次的原因；
• 在Stable Prediction领域专注于如何利用因果不变性提供更鲁棒的预测；
• 将Causality、序列化的控制理论Bandit和强化学习相结合。其中部分学者的研究提出用强化学习的inference框架去实践因果网络的发现；另一部分学者则在研究如何利用先验因果知识加速Bandit或强化学习的最优策略搜索的过程；
• 还有学者研究思考如何利用因果技术助力更精准的推荐等。

02/生意参谋之商家经营智能诊断

这部分内容主要讨论商家经营智能诊断项目的背景、整体系统架构、算法架构。

1.生意参谋智能诊断项目介绍

生意参谋是阿里围绕电商经营打造的全渠道、全链路、一站式的数据平台，也是千万淘系商家做精准店铺运营的主阵地，不仅能够帮助监测生意背后的数据（包括流量来源去向、品类经营、内容、直播效果、服务质量等），也能支持多端进行高效地数据分析。

自2021始，生意参谋发动了智能诊断联动平台策略普惠千万淘系商家的核心项目（即智能诊断项目）。项目的目标是通过智能化的手段服务商家，提升商家的数智化运营能力，使商家能够以更低的人力成本、时间成本，更容易地经营生意。

2.生意参谋智能诊断项目系统架构

（1）生意参谋的产品能力

生意参谋在产品能力层面可以从货品、流量、内容、体验、服务等多角度及时准确地诊断出淘系店铺存在的深层次的、隐匿的经营问题，同时也能及时洞察其存在的生意增长机会，并进一步针对定位的问题和机会点结合平台策略提供给商家行之有效的建议，真正为商家带来生意的增长。

（2）生意参谋的架构层

生意参谋的系统架构底层是基于商家的经营效果数据和经营行为数据，以及基于经营行动点数据构建地行业差异化的商家经营知识图谱；

在知识图谱上层，综合运用了多种AI技术打造了一套自动化的问题发现、问题原因定位、以及问题解决的端到端的通用链路，基于该链路又进一步通过场景化的方式提供符合商家运营习惯的端到端的诊断，实现了从智能诊断、行动优化到最终效果追踪的闭环。例如：

• 本文地址：基于因果推断的商家经营智能诊断实践
• 本文版权归作者和AIQ共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出

• 大促期间，通过提供店铺诊断服务，帮助店铺从大促的预热、蓄水、加购转化等多个角度进行运营优化，使商家真正能够提升大促期间的销售表现；
• 货品诊断板块的单品诊断方向，帮助商家发现商品销量下降背后的人、货、场多方面可能的原因，帮助商家在优化时可以在多端更加灵活的使用服务。

3.生意参谋智能诊断项目算法架构

智能诊断系统的核心是如何构造问题发现、问题分析、问题解决的端到端智能链路。

（1）问题发现

在问题发现环节我们使用了一系列异常检测技术，如时序分解、尖谷异常检测、趋势异常检测等，通过对商家的各种经营效果的时序数据进行实时监控，及时发现店铺经营异常，当诊断到店铺经营异常时会触发问题诊断链路。

（2）问题诊断/分析

• 问题诊断链路首先针对店铺的整体经营指标（如店铺GMV），利用下钻归因技术，定位导致指标异常的问题商品。
• 定位问题商品后，系统触发单品诊断，单品诊断主要分析什么原因导致的单品经营指标的异常以及回答怎么解决。

第一步，使用因果网络发现技术，从单品相关历史观测数据中，自动挖掘单品经营知识图谱，得到相应的因果网络；

第二步，基于知识图谱，利用深度归因技术，定位导致单品经营指标异常的深层次根因；

第三步，对定位到地原因依据问题严重性、商家经营兴趣等因素进行综合排序推荐，使商家从诸多待解决问题中快速聚焦关键问题；

（3）问题解决

综合利用因果效应估计、人群分析、NLP、图像分析、决策优化等技术，自动生成解决目标问题的千品千面的策略。例如怎么进行权益发放、怎么恰当使用营销工具、怎么做主图优化、怎么运营流量等。

除通过算法做以上自动化的最优策略之外，也支持行业内的资深专家将其知识制作成为经验知识卡片提供给商家进行参考。

03/关键技术节选

接下来将选取一些因果推断关键技术进行介绍。

1.混合因果网络发现新技术------HCM

（1）背景介绍

因果网络发现是我们构建知识图谱的利器，因果网络发现本身具有多种方法论体系，例如：

经典的因果贝叶斯网络、结构方程模型、逻辑推理方法、基于DNN/RL方法。

在具体的实践中主要面临两个挑战：

• 如何在混合数据类型上进行因果发现：现实数据场景中一般的数据变量都是混合型的变量，既有的方法一般假设数据类型单一，少数方法考虑混合变量上因果关系发现，但会假设关系线性或规模化受限；
• 大规模因果网络发现：样本规模大，变量维度高。

（2）混合因果网络新模型

针对以上问题，我们首先提出了混合因果网络新模型，该模型基于Causal Markov的假设，将具体的因果关系用DAG结构表示，并证明了模型地可判定性。

（3）混合因果网络新模型技术

在因果模型推理方面，提出了新的推理方法------HCM。具体包含三部分：

• 第一步，从观测数据集上进行因果骨架的学习。提出（条件）独立性检验新方法MRCIT，该方法能够针对混合变量进行高效的非线性（条件）独立性检验。具体来讲是利用了随机傅里叶特征对经典的KCIT进行了优化，显著提升了时效性，将MRCIT和PC-stable算法进行了融合进而进行骨架的学习；
• 第二步，因果DAG发现。具体地，以因果骨架为搜索空间约束，利用基于评分地贪婪搜索算法进行DAG发现。在评分定义方面，提出新的混合信息范式CVMIC用来描述数据分布和DAG结构之间契合程度。
• 第三步，利用MRCIT进一步的剪枝，去除伪边。

第一步地骨架学习是为了提升大规模网络学习地时效性；第二、第三步则是为了结构学习的精准度。

（4）基于HCM的商家经营知识图谱

在智能诊断项目中利用HCM技术进行了多种经营知识图谱挖掘。例如：在大促期间地商家经营知识图谱中，我们挖掘了大量的玩法、活动等大促因子、流量因子、基础运营因子（如主图&标题、价格等）、内容运营因子等与店铺经营指标之间地因果关系。

2.基于因果的深度归因技术

（1）常见归因场景

①波动归因：针对数据指标地异常波动进行原因定位。针对细分场景地不同，又可以分为拆解归因场景和深度归因场景。

• 拆解归因：该场景的特点是每个父节点对应的指标都是由子节点对应指标累加计算而成的，整体波动需要定位到由哪些个体波动造成。例如淘系的支付金额可以拆分成天猫和淘宝的支付金额总和，依此层层拆分；
• 深度归因：每个指标都是样本的自身特征，需要分析特征间的控制特性。比如单品的GMV异动可能是由单品价格、流量、服务、竞品价格等因素的波动造成的，因子之间不具备累加关系。

②异常点归因：主要用于智能运维方向（故障诊断、运维），部分机器出现故障，诊断机器出现故障的原因。

③多触点归因：例如广告归因，如何评估各个广告触点对客户转化的贡献。

（2）深度归因的现有技术问题

①深度归因相关的现有技术问题主要分为两个方向：

• 基于相关性的归因

该类方法归因的时候并不考虑候选原因变量之间相互影响的关系，存在把结果当作原因、定位伪因、效果估计偏差导致的只能定位表层原因等问题。近年来，融合causality和shapley的归因技术，能定位到深层次的原因；

• 基于因果性的归因

（3）深度归因新模型

我们提出了一个新的深度归因模型，其算法框架主要分为四部分：

• 第一，基于异常检测算法识别目标、因子显著波动；
• 第二，利用因果网络技术识别正确的因果Order；
• 第三，提出新的Multi-ATE估计技术，并基于因果Order估计干预变量的波动对目标的影响；
• 最后，基于各因子的Multi-ATE效果估计，计算其对目标波动的贡献度。

04/效果展示

最后来介绍一下生意参谋上线后的产品效果。

目前生意参谋每天有10-20W策略被商家采纳。首页会展示商家的各个经营指标，当有店铺指标异动时，会提示导致波动的具体商品和数据。

当定位到一个具体单品后，会以三段论的形式为商家提示具体的机会或问题点、数据支撑和行动建议。

今天的分享就到这里，谢谢大家。