Chatbot 8: 微软小冰对话机器人架构

Chatbot 8: 微软小冰对话机器人架构

本文基于小冰的这篇文章：“The Design and Implementation of XiaoIce, an Empathetic Social Chatbot, Li Zhou et al., Microsoft, 2018.12”。

小冰的这篇文章是18年12月份放出来的，没有引起很大反响，可能是因为里面没有过多算法细节吧。但这篇文章我倒是非常看重，它把对话机器人的构建思路和小冰的整体结构都讲的非常清楚。基本按照这个流程就可以自己从0开始构建一个“工业级”对话机器人。

虽然已经有一些博客介绍了这篇文章的内容，不过基本都是按照原文结构在翻译。本文希望结合我之前对对话机器人的了解，重构文章的内容，以期更好理解。

小冰的设计理念是让机器人具备 IQ + EQ + Personality的能力。

• IQ就是智商，指能做很多事，有很多技能。

• EQ是情商，主要指对话答复要考虑到对方的情绪和兴趣，也即常说的“会聊天”。用户难过就要安慰鼓励他，高兴就要陪着高兴。

• Personality是指小冰的答复要符合小冰的人设。小冰的人设是可靠、有同情心、有爱心、有幽默感的18岁少女。所以她说的话不能偏离这个人设。

小冰的优化目标是用户长时间段内的session对话轮次：Conversation-turns Per Session (CPS) 。 优化过程会使用增强学习EE策略，探索已知好的策略的同时，也会去尝试未知效果的策略。

• 2014年5月发布

• 使用情况
  • 至2018年5月：使用历史包含了 300亿个qr对
  • 至2018年7月：6.6亿用户

• 小冰已发布了 230 个技能

• 覆盖大概 80 个IoT设备，涉及约 300 个场景

• 最长聊天记录

  

小冰的能力包含两大块：核心闲聊（Core Chat） 和各类技能（Skills）。核心闲聊就是一般的闲聊（开域聊天）。而技能是小冰在某些方面的能力，如天气咨询、讲笑话、看图作诗等等。整个系统结构如下图：

上面的图看不出系统整体流程，所以我又重画了一个：

其中DM是对话管理模块，而IQ则是小冰的各种技能库。DM决定当前query交给IQ中的哪个技能处理，对应的技能产生答复返回给用户。

这个结构和爱因的 DeepBot 架构（见下图）是类似的。都有一个总控（DM vs RouteBot）决定把当前对话分配给哪个（些）技能，技能也都采用了可插拔的设计。

DeepBot架构稍微复杂灵活一些。DeepBot中每次query可以并行由多个技能响应，也可以串行循环被多个技能响应。技能能够更新全局的对话状态，保证对话状态在不同技能之间共用流动。DeepBot流程前面的问题分析模块也会对用户query做更细致的分析。

但小冰的闲聊技能比爱因的闲聊技能（Chitchat-Bot）强大很多。这也是由于小冰和爱因要解决的对话问题截然不同所导致的。

对话管理（Dialogue Manager）

当收到用户的对话信息后，系统会经过一个对话管理的模块，对话管理模块有两个功能：状态追踪模块（Global State Tracker） 更新系统状态 s，对话策略模块（Dialogue Policy） 依据更新后的对话状态来决定接下来的策略 π(s)，也即决定这个信息是交由核心闲聊还是某个技能来回答。激活某个功能后，这个功能也会有自己的对话策略或者流程，来最终决定返回什么信息作为回复。

这是典型的对话管理模块的结构，常在任务型对话机器人中被使用和强调。

对话状态追踪

对话状态 s由四部分组成：s=(Qc,C,eQ,eR)s=(Qc,C,eQ,eR)，其中 CC 表示对话背景，QcQc 是利用 CC 对用户当前用户query QQ 进行改写后的版本。而 eQeQ 存储了用户相关的各种信息，如当前情绪、对话题的观点（兴趣读）、长期的兴趣爱好、个人资料等。eReR 和 eQeQ 有类似的结构，只是存储的是小冰的信息。

作者把计算 s=(Qc,C,eQ,eR)s=(Qc,C,eQ,eR) 的过程，称为同理心计算（Empathetic Computing）。同理心计算包含三个步骤：带背景query理解、用户理解和系统理解，分别对应 QcQc、eQeQ、eReR的产生过程。

带背景query理解（Contextual Query Understanding (CQU)）

CQU利用背景信息 CC 对用户当前消息 QQ 进行改写，得到 QcQc。改写的步骤包括：

1. 实体链接：识别出 QQ 中的实体，并与之前的状态中存储的实体进行链接（就是对上号）。

2. 指代消解：把 QQ 中所有代词替换为它们指代的实体。

3. 句子补全：如果 QQ 不是一个完整的句子，就使用 CC 对它进行补全。

下图是论文中给出的一个示例：

用户理解（User Understanding (UU)）

UU 基于 QcQc 和 CC 产生 eQeQ。eQeQ 是有一系列kv对组成的，其中包括：

• 话题记录了用户当前对话的话题。

• 意图存储的是用户当前对话的动作，如greet，request，inform等。就是任务型对话NLU中的动作（act）。

• 情感记录了用户当前的情绪，如高兴，伤心，生气，中立等。

• 观点存储了用户对当前话题的观点，如正向，负向，中立。

• 如果用户可辨认，可以获取到他的个人资料，如年龄，性别，兴趣，职业等。

下图是论文中给出的一个示例（对应CQU中的示例）：

系统理解（System Understanding (SU)）

SU 就是为了产生 eReR 向量。（原文中不叫这个名字，而是 Interpersonal Response Generation。）

UU完成后，SU就比较简单。有些和UU相同的信息直接从UU拷过来即可，如话题。有些基于小冰的人设，就可以知道，如情感和观点永远是正向的，个人资料也都是设定好固定不变的。

下图是论文中给出的示例（对应CQU和UU中的示例）：

对话策略模块（Dialogue Policy） 依据更新后的对话状态来决定接下来的策略 π(s)，也即决定这个信息是交由哪个功能处理，是核心闲聊还是某个技能。激活某个功能后，这个功能也会有自己的对话策略或者流程，来最终决定返回什么信息作为回复。作者称这个决策过程为分层决策（Hierarchical Dialogue Policy）。

优化过程会使用RL模型和EE策略，探索已知好的策略的同时，也会去尝试未知效果的策略。

本文没提具体细节，但作者之前的一些工作专门在说这个事。除了RL，当然也可以用其他更简单的方法，如启发式规则，单轮分类，或者多轮分类等。

核心闲聊（Core Chat）

核心闲聊（Core Chat）面向开域对话，它还会分为两类：通用闲聊（General Chat）和领域闲聊（Domain Chat）。通用闲聊主要回答一般性的信息，而领域闲聊主要是回答某些带主题的闲聊，例如”你喜欢王菲的歌么“、”全聚德的烤鸭味道怎么样“。

话题管理（Topic Manager）

核心闲聊中有一个重要的模块，叫话题管理模块（Topic Manager） 。话题管理模块包含一个分类模型，来决定小冰是继续当前话题聊下去，还是开启一个新话题。

什么时候该开启新话题？比如小冰发现她没法产生一个有意思的回复信息，或者用户对当前对话感觉无聊了：

• 核心闲聊使用了设定好的处理异常情况的编辑回复。

• 产生的回复信息只是简单重复用户的输入，或者没包含什么新信息量。

• 用户开始给出灌水性的回复，如“嗯”，“哦”，“呵呵”，“知道了”等。

如果要开启一个新话题，系统会从话题库中找出一个新话题。话题库是利用一些高质量的论坛（如Instagram和豆瓣）爬取的数据构建起来的。

选择新话题的流程是典型的 检索 + 排序过程。检索使用当前的对话状态 s，排序使用了boosted tree模型，主要基于以下类型特征：

• 与背景信息的相关性：新话题要与对话背景相关，且还没被使用过。

• 新鲜度：新话题要够新鲜，在当前时间点讨论要比较合适。

• 用户感兴趣：用户要对新话题感兴趣。

• 流行度：网上或者小冰用户中热议的话题。

• 接受度：从历史数据上可以知道小冰用户对此话题的接受度。

利用话题管理模块，对话就可以在通用闲聊和领域闲聊之间切换。通用闲聊和领域闲聊使用了相同的框架，只是数据不同。所以论文中以通用闲聊为例做了具体介绍。

通用闲聊（General Chat）

通用闲聊的整体流程也是 检索 + 排序，流程图如下：

检索主要是产生response候选集，这些候选集再由排序模块进行排序。小冰有三种候选集产生方式，下面分别介绍。

检索

1. Paired-Data based Retriever (PDR)

系统收集了很多 query-response 对，此检索器就是从这些qr对中检索出最相关的一些候选。这些qr对来自两个方面：1) 从网上各种平台（社交网络、论坛、公告栏、新闻评论等）爬取的数据；2) 从小冰的使用日志中挖掘。时至今日，小冰 70%的回复是从她的聊天历史中获得的。

获得的qr对首先用同理心计算模块转化成 (Qc,R,eQ,eR)(Qc,R,eQ,eR) 的形式。然后基于小冰的人设和其他规则过滤掉不合适结果。剩下的qr对就作为知识存入Lucene供线上使用。

线上使用时，QcQc 作为检索输入，然后利用关键词搜索和语义搜索从候选库中检索出 400个最相关的qr对。

PDR产生的response效果很好，但覆盖面比较小。

2. Neural Response Generator (NRG)

NRG使用了标准的GRU-RNN seq2seq框架，训练数据就是上面收集到的qr对。输入上除了使用 QcQc 外，还会使用到 eQeQ和 eReR。先使用以下方式把 eQeQ 和 eReR 合并为 vv：

然后把 vv 注入到解码器的每个时间点。模型结构如下图。

NRG使用 beam search 产生 20 个候选response。

NRG产生的response覆盖面广，但效果较差，生成的response一般会比较短。

3. Unpaired-Data based Retriever (UDR)

除了PDR中从网上爬取的qr对信息，网上有更庞大的unpaired数据。作者从网上的公开演讲和新闻报道的引用（双引号扩起来的那种）中搜集unpaired句子。所以这些句子是谁说的我们是知道的，这样就可以计算 eReR。

然后基于小冰的人设和其他规则过滤掉不合适结果。剩下的数据存入Lucene供线上使用。

和PDR不同的是，UDR中只有候选response数据，而没有对应的候选query数据。所以线上使用光靠用户query QcQc 是无法确定哪些候选response更合适的。q跟r之间需要一个桥梁。作者的解决方案是引入知识图谱（KG）来搭起这座桥。

微软自己有个很大的KG叫Satori，用于对话只需要其中的一部分就好。作者使用PDR中搜集的qr对数据集来进行筛选。如果Satori中的一个三元组 head-relation-tail (h,r,t)(h,r,t) 中的 hh 和 tt 分别在qr对中 q（QcQc）和 r（RR）出现的次数超过指定的阈值，才保留这个三元组。所谓 hh 在 q 中出现，是指 q 中包含了 hh 这个话题。 例如下图是保留KG的一个片段。

线上使用时，小冰会利用前面构建的KG对用户的query QcQc 进行话题扩展，具体步骤如下（以query “Tell me about Beijing”为例）：

1. 识别出 QcQc 中包含的所有话题。本句query中只有“Beijing”一个话题。

2. 对于每个话题，从KG中检索出 20 个最相关的话题。如 “Badaling Great Wall” 和 “Beijing snacks”。最相关是利用 boosted tree 模型排序得到的，模型的训练数据是人为标注的。

3. query中的所有topic和上一步检索出的相关topic一起作为检索输入，从收集的unpaired数据集中检索出 400 个最相关的句子作为候选response。例如：“Beijing’s Badaling Great Wall is best known in the Ming Great Wall, and it can be overlooked from Guanritai.” 和 “When you come to Beijing, you must try authentic Beijing snacks. There are always a few that you like.”。

UDR的候选质量没有PDR好，但加入UDR后话题覆盖面要广很多。UDR的结果也比NRG生成的结果包含更多文字。

排序

PDR、NRG和UDR生成的所有候选response，利用 boosted tree 模型统一进行排序。最终的response是从那些排序分值高于设定阈值的responses中随机选出来的。这样可以保证小冰的结果不会一成不变，更有“人性”。

给定状态 s=(Qc,C,eQ,eR)s=(Qc,C,eQ,eR) ，模型基于以下几类特征为每个 R′R′ 计算一个排序分数：

• 局部凝聚力（Local Cohesion） 特征：R′R′ 要与 QcQc 语义一致。R′R′ 与 QcQc 之间的局部凝聚力分数通过语义匹配模型DSSM计算得到。DSSM的训练数据来自历史对话qr对。

• 全局凝聚力（Global Cohesion） 特征：R′R′ 要与 QcQc、CC 语义一致。R′R′ 与 (Qc,C)(Qc,C) 之间的全局凝聚力分数通过另一个语义匹配模型DSSM计算得到。DSSM的训练数据来自历史对话session。

• 同理心匹配（Empathy Matching） 特征：好的 R′R′ 应当符合小冰的人设。可以把 R′R′ 当作query，(C,Qc)(C,Qc) 作为背景，通过同理心计算模块中的 CQU 和 UU 计算得到$\mathbf{e}{R’}。然后再把。然后再把\mathbf{e}{R’}和我们期望得到的和我们期望得到的\mathbf{e}_{R}$ 进行比较，获得各种比较分数作为特征。

• 检索匹配（Retrieval Matching） 特征：这类特征仅用在 PDR 产生的候选response上。记与候选response R′R′ 对应的q为 Q′Q′。可以利用各种方法计算 QcQc 与 Q′Q′ 的匹配分数，如BM25、Tf-Idf、或者各种意义匹配方法如DSSM等。

排序模型的训练数据是 (s,R)(s,R) 对集合。为每个 (s,R)(s,R) 标注一个 0~2 的分数值。0表示 RR 不相关；1表示还行，可接受；2表示很合适。

编辑回复（Editorial Response）

编辑回复即所谓的异常时兜底回复，或者默认回复。当前面的机制没法产生回复时，编辑回复就会作为最终回复返回给用户。小冰的编辑回复期望能让对话继续下去，所以通常不会用“I don’t know”这种话术，而会更倾向于类似“Hmmm, difficult to say. What do you think?”这种。

对话技能（Skills）

技能又分为这几类： 图片评论（Image Commenting) ，内容创建（Content Creation），互动（Deep Engagement） 和 任务完成（Task Completion）。 到目前为止，小冰已发布了 230 个技能，基本一周发布一个新技能的节奏。

多个技能如果同时被触发，则会有个排序过程，最终把query分给分数最高的技能。排序会用到设定好的技能优先级，技能confidence和session context。

图片评论（Image Commenting)

图片评论指的是用户发了一张图，然后小冰看图回话。整体架构类似通用闲聊，先用检索和生成的方式产生候选response，然后再对候选结果做排序。

图片评论和一般的图片描述略有不同，它需要让结果文字更适合对话场景。从论文中给出的下图可以看成差异。所以它不仅会使用图片中识别出的对象，还会使用图片中展示出的事件、动作、情绪（如竞技、赢）。

Retrieved-based Retriever (RR)

RR 首先从社交网站上收集（图片，评论）对。然后线上一张新图片来了以后，首先把它向量化（CNN等各种模型都行），然后从库中检索出 3 张与之最相似的候选图片，它们对应评论就是候选评论了。

Generator-based Retriever (GR)

GR 基本就是image-to-text的结构，只是会融入对生成结果的情感和形式要求。

Ranker

排序还是用的 boosted tree 模型。和通用闲聊里排序一样，给定状态 s=(Qc,C,eQ,eR)s=(Qc,C,eQ,eR) ，模型为每个 R′R′ 计算一个排序分数。这里的 QcQc 是图片的向量表达。模型使用的特征也类似。

内容创建（Content Creation）

小冰可以和用户一起做一些创造性的事，比如看图写诗、FM频道创建、电子书生成、儿童故事生成等。用户设定好创建条件，由小冰完成创建。

下图是论文中给出的看图写诗流程：

据说小冰已经出了两本诗集。

互动（Deep Engagement）

互动技能主要指小冰和用户一起做情绪或者智力方面的互动。按照一对一、多人互动，和EQ、IQ互动两个方向，可以把各种互动技能放在四个象限，如下：

任务完成（Task Completion）

任务机器人应该用的还是 Frame-based 的经典框架。这块就不再多说，值得提的是，小冰会依据用户画像给出个性化的答复。例如一个美国人问中国面积多大时，答复里的面积单位是平方英里，而中国人问答复里的面积单位是平方公里。

在答复里小冰也会尝试把对话做些延伸。比如调完灯的亮度后，再问一句亮度是否满意；回答完天气后推荐一些用户感兴趣的户外去处。

这篇文章详细介绍了小冰对话机器人的构建思路和整体结构。按照对应流程完全可以从0开始构建一个“工业级”对话机器人。虽然整体框架和爱因的DeepBot相似，但因为解决的目标问题不同而各有取舍。

总结几点我认为比较重要的信息：

1. 对话状态使用了这样的结构：s=(Qc,C,eQ,eR)s=(Qc,C,eQ,eR)。使用同理心计算模块计算对话状态。

2. 使用话题管理模块决定什么时候该切换到新话题，以及切换到哪个新话题。

3. 从互联网公开演讲和新闻报道的引用中搜集unpaird data，作为paired data的补充。

4. 任务机器人依据用户画像给出个性化的答复。

5. 看References，有更详细的资料。

---