用bert4keras做三元组抽取

在开发 bert4keras 的时候就承诺过，会逐渐将之前 用keras-bert实现的例子 逐渐迁移到bert4keras来，而那里其中一个例子便是三元组抽取的任务。现在 bert4keras的例子 已经颇为丰富了，但还没有序列标注和信息抽取相关的任务，而三元组抽取正好是这样的一个任务，因此就补充上去了。

基于Bert的三元组抽取模型结构示意图

关于数据格式和模型的基本思路，在 《基于DGCNN和概率图的轻量级信息抽取模型》 一文中已经详细介绍过了，在此不再重复。数据集百度已经公开了，在 这里 就可以下载。

跟之前的策略一样，模型依然是基于“半指针-半标注”的方式来做抽取，顺序是先抽取s，然后传入s来抽取o、p，不同的只是将模型的整体架构换成了bert：

1、原始序列转id后，传入bert的编码器，得到编码序列；
2、编码序列接两个二分类器，预测s；
3、根据传入的s，从编码序列中抽取出s的首和尾对应的编码向量；
4、以s的编码向量作为条件，对编码序列做一次条件Layer Norm；
5、条件Layer Norm后的序列来预测该s对应的o、p。

Github： task_relation_extraction.py

在没有任何前处理和后处理的情况下，最终在验证集上的f1为0.822，基本上比之前的DGCNN模型都要好。注意这是没有任何前后处理的，如果加上一些前后处理，估计可以f1达到0.83。

同时，我们可以发现训练集和验证集的标注有不少错漏之处，而当初我们做比赛的时候，线上测试集的标注质量比训练集和验证集都要高（更规范、更完整），所以当时提交测试的f1基本上要比线下验证集的f1高4%～5%，也就是说，加上一些规则修正后，这个结果如果提交到当时的排行榜上，单模型估计有0.87的f1。

开头已经提到了，之前用keras-bert就写过一个用bert来抽三元组的 例子 了，而这里主要谈谈本文模型跟之前的例子不同之处以及一些值得注意的地方。

第一个不同之处是，当时仅仅是简单的尝试，所以仅仅是将s的向量加到编码序列中，然后做o、p的预测，而不是像本文一样用到条件Layer Norm；条件Layer Norm的方案有更好的表达能力，效果略微有提升。

第二个不同之处，也是值得留意的地方，就是本文的模型用的是标准的bert的tokenizer，而之前的例子是直接按字切分。标准的tokenizer出来的序列，并不是简单地按字切分的，尤其是函数英文和数字的情况下，输出的分词结果跟原始序列的字并非对齐的，所以在构建训练样本和输出结果时，都要格外留意这一点。

读者可能会疑问：那为什么不用回原来的按字切分的方式呢？笔者觉得，既然用了bert，应该按照bert的tokenizer，就算不对齐其实也有办法处理好的；而之前的按字切分，只是笔者当时还不够熟悉bert所导致的不规范用法，是不值得提倡的；遵循bert的tokenizer，还有可能比自己强行按字切分获得更好的finetune效果。

此外，笔者还发现一个有点意外的事实，就是中文bert所带的字表（vocab.txt）是不全的，比如“符箓”的“箓”字就不在bert的vocab.txt里边，所以要输出最终结果的时候，最后别用tokenizer自带的decode方法，而是直接对应到原始序列，在原始序列中切片输出。

最后，这一版模型的训练还加入了权重滑动平均，它可以稳定模型的训练，甚至能轻微提升模型的效果。关于权重滑动平均的相关介绍，可以参考这里。

本文给出了用bert4keras来做三元组抽取的一个例子，并且指出了一些值得注意的事情，欢迎大家参考试用。

转载到请包括本文地址： https://kexue.fm/archives/7161

更详细的转载事宜请参考： 《科学空间FAQ》