代码

原文地址

预备知识：

1.什么是对比学习？

1 Introduction

1. 文本上下文和实体提及都是RE的关键因素。实验表明，上下文是支持分类的主要来源，而实体提及也提供了重要的信息，尤其是实体的类型信息。
2. 现有的RE基准数据集可能通过实体提及泄露了一些浅层的线索，导致现有模型的高性能。实验显示，即使只给定实体提及作为输入，模型仍然可以达到高性能，这说明这些数据集中存在一些来自实体提及的有偏的统计线索。

2 Pilot Experiment and Analysis

2.1 Models and Dataset

1. CNN：本文采用了Nguyen和Grishman (2015)提出的 卷积神经网络 ，并参考了Zhang等人(2017)的做法，用词性、命名实体识别和位置嵌入来丰富输入。
2. BERT：本文遵循 Baldini Soares等人(2019)的方法，使用BERT进行RE，用特殊的标记来突显句子中的实体提及，并用实体表示的拼接来进行分类。
3. Matching the blanks (MTB)： MTB (Baldini Soares等人，2019)是一个基于BERT的面向RE的预训练模型。它通过对两个句子是否提及相同的实体对进行分类来进行预训练，其中实体提及被随机地 遮盖 。它和BERT一样，用相同的方式进行RE的微调。由于它没有公开发布，本文自行预训练了一个版本的MTB，并在附录A中给出了细节。

2.2 Experimental Settings

1. 上下文+提及（C+M）：这是最常用的RE设置，其中提供了整个句子（包括上下文和突出显示的实体提及）。为了让模型知道实体提及的位置，本文对CNN模型使用位置嵌入（Zeng et al., 2014），对预训练的BERT使用特殊的实体标记。
2. 上下文+类型（C+T）：本文用TACRED提供的类型替换实体提及。使用特殊的标记来表示它们：例如，使用[person]和[date]来分别表示类型为person和date的实体。不同于Zhang et al. (2017)，本文不会重复特殊标记来匹配实体的长度，以避免泄露实体长度信息。
3. 仅上下文（OnlyC）：为了分析文本上下文对RE的贡献，本文用特殊的标记[SUBJ]和[OBJ]替换所有的实体提及。在这种情况下，实体提及的信息源完全被阻断。
4. 仅提及（OnlyM）：在这种设置下，本文只提供实体提及，丢弃所有其他的文本上下文作为输入。
5. 仅类型（OnlyT）：这与仅提及类似，只不过本文只提供实体类型。

2.3 Result Analysis

1. 文本上下文和实体提及都是关系分类的关键信息源，而实体提及中最重要的信息是它们的类型。如表1所示，OnlyC，OnlyM和OnlyT相比于C+M和C+T都有显著的性能损失，说明单一的信息源是不足以支持正确的预测的，上下文和实体提及都是必不可少的。此外，还可以发现C+T在TACRED上与C+M在BERT和MTB上达到了相近的效果。这表明实体提及中的大部分有用信息是它们的类型信息。
2. 在现有的RE数据集中，实体提及存在一些表面的线索，这可能导致RE模型的过高的性能。在TACRED上发现OnlyM在所有三个模型上都有很高的性能，这种现象在其他数据集中也有体现（见表5）。本文还对OnlyC相比于C+M的性能降低进行了深入的分析，在第2.4节中发现，在一些模型难以理解上下文的情况下，它们会倾向于利用实体提及的浅层启发。这促使本文进一步改进模型在从上下文中提取关系的能力，同时避免它们对实体提及的死记硬背。

2.4 Case Study on TACRED

3 Contrastive Pre-training for RE

3.1 Relational Contrastive Example Generation

这里的知识图谱（KG）是由一些关系事实构成的。从中随机选择两个句子和，它们各自包含了两个实体和。如果有一个关系，使得和都在KG里，就把和称为“邻居”。本文用Wikidata作为KG，因为它和用来预训练的Wikipedia语料库很容易对应起来。在训练过程中，先按照KG里的关系分布来采样一个关系，然后再采样一个和有关的句子对。为了做对比学习，还要随机采样个句子，让它们和组成个负样本对。模型的任务是在所有正负样本中，找出和有相同关系的那个句子。

为了防止在预训练时过度依赖实体提及或仅提取它们的表面特征，本文用特殊符号 [BLANK] 随机替换了一些实体提及。用 表示替换的实体比例，并参考 Baldini Soares 等人 (2019) 的方法设置。注意，预训练时完全遮盖所有实体提及也不合适，因为这会导致预训练和微调之间的不一致，也会使预训练模型无法利用实体提及的信息（比如，学习实体类型）。

用一个例子来说明数据生成过程：在图 2 中，有两个句子“SpaceX was founded in 2002 by Elon Musk”和“As the co-founder of Microsoft, Bill Gates ...””，其中 (SpaceX, founded by, Elon Musk) 和 (Microsoft, founded by, Bill Gates) 都是KG中的关系。本文希望这两个句子能够有相似的表示，体现出 founded by 这个关系。而对于图中右边的另外两个句子，由于它们的实体对之间没有 founded by 这个关系，它们被认为是负样本，应该与左边的句子有不同的表示。在预训练时，每个实体提及都有的概率被替换为 [BLANK]。

3.2 Training Objectives

本文的对比式预训练使用了与 BERT相同的 Transformer 架构。用 ENC 表示 Transformer 编码器，用表示第 i 个位置的输出。对于输入格式，参考了 Baldini Soares等人(2019) 的方法，用特殊的标记来突出实体提及。例如，对于句子“SpaceX was founded by Elon Musk.”，输入序列是““[CLS][E1] SpaceX [/E1] was founded by [E2] Elon Musk [/E2] . [SEP]”。

对比式预训练目标 

如图 2 所示，给定正样本句子对和负样本句子对，首先用 Transformer 编码器得到在中的关系感知表示：

其中和是特殊标记 [E1] 和 [E2] 的位置，表示拼接。有了句子表示，就有了以下的训练目标：

通过优化模型使最小化，本文期望 和 的表示更加接近，最终具有相似关系的句子会有相似的表示。

遮蔽语言建模目标 

为了保持从 BERT 继承的语言理解能力，并避免灾难性遗忘，本文也采用了 BERT 的遮蔽语言建模 (MLM) 目标。MLM 随机地遮蔽输入中的一些词，然后让模型预测被遮蔽的词，从而学习包含丰富语义和句法知识的上下文表示。用表示 MLM 的损失函数。

4 Experiment

4.1 RE Tasks

Supervised RE

这是RE中最广泛采用的设置，其中有一个预定义的关系集合，数据集中的每个句子都表达了中的某个关系。在一些基准测试中，有一种特殊的关系叫做或，表示句子中没有表达给定实体之间的任何关系，或者它们的关系不包含在中。对于有监督的 RE 数据集，本文使用 TACRED，SemEval-2010 Task 8 ，Wiki80和 ChemProt 。表 4 显示了数据集之间的比较。本文还添加了 1% 和 10% 的设置，意味着只使用训练集的 1% / 10% 的数据。这是为了模拟低资源的情况，并观察模型性能在不同的数据集和设置下的变化。注意，ChemProt 只有 4169 个训练实例，这导致了表 5 中 1% ChemProt 的异常结果。在附录 B 中给出了这个问题的详细说明。