词向量 (Word Embeddings)

范叶亮 / 2018-10-01

分类: 深度学习, 表示学习, 自然语言处理 / 标签: 词向量, 维数灾难, Curse of Dimensionality, Word Embedding, N-gram, Word2Vec, CBOW, Skip-gram, GloVe, fastText, WordRank, cw2vec / 字数: 9611

文本表示是计算机处理自然语言的核心，我们希望计算机能够同人类一样对自然语言能够实现语义层面的理解，但这并非易事。在中文和拉丁语系中，文本的直观表示就存在一定的差异，拉丁语系中词与词之间存在天然的分隔符，而中文则没有。

I can eat glass, it doesn’t hurt me.
我能吞下玻璃而不伤身体。

所以，在处理中文之前我们往往需要对原始文本进行分词，在此我们不谈这部分工作，假设我们已经得到了分词完的文本，即我们后续需要处理的“词”。早期的词表示方法多采用独热编码 (One-Hot Encoding)，对于每一个不同的词都使用一个单独的向量进行表示。对于一个包含 n 个词的语料而言，一个词的向量表示 wordi∈{0,1}n 仅在第 i 的位置值为 1，其他位置的值均为 0。例如，我们可以将“父亲”表示为：

[1,0,0,0,0,0,...]

One-Hot Encoding 的表示方法十分简洁，但也存在着一些问题。

维数灾难 (The Curse of Dimensionality)

在很多现实问题中，我们仅用少数的特征是很难利用一个线性模型将数据区分开来的，也就是线性不可分问题。一个有效的方法是利用核函数实现一个非线性变换，将非线性问题转化成线性问题，通过求解变换后的线性问题进而求解原来的非线性问题。

假设 X 是输入空间（欧式空间 Rn 的子集或离散结合），H 为特征空间（希尔伯特空间），若存在一个从 X 到 H 的映射：

(1)ϕ(x):X→H

使得对所有 x,z∈X ，函数 K(x,z) 满足条件：

(2)K(x,z)=ϕ(x)⋅ϕ(z)

则 K(x,z) 为核函数， ϕ(x) 为映射函数，其中 ϕ(x)⋅ϕ(z) 为 ϕ(x) 和 ϕ(z) 的内积。

例如，对于一个下图所示的二维数据，显然是线性不可分的。

构建一个映射 ϕ:R2→R3 经 X 映射为： x=x2,y=y2,z=y ，则通过变换后的数据通过可视化可以明显地看出，数据是可以通过一个超平面来分开的。

可以说随着维度的增加，我们更有可能找到一个超平面（线性模型）将数据划分开来。尽管看起来，随着维度的增加似乎有助于我们构建模型，但是同时数据在高维空间的分布变得越来越稀疏。因此，在构建机器学习模型时，当我们需要更好的覆盖数据的分布时，我们需要的数据量就更大，这也就会导致需要更多的时间去训练模型。例如，假设所有特征均为0到1之间连续分布的数据，针对1维的情况，当覆盖50%的数据时，仅需全体50%的样本即可；针对2维的情况，当覆盖50%的数据时，则需全体71% ( 0.712≈0.5 ) 的样本；针对3维的情况，当覆盖50%的数据时，则需全体79% ( 0.793≈0.5 )，这就是我们所说的维数灾难。

分散式表示 (Distributed Representations)

分散式表示（Distributed Representations）1 最早由 Hiton 提出，对比于传统的 One-Hot Representation ，Distributed Representations 可以将数据表示为低维，稠密，连续的向量，也就是说将原始空间中的潜在信息分散的表示在低维空间的不同维度上。

传统的 One-Hot Representation 会将数据表示成一个很长的向量，例如，在 NLP 中，利用 One-Hot Representation 表示一个单词：

父亲: [1, 0, 0, 0, 0, 0, ...]
爸爸: [0, 1, 0, 0, 0, 0, ...]
母亲: [0, 0, 1, 0, 0, 0, ...]
妈妈: [0, 0, 0, 1, 0, 0, ...]

这种表示形式很简介，但也很稀疏，相当于语料库中有多少个词，则表示空间的维度就需要多少。那么，对于传统的聚类算法，高斯混合模型，最邻近算法，决策树或高斯 SVM 需要 O(N) 个参数 (或 O(N) 个样本) 将能够将 O(N) 的输入区分开来。而像 RBMs ，稀疏编码，Auto-Encoder 或多层神经网络则可以利用 O(N) 个参数表示 O(2k) 的输入，其中 k≤N 为稀疏表示中非零元素的个数 2。

采用 Distributed Representation，则可以将单词表示为：

父亲: [0.12, 0.34, 0.65, ...]
爸爸: [0.11, 0.33, 0.58, ...]
母亲: [0.34, 0.98, 0.67, ...]
妈妈: [0.29, 0.92, 0.66, ...]

利用这种表示，我们不仅可以将稀疏的高维空间转换为稠密的低维空间，同时我们还能学习出文本间的语义相似性来，例如实例中的 父亲 和 爸爸，从语义上看其均表示 父亲 的含义，但是如果利用 One-Hot Representation 编码则 父亲 与 爸爸 的距离同其与 母亲 或 妈妈 的距离时相同的，而利用 Distributed Representation 编码，则 父亲 同 爸爸 之间的距离要远小于其同 母亲 或 妈妈 之间的距离。

Word Embedding 之路

N-gram 模型

N-gram (N 元语法) 是一种文本表示方法，指文中连续出现的 n 个词语。N-gram 模型是基于 n−1 阶马尔科夫链的一种概率语言模型，可以通过前 n−1 个词对第 n 个词进行预测。Bengio 等人 3 提出了一个三层的神经网络的概率语言模型，其网络结构如下图所示：

模型的最下面为前 n−1 个词 wt−n+1,...,wt−2,wt−1，每个词 wi 通过查表的方式同输入层对应的词向量 C(wi) 相连。词表 C 为一个 |V|×m 大小的矩阵，其中 |V| 表示语料中词的数量，m 表示词向量的维度。输入层则为前 n−1 个词向量拼接成的向量 x，其维度为 m(n−1)×1。隐含层直接利用 d+Hx 计算得到，其中 H 为隐含层的权重，d 为隐含层的偏置。输出层共包含 |V| 个神经元，每个神经元 yi 表示下一个词为第 i 个词的未归一化的 log 概率，即：

(3)y=b+Wx+Utanh⁡(d+Hx)

对于该问题，我们的优化目标为最大化如下的 log 似然函数：

(4)L=1T∑tf(wt,wt−1,...,wt−n+1)+R(θ)

其中，f(wt,wt−1,...,wt−n+1) 为利用前 n−1 个词预测当前词 wt 的条件概率，R(θ) 为参数的正则项，θ=(b,d,W,U,H,C)。C 作为模型的参数之一，随着模型的训练不断优化，在模型训练完毕后，C 中保存的即为词向量。

Continuous Bag-of-Words (CBOW) 和 Skip-gram 模型

CBOW 和 Skip-gram 均考虑一个词的上下文信息，两种模型的结构如下图所示：

两者在给定的上下文信息中 (即前后各 m 个词) 忽略了上下文环境的序列信息，CBOW (上图左) 是利用上下文环境中的词预测当前的词，而 Skip-gram (上图右) 则是用当前词预测上下文中的词。

对于 CBOW，x1k,x2k,...,xCk 为上下文词的 One-Hot 表示，WV×N 为所有词向量构成的矩阵 (词汇表)，yj 为利用上下文信息预测得到的当前词的 One-Hot 表示输出，其中 C 为上下文词汇的数量，V 为词汇表中词的总数量，N 为词向量的维度。从输入层到隐含层，我们对输入层词对应的词向量进行简单的加和，即：

(5)hi=∑c=1CxckWV×N

对于 Skip-gram，xk 为当前词的 One-Hot 表示，WV×N 为所有词向量构成的矩阵 (词汇表)，y1j,y2j,...,yCj 为预测的上次文词汇的 One-Hot 表示输出。从输入层到隐含层，直接将 One-Hot 的输入向量转换为词向量表示即可。

除此之外两者还有一些其他的区别：

1. CBOW 要比 Skip-gram 模型训练快。从模型中我们不难发现：从隐含层到输出层，CBOW 仅需要计算一个损失，而 Skip-gram 则需要计算 C 个损失再进行平均进行参数优化。
2. Skip-gram 在小数量的数据集上效果更好，同时对于生僻词的表示效果更好。CBOW 在从输入层到隐含层时，对输入的词向量进行了平均 (可以理解为进行了平滑处理)，因此对于生僻词，平滑后则容易被模型所忽视。

Word2Vec

Mikolov 等人 4 利用上面介绍的 CBOW 和 Skip-gram 两种模型提出了经典的 Word2Vec 算法。Word2Vec 中针对 CBOW 和 Skip-gram 又提出了两种具体的实现方案 Hierarchical Softmax (层次 Softmax) 和 Negative Sampling (负采样)，因此共有 4 种不同的模型。

• 基于 Hierarchical Softmax 的模型

基于 Hierarchical Softmax 的 CBOW 模型如下：

1. 输入层：包含了 C 个词的词向量，v(w1),v(w2),...,v(wC)∈RN，N 为词向量的维度。
2. 投影层：将输入层的向量进行加和，即：xw=∑i=1Cv(wi)∈RN。
3. 输出层：输出为一颗二叉树，是根据语料构建出来的 Huffman 树 5，其中每个叶子节点为词汇表中的一个词。

Hierarchical Softmax 是解决概率语言模型中计算效率的关键，CBOW 模型去掉了隐含层，同时将输出层改为了 Huffman 树。对于该模型的优化求解，我们首先引入一些符号，对于 Huffman 树的一个叶子节点 (即词汇表中的词 w)，记：

• pw：从根节点出发到达 w 对应的叶子节点的路径。
• lw：路径 pw 包含的节点的个数。
• p1w,p1w,...,plww：路径 pw 中的 lw 个节点，其中 p1w 表示根节点，plww 表示词 w 对应的叶子节点。
• d2w,d3w,...,dlww∈{0,1}：词 w 的 Huffman 编码，由 lw−1 位编码构成，djw 表示路径 pw 中第 j 个结点对应的编码。
• θ1w,θ1w,...,θlw−1w∈RN：路径 pw 中非叶子节点对应的向量，θjw 表示路径 pw 中第 j 个非叶子节点对应的向量。

首先我们需要根据向量 xw 和 Huffman 树定义条件概率 p(w|Context(w))。我们可以将其视为一系列的二分类问题，在到达对应的叶子节点的过程中，经过的每一个非叶子节点均为对应一个取值为 0 或 1 的 Huffman 编码。因此，我们可以将编码为 1 的节点定义为负类，将编码为 0 的节点定义为正类 (即分到左边为负类，分到右边为正类)，则这条路径上对应的标签为：

(6)Label(piw)=1−diw,i=2,3,...,lw

则对于一个节点被分为正类的概率为 σ(xw⊤θ)，被分为负类的概率为 1−σ(xw⊤θ)。则条件概率可以表示为：

(7)p(w|Context(w))=∏j=2lwp(djw|xw,θj−1w)

(8)p(djw|xw,θj−1w)={σ(xw⊤θ)djw=01−σ(xw⊤θ)djw=1

或表示为：

(9)p(djw|xw,θj−1w)=[σ(xw⊤θj−1)]1−djw⋅[1−σ(xw⊤θj−1)]djw

则对数似然函数为：

(10)L=∑w∈Clog⁡∏j=2lw{[σ(xw⊤θj−1)]1−djw⋅[1−σ(xw⊤θj−1)]djw}=∑w∈C∑j=2lw{(1−djw)⋅log⁡[σ(xw⊤θj−1w)]+djw⋅log⁡[1−σ(xw⊤θj−1w)]}

记上式花括号中的内容为 L(w,j)，则 L(w,j) 关于 θj−1w 的梯度为：

(11)∂L(w,j)∂θj−1w=∂∂θj−1w{(1−djw)⋅log⁡[σ(xw⊤θj−1w)]+djw⋅log⁡[1−σ(xw⊤θj−1w)]}=(1−djw)[1−σ(xw⊤θj−1w)]xw−djwσ(xw⊤θj−1w)xw={(1−djw)[1−σ(xw⊤θj−1w)]−djwσ(xw⊤θj−1w)}xw=[1−djw−σ(xw⊤θj−1w)]xw

则 θj−1w 的更新方式为：

(12)θj−1w←θj−1w+η[1−djw−σ(xw⊤θj−1w)]xw

同理可得，L(w,j) 关于 xw 的梯度为：

(13)∂L(w,j)∂xw=[1−djw−σ(xw⊤θj−1w)]θj−1w

但 xw 为上下文词汇向量的加和，Word2Vec 的做法是将梯度贡献到上下文中的每个词向量上，即：

(14)v(u)←v(u)+η∑j=2lw∂L(w,j)∂xw,u∈Context(w)

基于 Hierarchical Softmax 的 CBOW 模型的随机梯度上升算法伪代码如下：

\begin{algorithm}
\caption{基于 Hierarchical Softmax 的 CBOW 随机梯度上升算法}
\begin{algorithmic}
\STATE $\mathbf{e} = 0$
\STATE $\mathbf{x}_w = \sum_{u \in Context \left(w\right)}{\mathbf{v} \left(u\right)}$
\FOR{$j = 2, 3, ..., l^w$}
    \STATE $q = \sigma \left(\mathbf{x}_w^{\top} \theta_{j-1}^w\right)$
    \STATE $g = \eta \left(1 - d_j^w - q\right)$
    \STATE $\mathbf{e} \gets \mathbf{e} + g \theta_{j-1}^w$
    \STATE $\theta_{j-1}^w \gets \theta_{j-1}^w + g \mathbf{x}_w$
\ENDFOR
\FOR{$u \in Context \left(w\right)$}
    \STATE $\mathbf{v} \left(u\right) \gets \mathbf{v} \left(u\right) + \mathbf{e}$
\ENDFOR
\end{algorithmic}
\end{algorithm}

基于 Hierarchical Softmax 的 Skip-gram 模型如下：

对于 Skip-gram 模型，是利用当前词 w 对上下文 Context(w) 中的词进行预测，则条件概率为：

(15)p(Context(w)|w)=∏u∈Context(w)p(u|w)

类似于 CBOW 模型的思想，有：

(16)p(u|w)=∏j=2lup(dju|v(w),θj−1u)

(17)p(dju|v(w),θj−1u)=[σ(v(w)⊤θj−1u)]1−dju⋅[1−σ(v(w)⊤θj−1u)]dju

可得对数似然函数为：

(18)L=∑w∈Clog⁡∏u∈Context(w)∏j=2lu{[σ(v(w)⊤θj−1u)]1−dju⋅[1−σ(v(w)⊤θj−1u)]dju}=∑w∈C∑u∈Context(w)∑j=2lu{(1−dju)⋅log⁡[σ(v(w)⊤θj−1u)]+dju⋅log⁡[1−σ(v(w)⊤θj−1u)]}

记上式花括号中的内容为 L(w,u,j)，在 L(w,u,j) 关于 θj−1u 的梯度为：

(19)∂L(w,u,j)∂θj−1u=∂∂θj−1u{(1−dju)⋅log⁡[σ(v(w)⊤θj−1u)]+dju⋅log⁡[1−σ(v(w)⊤θj−1u)]}=(1−dju)⋅[1−σ(v(w)⊤θj−1u)]v(w)−djuσ(v(w)⊤θj−1u)v(w)={(1−dju)⋅[1−σ(v(w)⊤θj−1u)]−djuσ(v(w)⊤θj−1u)}v(w)=[1−dju−σ(v(w)⊤θj−1u)]v(w)

则 θj−1u 的更新方式为：

(20)θj−1u←θj−1u+η[1−dju−σ(v(w)⊤θj−1u)]v(w)

同理可得，L(w,u,j) 关于 v(w) 的梯度为：

(21)∂L(w,u,j)∂v(w)=[1−dju−σ(v(w)⊤θj−1u)]θj−1u

则 v(w) 的更新方式为：

(22)v(w)←v(w)+η∑u∈Context(w)∑j=2lu∂L(w,u,j)∂v(w)

基于 Hierarchical Softmax 的 Skip-gram 模型的随机梯度上升算法伪代码如下：

\begin{algorithm}
\caption{基于 Hierarchical Softmax 的 Skig-gram 随机梯度上升算法}
\begin{algorithmic}
\STATE $\mathbf{e} = 0$
\FOR{$u \in Context \left(w\right)$}
    \FOR{$j = 2, 3, ..., l^u$}
        \STATE $q = \sigma \left(\mathbf{x}_w^{\top} \theta_{j-1}^u\right)$
        \STATE $g = \eta \left(1 - d_j^u - q\right)$
        \STATE $\mathbf{e} \gets \mathbf{e} + g \theta_{j-1}^u$
        \STATE $\theta_{j-1}^u \gets \theta_{j-1}^u + g \mathbf{v} \left(w\right)$
    \ENDFOR
\ENDFOR
\STATE $\mathbf{v} \left(w\right) \gets \mathbf{v} \left(w\right) + \mathbf{e}$
\end{algorithmic}
\end{algorithm}

• 基于 Negative Sampling 的模型

基于 Negative Sampling (NEG) 的模型相比于基于 Hierarchical Softmax 的模型不再使用复杂的 Huffman 树，而是使用简单的随机负采样，从而大幅的提高了模型的性能。

基于 Negative Sampling 的 CBOW 模型如下：

对于基于 Negative Sampling CBOW 模型，已知词 w 的上下文 Context(w)，预测词 w，则词 w 即为一个正样本，其他词则为负样本。对于一个给定 Context(w) 的负样本集合 NEG(w)≠∅，词典中的任意词 ∀w~∈D，其样本的标签定义为：

(23)Lw(w~)={1,w~=w0,w~≠w

则对于一个正样本 (Context,(w))，我们希望最大化：

(24)g(w)=∏u∈{w}∪NEG(w)p(u|Context(w))

或表示为：

(25)p(u|Context(w))=[σ(xw⊤θu)]Lw(w)⋅[1−σ(xw⊤θu)]1−Lw(w)

即增大正样本概率的同时减少负样本的概率。对于一个给定的语料库 C，对数似然函数为：

(26)L=∑w∈Clog⁡g(w)=∑w∈Clog⁡∏u∈{w}∪NEG(w){[σ(xw⊤θu)]Lw(u)⋅[1−σ(xw⊤θu)]1−Lw(u)}=∑w∈C∑u∈{w}∪NEG(w){Lw(u)⋅log⁡[σ(xw⊤θu)]+[1−Lw(u)]⋅log⁡[1−σ(xw⊤θu)]}

记上式花括号中的内容为 L(w,u)，则 L(w,u) 关于 θu 的梯度为：

(27)∂L(w,u)∂θu=∂∂θu{Lw(u)⋅log⁡[σ(xw⊤θu)]+[1−Lw(u)]⋅log⁡[1−σ(xw⊤θu)]}=Lw(u)[1−σ(ww⊤θu)]xw−[1−Lw(u)]σ(xw⊤θu)xw={Lw(u)[1−σ(ww⊤θu)]−[1−Lw(u)]σ(xw⊤θu)}xw=[Lw(u)−σ(ww⊤θu)]xw

则 θu 的更新方式为：

(28)θu←θu+η[Lw(u)−σ(ww⊤θu)]xw

同理可得，L(w,u) 关于 xw 的梯度为：

(29)∂L(w,u)∂xw=[Lw(u)−σ(ww⊤θu)]θu

则 v(w~),w~∈Context(w) 的更新方式为：

(30)v(w~)←v(w~)+η∑u∈{w}∪NEG(w)∂L(w,u)∂xw,w~∈Context(w)

基于 Negative Sampling 的 CBOW 模型的随机梯度上升算法伪代码如下：

\begin{algorithm}
\caption{基于 Negative Sampling 的 CBOW 随机梯度上升算法}
\begin{algorithmic}
\STATE $\mathbf{e} = 0$
\STATE $\mathbf{x}_w = \sum_{u \in Context \left(w\right)}{\mathbf{v} \left(u\right)}$
\FOR{$u \in Context \left\{w\right\} \cup NEG \left(w\right)$}
    \STATE $q = \sigma \left(\mathbf{x}_w^{\top} \theta^u\right)$
    \STATE $g = \eta \left(L^w \left(u\right) - q\right)$
    \STATE $\mathbf{e} \gets \mathbf{e} + g \theta^u$
    \STATE $\theta^u \gets \theta^u + g \mathbf{x}_w$
\ENDFOR
\FOR{$u \in Context \left(w\right)$}
    \STATE $\mathbf{v} \left(u\right) \gets \mathbf{v} \left(u\right) + \mathbf{e}$
\ENDFOR
\end{algorithmic}
\end{algorithm}

基于 Negative Sampling 的 Skip-gram 模型如下：

对于 Skip-gram 模型，利用当前词 w 对上下文 Context(w) 中的词进行预测，则对于一个正样本 (Context,(w))，我们希望最大化：

(31)g(w)=∏w~∈Context(w)∏u∈{w}∪NEGw~(w)p(u|w~)

其中，NEGw~(w) 为处理词 w~ 时生成的负样本集合，且：

(32)p(u|w~)={σ(v(w~)⊤θu)Lw(u)=11−σ(v(w~)⊤θu)Lw(u)=0

或表示为：

(33)p(u|w~)=[σ(v(w~)⊤θu)]Lw(u)⋅[1−σ(v(w~)⊤θu)]1−Lw(u)

对于一个给定的语料库 C，对数似然函数为：

(34)L=∑w∈Clog⁡g(w)=∑w∈Clog⁡∏w~∈Context(w)∏u∈{w}∪NEGw~(w){[σ(v(w~)⊤θu)]Lw(u)⋅[1−σ(v(w~)⊤θu)]1−Lw(u)}=∑w∈C∑w~∈Context(w)∑u∈{w}∪NEGw~(w){Lw(u)⋅log⁡[σ(v(w~)⊤θu)]+[1−Lw(u)]⋅log⁡[1−σ(v(w~)⊤θu)]}

记上式花括号中的内容为 L(w,w~,u)，则 L(w,w~,u) 关于 θu 的梯度为：

(35)∂L(w,w~,u)∂θu=∂∂θu{Lw(u)⋅log⁡[σ(v(w~)⊤θu)]+[1−Lw(u)]⋅log⁡[1−σ(v(w~)⊤θu)]}=Lw(u)[1−σ(v(w~)⊤θu)]v(w~)−[1−Lw(u)]σ(v(w~)⊤θu)v(w~)={Lw(u)[1−σ(v(w~)⊤θu)]−[1−Lw(u)]σ(v(w~)⊤θu)}v(w~)=[Lw(u)−σ(v(w~)⊤θu)]v(w~)

则 θu 的更新方式为：

(36)θu←θu+η[Lw(u)−σ(v(w~)⊤θu)]v(w~)

同理可得，L(w,w~,u) 关于 v(w~) 的梯度为：

(37)∂L(w,w~,u)∂v(w~)=[Lw(u)−σ(v(w~)⊤θu)]θu

则 v(w~) 的更新方式为：

(38)v(w~)←v(w~)+η∑u∈{w}∪NEGw~(w)∂L(w,w~,u)∂v(w~)

基于 Negative Sampling 的 Skig-gram 模型的随机梯度上升算法伪代码如下：

\begin{algorithm}
\caption{基于 Negative Sampling 的 Skig-gram 随机梯度上升算法}
\begin{algorithmic}
\STATE $\mathbf{e} = 0$
\FOR{$\tilde{w} \in Context \left(w\right)$}
    \FOR{$u \in \left\{w\right\} \cup NEG^{\tilde{w}} \left(w\right)$}
        \STATE $q = \sigma \left(\mathbf{v} \left(\tilde{w}\right)^{\top} \theta^u\right)$
        \STATE $g = \eta \left(L^w \left(u\right) - q\right)$
        \STATE $\mathbf{e} \gets \mathbf{e} + g \theta^u$
        \STATE $\theta^u \gets \theta^u + g \mathbf{v} \left(\tilde{w}\right)$
    \ENDFOR
\ENDFOR
\STATE $\mathbf{v} \left(\tilde{w}\right) \gets \mathbf{v} \left(\tilde{w}\right) + \mathbf{e}$
\end{algorithmic}
\end{algorithm}

无论是基于 Negative Sampling 的 CBOW 模型还是 Skip-gram 模型，我们都需要对于给定的词 w 生成 NEG(w)，对于一个词典 D 和给定的语料 C，一个词被选择中的概率为：

(39)pNEG(w)=#w∑u∈D#u

其中 #w 和 #u 表示词 w 和 u 在语料 C 中出现的频次。在 Word2Vec 的 C 代码中 6，并没有使用词的原始频次，而是对其做了 0.75 次幂，即：

(40)pNEG(w)=(#w)0.75∑u∈D(#u)0.75

其他 Embedding 方法

GloVe

GloVe (Global Vector 的简写) 是由 Pennington 等人 7 提出了一种词向量生成方法，该方法利用了语料的全局统计信息。

令 X 表示词与词之间的共现矩阵，Xij 表示词 j 在词 i 为上下文的情况下出现的频次。则 Xi=∑kXik 表示在词i 为上下文的情况任意词出现的总次数。令 Pij=P(j|i)=Xij/Xi 表示词 j 在词 i 出现前提下出现的条件概率。

例如，我们令 i=ice,j=steam，则这两个词之间的关系可以利用同其他词 k 共现概率的比率学习得出。则有：

1. 与词 ice 相关，但与词 steam 不太相关，例如 k=solid，则比率 Pik/Pjk 应该较大；类似的当词 k 与 steam 相关，但与词 ice 不太相关，则比率 Pik/Pjk 应该较小。
2. 当与词 ice 和词 steam 均相关或者均不太相关时，例如 k=water 或 k=fashion，则比率 Pik/Pjk 应该和 1 接近。

下表展示了在一个大量语料上的概率及其比率：

概率和比例 k=solid k=gas k=water k=fashion

P(k|ice) 1.9×10−4 6.6×10−5 3.0×10−3 1.7×10−5

P(k|steam) 2.2×10−5 7.8×10−4 2.2×10−3 1.8×10−5

P(k|ice)/P(k|steam) 8.9 8.5×10−2 1.36 0.96

根据如上的假设，我们可以得到一个最基础的模型：

(41)F(wi,wj,w~k)=PikPjk

其中 w∈Rd 为词向量，w~k∈Rd 为单独的上下文词的词向量。假设向量空间是一个线性结构，因此 F 仅依赖于两个向量之间的差异，则模型可以改写为：

(42)F(wi−wj,w~k)=PikPjk

上式中右面是一个标量，如果左面的参数利用一个复杂的模型进行计算，例如神经网络，则会破坏我们希望保留的线性结构。因此，我们对参数采用点积运算，即：

(43)F((wi−wj)⊤w~k)=PikPjk

在词之间的共现矩阵中，一个词和其上下文中的一个词之间应该是可以互换角色的。首先我们要保证 F 在 (R,+) 和 (R>0,×) 上是同态的 (homomorphism)，例如：

(44)F((wi−wj)⊤w~k)=F(wi⊤w~k)F(wj⊤w~k)

其中 F(wi⊤w~k)=Pik=XikXi，则上式的一个解为 F=exp，或：

(45)wi⊤w~k=log⁡(Pik)=log⁡(Xik)−log⁡(Xi)

其中 log⁡(Xi) 与 k 无关记为 bi，同时为了对称性添加 b~k，则上式改写为：

(46)wi⊤w~k+bi+b~k=log⁡(Xik)

上式中，左侧为词向量的相关运算，右侧为共现矩阵的常量信息，则给出模型的损失函数如下：

(47)J=∑i,j=1Vf(Xij)(wi⊤w~k+bi+b~k−log⁡Xij)2

其中，V 为词典中词的个数，f 为一个权重函数，其应具有如下特点：

1. f(0)=0。如果 f 为一个连续函数，则当 x→0 时 limx→0f(x)log2⁡x 应足够快地趋近于无穷。
2. f(x) 应为非减函数，以确保稀少的共现不会权重过大。
3. f(x) 对于较大的 x 应该相对较小，以确保过大的共现不会权重过大。

文中给出了一个符合要求的函数如下：

(48)f(x)={(x/xmax)αifx<xmax1otherwise

其中两个超参数的值建议为 xmax=100,α=0.75。

fastText

fastText 是由 Bojanowski 和 Grave 等人 8 提出的一种词向量表示方法。原始的 Skip-gram 模型忽略了词语内部的结构信息，fastText 利用 N-gram 方法将其考虑在内。

对于一个词 w，利用一系列的 N-gram 进行表示，同时在词的前后添加 < 和 > 边界符号以同其他文本序列进行区分。同时还将词语本身也包含在这个 N-gram 集合中，从而学习到词语的向量表示。例如，对于词 where 和 n=3，则 N-gram 集合为：<wh, whe, her, ere, re>，同时包含词本身 <where>。需要注意的是，序列 <her> 与词 where 中的 tri-gram her 是两个不同的概念。模型提取所有 3≤n≤6 的 N-gram 序列。

假设 N-gram 词典的大小为 G，对于一个词 w，Gw⊂{1,...,G} 表示词中出现的 N-gram 的集合。针对任意一个 N-gram g，用向量 zg 表示，则我们利用一个词的所有 N-gram 的向量的加和表示该词。可以得到该模型的评分函数为：

(49)s(w,c)=∑g∈Gwzg⊤vc

模型在学习不同词向量时可以共享权重 (不同词的可能包含相同的 N-gram)，使得在学习低频词时也可得到可靠的向量表示。

WordRank

WordRank 是由 Ji 等人 9 提出的一种词向量表示方法，其将词向量学习问题转换成一个排序问题。

我们令 uw 表示当前词 w 的 k 维词向量，vc 表示当前词上下文 c 的词向量。通过两者的内积 ⟨uw,vc⟩ 来捕获词 w 和上下文 c 之间的关系，两者越相关则该内积越大。对于一个给定的词 w，利用上下文集合 C 同词的内积分数进行排序，对于一个给定的上下文 c，排序为：

(50)rank(w,c)=∑c′∈C∖{c}I(⟨uw,vc⟩−⟨uw,vc′⟩≤0)=∑c′∈C∖{c}I(⟨uw,vc−vc′⟩≤0)

其中，I(x≤0) 为一个 0-1 损失函数，当 x≤0 时为 1 其他情况为 0。由于 I(x≤0) 为一个非连续函数，因此我们可以将其替换为一个凸上限函数 ℓ(⋅)，其可以为任意的二分类损失函数，构建排序的凸上限如下：

(51)rank(w,c)≤rank―(w,c)=∑c′∈C∖{c}ℓ(⟨uw,vc−vc′⟩)

我们期望排序模型将更相关的上下文排在列表的顶部，基于此构建损失函数如下：

(52)J(U,V):=∑w∈W∑c∈Ωwrw,c⋅ρ(rank―(w,c)+βα)

其中，W 表示词典，U:={uw}w∈W 和 V:={cw}c∈C 分别表示词及其上下文词向量的参数，Ωw 表示与词 w 共现的上下文的集合，rw,c 为衡量 w 和 c 之间关系的权重，ρ(⋅) 为用于衡量排序好坏的单调递增的损失函数，α≥0,β≥0 为超参数。可选的有：

(53)rw,c={(Xw,c/xmax)ϵifXw,c<xmax1otherwise

其中 xmax=100,ϵ=0.75。根据 ρ(⋅) 的要求，损失函数在排序的顶部 (rank 值小) 的地方更加敏感，同时对于 rank 值较大的地方不敏感。这可以使得模型变得更加稳健 (避免语法错误和语言的非常规使用造成干扰)，因此可选的有：

(54)ρ(x):=log2⁡(1+x)ρ(x):=1−1log2⁡(2+x)ρ(x):=x1−t−11−t,t≠1

损失函数可以等价的定义为：

(55)J(U,V):=∑(w,c)∈Ωrw,c⋅ρ(rank―(w,c)+βα)

在训练过程中，外层的求和符号容易利用 SDG 算法解决，但对于内层的求和符号除非 ρ(⋅) 是一个线性函数，否则难以求解。然而，ρ(⋅) 函数的性质要求其不能是一个线性函数，但我们可以利用其凹函数的特性对其进行一阶泰勒分解，有：

(56)ρ(x)≤ρ(ξ−1)+ρ′(ξ−1)⋅(x−ξ−1)

对于任意 x 和 ξ≠0 均成立，同时当且仅当 ξ=x−1 时等号成立。因此，令 Ξ:={ξw,c}(w,c)∈Σ，则可以得到 J(U,V) 的一个上界：

(57)J―(U,V,Ξ):=∑(w,c)∈Ωrw,c⋅{ρ(ξwc−1)+ρ′(ξwc−1)⋅(α−1β+α−1∑c′∈C∖{c}ℓ(⟨uw,vc−vc′⟩)−ξw,c−1)}=∑(w,c,c′)rw,c⋅(ρ(ξw,c−1)+ρ′(ξw,c−1)⋅(α−1β−ξw,c−1)|C|−1+1αρ′(ξw,c−1)⋅ℓ(⟨uw,vc−vc′⟩))

其中，(w,c,c′)∈Ω×(C∖{c})，至此我们可以通过均匀采样 (w,c)∈Σ 和 c′∈C∖{c} 解决训练问题。

整个 WordRank 算法的伪代码如下：

\begin{algorithm}
\caption{WordRank 算法}
\begin{algorithmic}
\STATE $\eta$ 为学习率
\WHILE{$\mathbf{U}$，$\mathbf{V}$ 和 $\Xi$ 未收敛}
    \STATE \COMMENT{阶段1：更新 $\mathbf{U}$ 和 $\mathbf{V}$}
    \WHILE{$\mathbf{U}$ 和 $\mathbf{V}$ 未收敛}
        \STATE 从 $\Omega$ 中均匀采样 $\left(w, c\right)$
        \STATE 从 $\mathcal{C} \setminus \left\{c\right\}$ 中均匀采样 $c'$
        \STATE \COMMENT{同时更新如下 3 个参数}
        \STATE $\mathbf{u}_w \gets \mathbf{u}_w - \eta \cdot r_{w, c} \cdot \rho' \left(\xi_{w, c}^{-1}\right) \cdot \ell' \left(\langle \mathbf{u}_w, \mathbf{v}_c - \mathbf{v}_{c'} \rangle\right) \cdot \left(\mathbf{v}_c - \mathbf{v}_{c'}\right)$
        \STATE $\mathbf{v}_c \gets \mathbf{v}_c - \eta \cdot r_{w, c} \cdot \rho' \left(\xi_{w, c}^{-1}\right) \cdot \ell' \left(\langle \mathbf{u}_w, \mathbf{v}_c - \mathbf{v}_{c'} \rangle\right) \cdot \mathbf{u}_w$
        \STATE $\mathbf{v}_{c'} \gets \mathbf{v}_{c'} - \eta \cdot r_{w, c} \cdot \rho' \left(\xi_{w, c}^{-1}\right) \cdot \ell' \left(\langle \mathbf{u}_w, \mathbf{v}_c - \mathbf{v}_{c'} \rangle\right) \cdot \mathbf{u}_w$
    \ENDWHILE
    \STATE \COMMENT{阶段2：更新 $\Xi$}
    \FOR{$w \in \mathcal{W}$}
        \FOR{$c \in \mathcal{C}$}
            \STATE $\xi_{w, c} = \alpha / \left(\sum_{c' \in \mathcal{C} \setminus \left\{c\right\}}{\ell \left(\langle \mathbf{u}_w, \mathbf{v}_c - \mathbf{v}_{c'} \rangle\right) + \beta}\right)$
        \ENDFOR
    \ENDFOR
\ENDWHILE
\end{algorithmic}
\end{algorithm}

cw2vec

cw2vec 是由 Cao 等人 10 提出的一种基于汉字笔画 N-gram 的中文词向量表示方法。该方法根据汉字作为象形文字具有笔画信息的特点，提出了笔画 N-gram 的概念。针对一个词的笔画 N-gram，其生成过程如下图所示：

共包含 4 个步骤：

1. 将一个词拆解成单个的汉字，例如：“大人” 拆解为 “大” 和 “人”。
2. 将每个汉字拆解成笔画，例如：“大” 和 “人” 拆解为 “一，丿，乀，丿，乀”。
3. 将每个笔画映射到对应的编码序列，例如： “一，丿，乀，丿，乀” 映射为 13434。
4. 利用编码序列生成笔画 N-gram，例如：134，343，434；1343，3434；13434。

模型中定义一个词 w 及其上下文 c 的相似度如下：

(58)sim(w,c)=∑q∈S(w)q→⋅c→

其中，S 为由笔画 N-gram 构成的词典，S(w) 为词 w 对应的笔画 N-gram 集合，q 为该集合中的一个笔画 N-gram，q→ 为 q 对应的向量。

该模型的损失函数为：

(59)L=∑w∈D∑c∈T(w)log⁡σ(sim(w,c))+λEc′∼P[log⁡σ(−sim(w,c′))]

其中，D 为语料中的全部词语，T(w) 为给定的词 w 和窗口内的所有上次文词，σ(x)=(1+exp⁡(−x))−1，λ 为负采样的个数，Ec′∼P[⋅] 表示负样本 c′ 按照 D 中词的分布 P 进行采样，该分布可以为词的一元模型的分布 U，同时为了避免数据的稀疏性问题，类似 Word2Vec 中的做法采用 U0.75。

← 循环神经网络 (Recurrent Neural Network, RNN) 序列到序列 (Seq2Seq) 和注意力机制 (Attention Machanism) →