3

【pytorch】BERT

 1 year ago
source link: https://www.guofei.site/2022/10/23/bert.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

【pytorch】BERT

2022年10月23日    Author:Guofei

文章归类: 0x26_torch    文章编号: 274


版权声明:本文作者是郭飞。转载随意,但需要标明原文链接,并通知本人
原文链接:https://www.guofei.site/2022/10/23/bert.html

Edit

为什么

RNN的问题:

  • 不能并行计算
  • 引入 Self-Attention 机制

word2vec 的问题

  • 一个词在不同的句子中的语义不一样
  • 预训练好的向量永久不变

您的支持将鼓励我继续创作!

qr.jpeg

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK