Tag:

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

本文提出了一种语言表征模型BERT(Bidirectional Encoder Representations from Transformers)。它使用了一个深度、双向模型,用无标签的文本数据作为输入,来预训练一个文本的表征。BERT模型在模型的每一层中都使用了文本的上下文信息(双向)。在预训练的BERT模型后面可以接一个全连接层进行特定任务的微调训练。实验结果显示,在11个NLP任务上,BERT都可以达到现有的最高水平(18年)。

本文提出了一种语言表征模型BERT(Bidirectional Encoder Representations from Transformers)。它使用了一个深度、双向模型,用无标签的文本数据作为输入,来预训练一个文本的表征。BERT模型在模型的每一层中都使用了文本的上下文信息(双向)。在预训练的BERT模型后面可以接一个全连接层进行特定任务的微调训练。实验结果显示,在11个NLP任务上,BERT都可以达到现有的最高水平(18年)。

BadEncoder: Backdoor Attacks to Pre-trained Encoders in Self-Supervised Learning

​这篇论文发表于今年的S&P,一作Jinyuan Jia目前在杜克大学攻读博士学位,他在安全顶会上已发表多篇文章,其所在实验室主要研究隐私与安全。本文的BadEncoder 提出了一种新的针对自监督学习(self-supervised learning)的后门攻击。

​这篇论文发表于今年的S&P,一作Jinyuan Jia目前在杜克大学攻读博士学位,他在安全顶会上已发表多篇文章,其所在实验室主要研究隐私与安全。本文的BadEncoder 提出了一种新的针对自监督学习(self-supervised learning)的后门攻击。