本文提出了一种语言表征模型BERT(Bidirectional Encoder Representations from Transformers)。它使用了一个深度、双向模型，用无标签的文本数据作为输入，来预训练一个文本的表征。BERT模型在模型的每一层中都使用了文本的上下文信息(双向)。在预训练的BERT模型后面可以接一个全连接层进行特定任务的微调训练。实验结果显示，在11个NLP任务上，BERT都可以达到现有的最高水平（18年）。

​这篇论文发表于今年的S&P，一作Jinyuan Jia目前在杜克大学攻读博士学位，他在安全顶会上已发表多篇文章，其所在实验室主要研究隐私与安全。本文的BadEncoder 提出了一种新的针对自监督学习（self-supervised learning）的后门攻击。