Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
这篇论文提出了一个新的模型:Sentence-BERT (SBERT)，它在预训练的BERT基础之上，使用*孪生网络(siamese network)*和*三元组网络(triplet network)*，对模型进行了微调。这样模型就可以生成句子的嵌入表示（sentence embedding），这些句子的嵌入表示可以直接用来计算句子间的余弦相似度。这样在前面提到的寻找最相似句子的任务中，就无需对每个句子对进行推理，大大减少了计算时间（65小时 -> 5秒），并且不会降低准确率。
这篇论文提出了一个新的模型:Sentence-BERT (SBERT)，它在预训练的BERT基础之上，使用*孪生网络(siamese network)*和*三元组网络(triplet network)*，对模型进行了微调。这样模型就可以生成句子的嵌入表示（sentence embedding），这些句子的嵌入表示可以直接用来计算句子间的余弦相似度。这样在前面提到的寻找最相似句子的任务中，就无需对每个句子对进行推理，大大减少了计算时间（65小时 -> 5秒），并且不会降低准确率。
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
本文提出了一种语言表征模型BERT(Bidirectional Encoder Representations from Transformers)。它使用了一个深度、双向模型，用无标签的文本数据作为输入，来预训练一个文本的表征。BERT模型在模型的每一层中都使用了文本的上下文信息(双向)。在预训练的BERT模型后面可以接一个全连接层进行特定任务的微调训练。实验结果显示，在11个NLP任务上，BERT都可以达到现有的最高水平（18年）。
本文提出了一种语言表征模型BERT(Bidirectional Encoder Representations from Transformers)。它使用了一个深度、双向模型，用无标签的文本数据作为输入，来预训练一个文本的表征。BERT模型在模型的每一层中都使用了文本的上下文信息(双向)。在预训练的BERT模型后面可以接一个全连接层进行特定任务的微调训练。实验结果显示，在11个NLP任务上，BERT都可以达到现有的最高水平（18年）。
Visually Grounded Reasoning across Languages and Cultures
论文是EMNLP 2021的最佳论文，论文指出了当前视觉-语言数据集的一些问题，发布了一个新的数据集。
论文是EMNLP 2021的最佳论文，论文指出了当前视觉-语言数据集的一些问题，发布了一个新的数据集。
Bad Characters: Imperceptible NLP Attacks
这篇论文发表于2021年的S&P，一作 Nicholas Boucher 是剑桥大学的博士。这篇文章提出了一种针对NLP的新的攻击方式。此攻击通过对任务输入字符编码的修改，来让NLP服务的计算时间延长或者让服务给出错误的结果。它的一大特点就是经过攻击修改后的文字编码在经过渲染（比如浏览器、编辑器等）后，看起来和原本的文本是一样的（或基本差不多）。
这篇论文发表于2021年的S&P，一作 Nicholas Boucher 是剑桥大学的博士。这篇文章提出了一种针对NLP的新的攻击方式。此攻击通过对任务输入字符编码的修改，来让NLP服务的计算时间延长或者让服务给出错误的结果。它的一大特点就是经过攻击修改后的文字编码在经过渲染（比如浏览器、编辑器等）后，看起来和原本的文本是一样的（或基本差不多）。