这篇论文提出了一个新的模型:Sentence-BERT (SBERT)，它在预训练的BERT基础之上，使用*孪生网络(siamese network)*和*三元组网络(triplet network)*，对模型进行了微调。这样模型就可以生成句子的嵌入表示（sentence embedding），这些句子的嵌入表示可以直接用来计算句子间的余弦相似度。这样在前面提到的寻找最相似句子的任务中，就无需对每个句子对进行推理，大大减少了计算时间（65小时 -> 5秒），并且不会降低准确率。

本文提出了一种语言表征模型BERT(Bidirectional Encoder Representations from Transformers)。它使用了一个深度、双向模型，用无标签的文本数据作为输入，来预训练一个文本的表征。BERT模型在模型的每一层中都使用了文本的上下文信息(双向)。在预训练的BERT模型后面可以接一个全连接层进行特定任务的微调训练。实验结果显示，在11个NLP任务上，BERT都可以达到现有的最高水平（18年）。