随着DNN（深度神经网络）的发展，DNN在图像分类任务上的表现足以达到人类的水平。那么DNN对于一张图片的理解和人类是一样的吗？最近的一项研究表明，DNN和人类在对于图片的理解方面有所不同，研究人员可以通过对图片进行一些肉眼无法察觉的改变（比如改变一些像素点的值），就可以让DNN分类器将图片分类为不相关的类别。这对于一些应用来讲问题非常大，比如对于安全性要求较高的图像识别领域（自动驾驶、人脸识别等）。本文对于此类问题，进行了研究，结果表明：可以很容易生成一些对于人类无法识别的图片，但是最好的DNN分类器却可以将其以非常高的置信度将其分类为一个特定类别。

本文中提出了一个非常著名的概念：triplet loss。使用该loss函数，作者提出了一个新的系统FaceNet，它可以学习一个从人脸图像到一个小的欧几里得空间的映射，并且在这个新的空间中像点之间的距离可以反映原本人脸图片之间的相似性。这类似于词嵌入(Word Embedding)的方法，只不过本文中实现的是人脸图片的嵌入。文中使用了卷积神经网络来直接优化Embedding，而没有使用之前的一些论文中常用的瓶颈层。

这篇论文描述了一个基于人工神经网络的签名验证算法。这个签名通过触摸板进行数据的收集。论文提出的网络结构被作者称为孪生时延神经网络。它之所以被称为孪生神经网络，是因为它由两个一摸一样的神经网络组成。在训练过程中，模型会去学习输入签名间的的相似性。模型被用作验证的时候，只有孪生网络的一半被用做前向推理。这半个网络的输出被当作原始签名的特征表示。验证过程就是将需要被验证的签名的特征表示向量与原始存储的特征表示进行比较，从而判断签名是否一致。

SAC算法是Tuomas Haarnoja于DeepMind在2018年提出的强化学习算法。无模型深度强化学习在决策和控制任务中应用时会遇到两个挑战：1. 需要大量的样本；2. 收敛性。此算法希望为​解决这两个挑战提供一个好的解决方案。

本文给出了pytorch里面支持的所有二十几种激活函数的可视化作图。