在神经网络的训练过程中，每一层的参数都在变化着，这就引起了该层的输出在不断变化，也就是其后续层的输入的分布在不断变化。这种变化的特性，导致人们必须仔细的选择神经网络初始化的数据并且使用较小的学习率，这就降低了神经网络的训练速度，由此可见训练神经网络并不是一项简单的工作。本文称神经网络层的这种输出不断变化的现象为内部协变量转移 (Internal Covariate Shift, ICS)。对此问题，本文提出了使用批标准化 (Batch Normalization, BN)来解决此问题。BN的使用可以让我们使用更高的学习率，在一些情况下还可以免去使用Dropout，而泛化性依旧可以保持。

本文已收录于2022年的S&P，一作为香港科技大学的学生。论文为云端在线学习服务提供了一个较为折中的隐私保护方案。

本文给出了pytorch里面支持的所有二十几种激活函数的可视化作图。

现有的游戏AI中，越来越多地直接使用游戏画面的RGB像素点（图片）来作为游戏的表示。其中卷积神经网络常被用于进行图片处理，以得到压缩后的表征。当前一些通用的特征提取方法在应用到游戏AI时会有一些问题，比如训练计算量太大、在不同游戏间的泛化性差等。对于前一个问题，目前一般采用在预训练模型上进行微调的方法缓解。本文主要关注如何处理后一个问题，也就是泛化性的问题。

简介在监督学习中，高质量的标签是任务性能的保障。然而，给大量的数据样本打标签的代价是非常昂贵的。由此，机器学习中诞生了一些新的范式，专门用于解决在标签非常缺乏的情况下的学习问题。在这些范式中，半监督学习是一个可选方案（半监督学习仅需依赖很少部分打过标签的数据+大量无标签数据）。

对比学习(Contrastive Learning)的主要思想是让相似样本表征间的距离相近，而差别很大样本表征间的距离较远。对比学习在监督学习和非监督学习中都可以使用，在许多的计算机视觉和自然语言处理相关的任务中都有很好的性能表现。

这篇论文发表于2021年的S&P，一作 Nicholas Boucher 是剑桥大学的博士。这篇文章提出了一种针对NLP的新的攻击方式。此攻击通过对任务输入字符编码的修改，来让NLP服务的计算时间延长或者让服务给出错误的结果。它的一大特点就是经过攻击修改后的文字编码在经过渲染（比如浏览器、编辑器等）后，看起来和原本的文本是一样的（或基本差不多）。