简介: 本文介绍了一种解决部分可观测马尔可夫问题的一种无模型（model-free）强化学习方法（PGPE）。和一般策略梯度方法不同的是，此方法通过在参数空间中直接进行采样来得到梯度值的估计。PEPG可以降低梯度值估计的方差，让学习过程更加稳定、快速，并且在策略不可导的情况下也可以使用。
简介: 在文本生成图片的任务中，人们一直致力于在确定的小数据集下寻找更好的网络结构，然而一些假设通常会引入复杂的模型结构或者繁琐的损失函数。本文提出一种简单的自回归策略，利用transformer将文本和图片同等建模，即使在zero shot情况下也可以达到SOTA效果。GPT3证明了在文本上使用大规模参数和大规模数据对模型带来的提高，本文使用120亿参数的模型在2.5亿数据上进行了训练，证明了大规模模型在文本到图像生成任务上也有很好的效果。
For:
策略梯度算法专题
简介: 在本文中，我们深入了解一下策略梯度算法、工作原理以及一些近年来新提出的改进算法，包含：朴素(vanilla)策略梯度、actor-critic、off-policy 策略梯度、A3C、A2C、DPG、DDPG、D4PG、MADDPG、TRPO、PPO、ACER、ACTKR、SAC、TD3以及SVPG。
简介: 本文发表于2021年的NDSS，由CMU和北大的两位学生共同一作。这篇文章对于区块链的运行环境进行了建模，并在此基础上使用强化学习分析了区块链激励机制中的攻击问题。
简介: 使用流水线并行的DNN训练方法可以大大减少通信开销所带来的瓶颈问题。本文提出的Pipedream可以自动对于DNN模型进行自动分割，并且结合了batch内并行优化方法来摊还通信开销。相比于当前最好的方法（论文发表前）来说，PipeDream可以在很多模型及不同硬件上取得最高5.3倍的训练加速。
简介: 现在训练深度学习网络的主要方法就是使用SGD优化器及其变体。一些SGD的变体比如：Adam, AdaDelta, Nadam等优化器利用历史梯度更新指数滑动平均的平方根信息。根据经验来看，在许多应用中，这些优化器无法让模型收敛到最优解。本文的分析指出，导致该问题的一个原因就是这些优化器中使用了历史梯度的指数滑动平均信息。文中通过一个简单的例子展示了Adam优化器是如何收敛到了一个非常差的结果的。为了解决此问题，文章提出了一个新的改进的优化器算法*AMSGrad*。该优化器不仅可以解决前面提到的收敛性问题，而且根据实验来看，还可以在一定程度上改善Adam的性能。
简介: 在分布式机器学习中，如果模型非常大，网络传输效率就会成为瓶颈，那么训练时如何降低网络通信开销就成了一个重要问题。本文研究了一种高效的有损压缩的方法，可以在很大程度上改善网络开销，并且可以保持甚至超过原有的准确率。
简介: 随着DNN（深度神经网络）的发展，DNN在图像分类任务上的表现足以达到人类的水平。那么DNN对于一张图片的理解和人类是一样的吗？最近的一项研究表明，DNN和人类在对于图片的理解方面有所不同，研究人员可以通过对图片进行一些肉眼无法察觉的改变（比如改变一些像素点的值），就可以让DNN分类器将图片分类为不相关的类别。这对于一些应用来讲问题非常大，比如对于安全性要求较高的图像识别领域（自动驾驶、人脸识别等）。本文对于此类问题，进行了研究，结果表明：可以很容易生成一些对于人类无法识别的图片，但是最好的DNN分类器却可以将其以非常高的置信度将其分类为一个特定类别。
简介: Yolo 于2015年出现之后，当时就成为了目标检测方面的新星，不但检测准确度提高了，而且在实时性方面的优势更大。但是Yolo一代还存在一些缺点。对此，Yolo的创建者决定提出一个新的方案来在保持原有准确度的情况下解决上述两个问题，作者将其命名为Yolo2。在此yolo2基础上，作者还提出了另外一个模型 Yolo9000，它可以用来实时检测超过9000种目标。Yolo9000甚至可以标出在检测数据集中没有看到过的目标类别（在分类数据集中学习过），该模型在ImageNet的检测任务中给出了一个漂亮的结果。
简介: 本文介绍目标检测模型YOLO的工作原理。这篇文章发出之后已经有了非常多的改进方法，YOLO也出了后续的版本：YOLOv2, YOLOv3等等，后面我们有时间再介绍。理解了YOLO的最初版本之后，应该会更加容易理解其后续版本。
YOLO(You Only Look Once)是一个目标检测网络。目标检测任务的主要工作就是确定对象在一个图片中的位置并且确认该对象的分类。先前的目标检测方法比如R-CNN及其变体使用了类似数据管道（pipline）的方式。这些方法将任务分解为几个步骤，然后分别解决每一个步骤的问题。这种方法的缺点是运行速度慢，并且由于每个部分都是独立的，这些不同的部分很难一起进行优化。YOLO将所有这些步骤都融合到了一个神经网络模型中，大大加快了运行速度。
简介: 本文介绍了一种解决部分可观测马尔可夫问题的一种无模型（model-free）强化学习方法（PGPE）。和一般策略梯度方法不同的是，此方法通过在参数空间中直接进行采样来得到梯度值的估计。PEPG可以降低梯度值估计的方差，让学习过程更加稳定、快速，并且在策略不可导的情况下也可以使用。
简介: 在文本生成图片的任务中，人们一直致力于在确定的小数据集下寻找更好的网络结构，然而一些假设通常会引入复杂的模型结构或者繁琐的损失函数。本文提出一种简单的自回归策略，利用transformer将文本和图片同等建模，即使在zero shot情况下也可以达到SOTA效果。GPT3证明了在文本上使用大规模参数和大规模数据对模型带来的提高，本文使用120亿参数的模型在2.5亿数据上进行了训练，证明了大规模模型在文本到图像生成任务上也有很好的效果。
For:
策略梯度算法专题
简介: 在本文中，我们深入了解一下策略梯度算法、工作原理以及一些近年来新提出的改进算法，包含：朴素(vanilla)策略梯度、actor-critic、off-policy 策略梯度、A3C、A2C、DPG、DDPG、D4PG、MADDPG、TRPO、PPO、ACER、ACTKR、SAC、TD3以及SVPG。
简介: 本文发表于2021年的NDSS，由CMU和北大的两位学生共同一作。这篇文章对于区块链的运行环境进行了建模，并在此基础上使用强化学习分析了区块链激励机制中的攻击问题。
简介: 使用流水线并行的DNN训练方法可以大大减少通信开销所带来的瓶颈问题。本文提出的Pipedream可以自动对于DNN模型进行自动分割，并且结合了batch内并行优化方法来摊还通信开销。相比于当前最好的方法（论文发表前）来说，PipeDream可以在很多模型及不同硬件上取得最高5.3倍的训练加速。
简介: 现在训练深度学习网络的主要方法就是使用SGD优化器及其变体。一些SGD的变体比如：Adam, AdaDelta, Nadam等优化器利用历史梯度更新指数滑动平均的平方根信息。根据经验来看，在许多应用中，这些优化器无法让模型收敛到最优解。本文的分析指出，导致该问题的一个原因就是这些优化器中使用了历史梯度的指数滑动平均信息。文中通过一个简单的例子展示了Adam优化器是如何收敛到了一个非常差的结果的。为了解决此问题，文章提出了一个新的改进的优化器算法*AMSGrad*。该优化器不仅可以解决前面提到的收敛性问题，而且根据实验来看，还可以在一定程度上改善Adam的性能。
简介: 在分布式机器学习中，如果模型非常大，网络传输效率就会成为瓶颈，那么训练时如何降低网络通信开销就成了一个重要问题。本文研究了一种高效的有损压缩的方法，可以在很大程度上改善网络开销，并且可以保持甚至超过原有的准确率。
简介: 随着DNN（深度神经网络）的发展，DNN在图像分类任务上的表现足以达到人类的水平。那么DNN对于一张图片的理解和人类是一样的吗？最近的一项研究表明，DNN和人类在对于图片的理解方面有所不同，研究人员可以通过对图片进行一些肉眼无法察觉的改变（比如改变一些像素点的值），就可以让DNN分类器将图片分类为不相关的类别。这对于一些应用来讲问题非常大，比如对于安全性要求较高的图像识别领域（自动驾驶、人脸识别等）。本文对于此类问题，进行了研究，结果表明：可以很容易生成一些对于人类无法识别的图片，但是最好的DNN分类器却可以将其以非常高的置信度将其分类为一个特定类别。
简介: Yolo 于2015年出现之后，当时就成为了目标检测方面的新星，不但检测准确度提高了，而且在实时性方面的优势更大。但是Yolo一代还存在一些缺点。对此，Yolo的创建者决定提出一个新的方案来在保持原有准确度的情况下解决上述两个问题，作者将其命名为Yolo2。在此yolo2基础上，作者还提出了另外一个模型 Yolo9000，它可以用来实时检测超过9000种目标。Yolo9000甚至可以标出在检测数据集中没有看到过的目标类别（在分类数据集中学习过），该模型在ImageNet的检测任务中给出了一个漂亮的结果。
简介: 本文介绍目标检测模型YOLO的工作原理。这篇文章发出之后已经有了非常多的改进方法，YOLO也出了后续的版本：YOLOv2, YOLOv3等等，后面我们有时间再介绍。理解了YOLO的最初版本之后，应该会更加容易理解其后续版本。
YOLO(You Only Look Once)是一个目标检测网络。目标检测任务的主要工作就是确定对象在一个图片中的位置并且确认该对象的分类。先前的目标检测方法比如R-CNN及其变体使用了类似数据管道（pipline）的方式。这些方法将任务分解为几个步骤，然后分别解决每一个步骤的问题。这种方法的缺点是运行速度慢，并且由于每个部分都是独立的，这些不同的部分很难一起进行优化。YOLO将所有这些步骤都融合到了一个神经网络模型中，大大加快了运行速度。