爱吃猫的鱼
View Grocery

爱吃猫的鱼
[本]通信工程@河海大学 & [硕]CS@清华大学
这个人很懒,他什么也没有写!
Issued On Nov. 22, 2021, 9:35 p.m.
Summary: 论文是EMNLP 2021的最佳论文,论文指出了当前视觉-语言数据集的一些问题,发布了一个新的数据集。
37
0
Issued On Oct. 25, 2021, 5:18 p.m.
Summary: 本文发表于CCS2021,针对共享资源的云端服务器提出了一种新的杀敌一千自损八百的攻击方式:Warmonger。Warmonger利用了去服务器(serverless)计算平台在不同用户之间共享IP的特点,让第三方内容服务器拒绝响应用户的云端服务。恶意用户可以在共享IP的去服务器平台上对第三方内容服务器发出一些恶意的请求,这样第三方服务器的防火墙就可以将此IP列入黑名单,共享同一IP的其它用户此时就无法访问被攻击的第三方服务器了。本文的攻击模型并不复杂,重点偏重于测量分析。
205
0
Issued On Oct. 8, 2021, 10:38 p.m.
Summary: 本文介绍了一种解决部分可观测马尔可夫问题的一种无模型(model-free)强化学习方法(PGPE)。和一般策略梯度方法不同的是,此方法通过在参数空间中直接进行采样来得到梯度值的估计。PEPG可以降低梯度值估计的方差,让学习过程更加稳定、快速,并且在策略不可导的情况下也可以使用。
147
0
Issued On Sept. 7, 2021, 9:32 p.m.
Summary: 在文本生成图片的任务中,人们一直致力于在确定的小数据集下寻找更好的网络结构,然而一些假设通常会引入复杂的模型结构或者繁琐的损失函数。本文提出一种简单的自回归策略,利用transformer将文本和图片同等建模,即使在zero shot情况下也可以达到SOTA效果。GPT3证明了在文本上使用大规模参数和大规模数据对模型带来的提高,本文使用120亿参数的模型在2.5亿数据上进行了训练,证明了大规模模型在文本到图像生成任务上也有很好的效果。
133
0
Issued On Aug. 23, 2021, 11:01 p.m.
Summary: 在本文中,我们深入了解一下策略梯度算法、工作原理以及一些近年来新提出的改进算法,包含:朴素(vanilla)策略梯度、actor-critic、off-policy 策略梯度、A3C、A2C、DPG、DDPG、D4PG、MADDPG、TRPO、PPO、ACER、ACTKR、SAC、TD3以及SVPG。
718
0
Issued On Aug. 5, 2021, 12:40 a.m.
Summary: 本文发表于2021年的NDSS,由CMU和北大的两位学生共同一作。这篇文章对于区块链的运行环境进行了建模,并在此基础上使用强化学习分析了区块链激励机制中的攻击问题。
180
0
Issued On July 21, 2021, 6:59 p.m.
Summary: 使用流水线并行的DNN训练方法可以大大减少通信开销所带来的瓶颈问题。本文提出的Pipedream可以自动对于DNN模型进行自动分割,并且结合了batch内并行优化方法来摊还通信开销。相比于当前最好的方法(论文发表前)来说,PipeDream可以在很多模型及不同硬件上取得最高5.3倍的训练加速。
197
0
Issued On July 7, 2021, 12:43 p.m.
Summary: 现在训练深度学习网络的主要方法就是使用SGD优化器及其变体。一些SGD的变体比如:Adam, AdaDelta, Nadam等优化器利用历史梯度更新指数滑动平均的平方根信息。根据经验来看,在许多应用中,这些优化器无法让模型收敛到最优解。本文的分析指出,导致该问题的一个原因就是这些优化器中使用了历史梯度的指数滑动平均信息。文中通过一个简单的例子展示了Adam优化器是如何收敛到了一个非常差的结果的。为了解决此问题,文章提出了一个新的改进的优化器算法*AMSGrad*。该优化器不仅可以解决前面提到的收敛性问题,而且根据实验来看,还可以在一定程度上改善Adam的性能。
159
0
Issued On July 5, 2021, 10:44 p.m.
Summary: 在分布式机器学习中,如果模型非常大,网络传输效率就会成为瓶颈,那么训练时如何降低网络通信开销就成了一个重要问题。本文研究了一种高效的有损压缩的方法,可以在很大程度上改善网络开销,并且可以保持甚至超过原有的准确率。
152
0
Issued On July 5, 2021, 10:36 p.m.
Summary: 随着DNN(深度神经网络)的发展,DNN在图像分类任务上的表现足以达到人类的水平。那么DNN对于一张图片的理解和人类是一样的吗?最近的一项研究表明,DNN和人类在对于图片的理解方面有所不同,研究人员可以通过对图片进行一些肉眼无法察觉的改变(比如改变一些像素点的值),就可以让DNN分类器将图片分类为不相关的类别。这对于一些应用来讲问题非常大,比如对于安全性要求较高的图像识别领域(自动驾驶、人脸识别等)。本文对于此类问题,进行了研究,结果表明:可以很容易生成一些对于人类无法识别的图片,但是最好的DNN分类器却可以将其以非常高的置信度将其分类为一个特定类别。
74
0

Issued On Nov. 22, 2021, 9:35 p.m.
Summary: 论文是EMNLP 2021的最佳论文,论文指出了当前视觉-语言数据集的一些问题,发布了一个新的数据集。
37
0
Issued On Oct. 25, 2021, 5:18 p.m.
Summary: 本文发表于CCS2021,针对共享资源的云端服务器提出了一种新的杀敌一千自损八百的攻击方式:Warmonger。Warmonger利用了去服务器(serverless)计算平台在不同用户之间共享IP的特点,让第三方内容服务器拒绝响应用户的云端服务。恶意用户可以在共享IP的去服务器平台上对第三方内容服务器发出一些恶意的请求,这样第三方服务器的防火墙就可以将此IP列入黑名单,共享同一IP的其它用户此时就无法访问被攻击的第三方服务器了。本文的攻击模型并不复杂,重点偏重于测量分析。
205
0
Issued On Oct. 8, 2021, 10:38 p.m.
Summary: 本文介绍了一种解决部分可观测马尔可夫问题的一种无模型(model-free)强化学习方法(PGPE)。和一般策略梯度方法不同的是,此方法通过在参数空间中直接进行采样来得到梯度值的估计。PEPG可以降低梯度值估计的方差,让学习过程更加稳定、快速,并且在策略不可导的情况下也可以使用。
147
0
Issued On Sept. 7, 2021, 9:32 p.m.
Summary: 在文本生成图片的任务中,人们一直致力于在确定的小数据集下寻找更好的网络结构,然而一些假设通常会引入复杂的模型结构或者繁琐的损失函数。本文提出一种简单的自回归策略,利用transformer将文本和图片同等建模,即使在zero shot情况下也可以达到SOTA效果。GPT3证明了在文本上使用大规模参数和大规模数据对模型带来的提高,本文使用120亿参数的模型在2.5亿数据上进行了训练,证明了大规模模型在文本到图像生成任务上也有很好的效果。
133
0
Issued On Aug. 23, 2021, 11:01 p.m.
Summary: 在本文中,我们深入了解一下策略梯度算法、工作原理以及一些近年来新提出的改进算法,包含:朴素(vanilla)策略梯度、actor-critic、off-policy 策略梯度、A3C、A2C、DPG、DDPG、D4PG、MADDPG、TRPO、PPO、ACER、ACTKR、SAC、TD3以及SVPG。
718
0
Issued On Aug. 5, 2021, 12:40 a.m.
Summary: 本文发表于2021年的NDSS,由CMU和北大的两位学生共同一作。这篇文章对于区块链的运行环境进行了建模,并在此基础上使用强化学习分析了区块链激励机制中的攻击问题。
180
0
Issued On July 21, 2021, 6:59 p.m.
Summary: 使用流水线并行的DNN训练方法可以大大减少通信开销所带来的瓶颈问题。本文提出的Pipedream可以自动对于DNN模型进行自动分割,并且结合了batch内并行优化方法来摊还通信开销。相比于当前最好的方法(论文发表前)来说,PipeDream可以在很多模型及不同硬件上取得最高5.3倍的训练加速。
197
0
Issued On July 7, 2021, 12:43 p.m.
Summary: 现在训练深度学习网络的主要方法就是使用SGD优化器及其变体。一些SGD的变体比如:Adam, AdaDelta, Nadam等优化器利用历史梯度更新指数滑动平均的平方根信息。根据经验来看,在许多应用中,这些优化器无法让模型收敛到最优解。本文的分析指出,导致该问题的一个原因就是这些优化器中使用了历史梯度的指数滑动平均信息。文中通过一个简单的例子展示了Adam优化器是如何收敛到了一个非常差的结果的。为了解决此问题,文章提出了一个新的改进的优化器算法*AMSGrad*。该优化器不仅可以解决前面提到的收敛性问题,而且根据实验来看,还可以在一定程度上改善Adam的性能。
159
0
Issued On July 5, 2021, 10:44 p.m.
Summary: 在分布式机器学习中,如果模型非常大,网络传输效率就会成为瓶颈,那么训练时如何降低网络通信开销就成了一个重要问题。本文研究了一种高效的有损压缩的方法,可以在很大程度上改善网络开销,并且可以保持甚至超过原有的准确率。
152
0
Issued On July 5, 2021, 10:36 p.m.
Summary: 随着DNN(深度神经网络)的发展,DNN在图像分类任务上的表现足以达到人类的水平。那么DNN对于一张图片的理解和人类是一样的吗?最近的一项研究表明,DNN和人类在对于图片的理解方面有所不同,研究人员可以通过对图片进行一些肉眼无法察觉的改变(比如改变一些像素点的值),就可以让DNN分类器将图片分类为不相关的类别。这对于一些应用来讲问题非常大,比如对于安全性要求较高的图像识别领域(自动驾驶、人脸识别等)。本文对于此类问题,进行了研究,结果表明:可以很容易生成一些对于人类无法识别的图片,但是最好的DNN分类器却可以将其以非常高的置信度将其分类为一个特定类别。
74
0