# For: Invertible Residual Networks

640

Table of Contents

1. 摘要
2. 背景
3. 详细内容
4. 结束语
5. 引用

## 详细内容

### 什么是可逆

$$f: S \rightarrow T$$

### 残差网络何时可逆

$$f(x) = x + g(x)$$

$$x \in R^m, g: R^m \rightarrow R^m$$

$$F(x) = [f_n\circ f_{n-1}, ...,\circ f_1]$$

$$Lip(g) = \mathop{max}_{x_1 \neq x2}\frac{\Vert g(x_1) - g(x_2)\Vert _2}{\Vert x_1 - x_2\Vert _2}$$

$$\Vert f(x_1) - f(x_2)\Vert = \Vert x_1 - x_2 + g(x_1) - g(x_2)\Vert$$

$$\geq \Vert x_1 - x_2\Vert - \Vert g(x_1) - g(x_2)\Vert \gt 0$$

$$g(x) = \mathop{act_1}(W_1 \mathop{act_2}(W_2x + b_2) + b_1)$$

$$x_i = W^TWx_{i - 1}$$

$$\hat{W_i} = \begin{cases} \frac{cW_i}{\sigma_i} &\text{if }\frac{c}{\sigma_i} \lt 1 \\\ W_i & \text{else}\end{cases}$$

### 残差网络的逆函数的表达式是什么

$$x_{n+1} = y - g(x_n)$$

$$\Vert x_{n+1} - x_n\Vert _2 = \Vert g(x_{n}) - g(x_{n-1})\Vert$$

\begin{align} &\leq Lip(g) \Vert x_n - x_{n-1}\Vert \\\ &\leq Lip^2(g) \Vert x_{n-1} - x_{n-2}\Vert \\\ & \ldots \\\ &\leq Lip^n(g) \Vert x_1 - x_0\Vert \end{align}

\begin{align} \Vert x_{n+k} - x_n\Vert _2 &= \Vert x_{n+k} - x_{n+k-1} + x_{n+k-1} ... -x_n\Vert _2\\\ &\leq \Vert x_{n+k} - x_{n+k-1}\Vert _2 + ... + \Vert x_{n+1} - x_{n}\Vert _2 \\\ &\leq Lip^{n+k-1}(g) \Vert x_{1} - x_{0}\Vert _2 + ... + Lip^{n}(g) \Vert x_{1} - x_{0}\Vert _2 \\\ &= \frac{1 - Lip^k(g)}{1 - Lip(g)} Lip^n(g)\Vert x_1 - x_0\Vert _2 \\\ &\leq \frac{Lip^n(g)}{1 - Lip(g)}\Vert x_1 - x_0\Vert _2 \end{align}

### 如何利用可逆残差网络进行生成

$$log p_x(x) = log p_z(z) + log|det(J_F(x))|$$

\begin{align} log(det(J_F(x)))&=log(det(P\Lambda P^{-1}))\\\ &=log(det(P)det(\Lambda)det(P^{-1})) \\\ &=log(det(\Lambda))\\\ &=det (log(\Lambda)) \\\ &=Tr(log(\Lambda))\\\ &= Tr(log(J_F(x))) \end{align}

$$Tr(log(I + J_g))$$

\begin{align} &\ Tr(log(I + J_g)) \\\ =&\ Tr(\sum_{n=1}^{\infty}(-1)^{n-1}\frac{J_g^n}{n})\\\ =&\ \sum_{n=1}^{\infty}(-1)^{n-1}\frac{Tr(J_g)^n}{n} \end{align}

\begin{align} Tr(A) &= Tr(AI) \\\ &= Tr(AE(uu^T)) \\\ &= E(Tr(Auu^T)) \\\ &= E(u^TAu) \end{align}

$$\sum_{n=1}^{\infty}(-1)^{n-1}\frac{u^TJ_g^nu}{n}$$

## 结束语

• 文中对对数行列式的估计是有偏的，最近已经有一些工作在对数行列式无偏估计方面取得了一些进展，这可能提高生成模型的性能
• 学习和设计具有Lipschitz约束的网络具有挑战性：比如需要约束块中的每个线性层，而不是能够直接控制一个块的Lipschitz常数

## 引用

[1] Behrmann, Jens, et al. "Invertible residual networks." International Conference on Machine Learning. PMLR, 2019.

Article Tags
[本]通信工程@河海大学 & [硕]CS@清华大学

1
640
0

More Recommendations

Oct. 10, 2023
Nov. 30, 2022
Nov. 21, 2022
Oct. 18, 2022