深度学习之风格迁移（一）——Neural Style(Gatys)_Vic时代的博客-程序员秘密

本文介绍一个酷炫的深度学习应用：风格迁移。作者Gatys等人在2015年提出基于神经网络的风格迁移算法[1]，随后发表在CVPR 2016上[2]。斯坦福大学的Justin Johnson（cs231n课程的主讲人之一）给出了Torch实现neural-style([3])。

Figure.1. 内容重构与风格重构

内容重构content reconstruction

给定一张图片 $\vec p$ 和训练好的卷积网络，那么在每层可以得到多个feature map，个数取决于每层滤波器的个数 $N_l$ 。我们把个feature map向量化，得到大小为 $M_l$ 的向量。把每一层的 $N_l$ 个特征向量保存到矩阵 $F^l\in \mathbb R^{N_l\times M_l}$ 中，其元素 $F_{ij}^l$ 表示第 $l$ 层的第 $i$ 个滤波器在位置 $j$ 上的激活响应。
现在指定一层的特征表示，希望生成一张新的图片 $\vec x$ 使其在该层的特征表示 $P^l$ 等于原特征表示 $F^l$ （内容匹配）。定义损失函数如下：

 c o n t e n t (p ⃗, x ⃗, l) = 1 2 \sum i, j (F l i j - P l i j) 2 . (1)

${\cal{L}} _{content}(\vec p, \vec x, l)=\frac{1}{2}\sum_{i,j}(F^l_{ij}-P^l_{ij})^2. \tag 1$

文中是通过把 $\vec x$ 初始化为白噪声图片，然后通过反向传播算法进行优化得到的。其实生成的 $\vec x$ 可以认为是该层特征向量包含的信息的可视化。

高层的特征映射只包含了图像的内容（高层次）以及图像的空间结构信息，忽略了颜色、纹理及形状等信息。

风格重构style reconstruction

本文用Gram矩阵作为风格图片的风格。
Gram矩阵包含了图片纹理信息以及颜色信息，其定义如下：

G l i j = \sum k F i k F j k (2)

$G^l_{ij}=\sum_kF_{ik}F_{jk} \tag 2$
于是

Gl∈ℝNl×Nl $G^l \in \mathbb R^{N_l\times N_l}$ ，称为风格表示style representation。现在希望通过反向传播算法优化白噪声图片，使其风格特征和原风格特征一致。给定风格图片

a⃗ $\vec a$ ，希望生成的图片为

x⃗ $\vec x$ ，对应第

l $l$ 层的Gram矩阵分别为

Al $A^l$ 和

Gl $G^l$ ，定义该层损失函数如下：

E l = 1 4 N 2 l M 2 l \sum i, j (G l i j - A l i j) 2, (3)

$E_l=\frac{1}{4N_l^2M^2_l}\sum_{i,j}(G_{ij}^l-A_{ij}^l)^2, \tag 3$
总损失函数为

 s t y l e = \sum l = 0 L ω l E l, (4)

${\cal L}_{style}=\sum_{l=0}^L\omega_lE_l, \tag 4$

ωl $\omega_l$ 是每层的权重，文章中取style层对应的权重是style层数目的倒数，其他层权重为0。

看到到这里不得不问两个问题：为什么Gram矩阵可以表示图片的风格？是否有其他方法表示图片风格？

风格迁移

为了生成融合图片 $\vec a$ 的风格和图片 $\vec p$ 的内容的图片 $\vec x$ ，同时最小化图片 $\vec x$ 与 $\vec p$ 的某层内容表示之间的差距和 $\vec x$ 与 $\vec a$ 的多层风格表示之间的差距。损失函数为

 t o t a l (p ⃗, a ⃗, x ⃗) = α  c o n t e n t (p ⃗, x ⃗) + β  s t y l e (a ⃗, x ⃗) . (5)

${\cal L}_{total}(\vec p, \vec a, \vec x)=\alpha{\cal L}_{content}(\vec p, \vec x)+\beta{\cal L}_{style}(\vec a, \vec x). \tag 5$

实验

网络模型采用19层的VGG网络。首先以内容图片作为输入，得到内容层的特征矩阵，作为内容目标；以风格图片作为输入，得到风格层的Gram矩阵，作为风格目标。在VGG中添加内容损失层以及风格损失层，以白噪声图片作为输入，通过反向传播计算损失函数关于输入的梯度，然后更新图片。这个过程不同于一般的训练过程：并不更新中间层的参数，这是Deconvolution操作。

Johnson的复现实验[3]指定输入图片的大小默认为512*512，这个时候需要的内容大概是4.5G（通过监控实验过程中消耗的内存百分比得到的）。我的GPU内存只有3G，所以如果在GPU上运行程序，会出现内存不够的错误。所以改用较慢的CPU，为一幅图片进行风格迁移花了大概50mins。

算法存在的问题

本文算法虽然生成的图片看起来很不错，但是仍存在以下问题：

由于每次迁移都要对网络进行训练，速度是非常慢的，无法实现实时迁移；
应用在照片上进行风格迁移，会出现失真的情况；

针对第一个问题，Johnson提出的fast-neural -style在本文网络模型前增加一个转换网络，转换网络的输入是内容图片，输出是风格迁移图片。而本文的网络模型称为损失网络，用于计算损失。为每个风格图片训练一个网络，这样在测试时，给定一张内容图片，只需要一次前向过程即可得到生成图片。关于此改进的详细信息，请查看博客深度学习之风格迁移（二）——Fast Neural Style(Johnson) 。

这对第二个问题，康奈尔大学和Adobe公司合作推出了一篇文章：Deep Photo Style Transfer，通过对损失函数进行改进，使得可以在照片之间进行风格迁移且不失真。具体请看博客深度学习之风格迁移（三）——Deep Photo Style Transfer(Fujun Luan) 。

参考

[1] A Neural Algorithm of Artistic Style. Leon A. Gatys, Alexander S. Ecker, and Matthias Bethge.
[2] Image Style Transfer Using Convolutional Neural Networks. Leon A. Gatys, Alexander S. Ecker, and Matthias Bethge. CVPR 2016.
[3] neural-style in Github by Johnson.

本文链接：https://blog.csdn.net/VictoriaW/article/details/71663332

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

Android基础学习（二）—— 常用控件_安卓控件_浅唱整个春天的博客-程序员秘密

android基础学习

spring batch学习笔记之元数据表_spring batch元数据表_财神爷驾到了的博客-程序员秘密

作用spring batch框架通过元数据表（meta data tables）来保存每个job的执行情况。包括记录每个job的名称和参数，每个job execution的状态和执行结果，每个tasklet的状态和执行结果等。配置为了能让JAVA代码访问元数据表，需要做如下配置：（1）库表准备假设通过MySQL来存储元数据，需要确保已经安装MySQL，然后创建数据库和初

python学习笔记[2]-join 和 split_aizhi5208的博客-程序员秘密

python join 和 split方法的使用,join用来连接字符串，split恰好相反，拆分字符串的。1.join用法示例 >>>li = ['my','name','is','bob'] >>>' '.join(li) 'my name is bob' >>>'_'.join(li) 'my_...

Zbrush2021写实人物肖像雕刻学习教程_云桥网络.的博客-程序员秘密

Zbrush 2021写实人物肖像雕刻学习教程 Zbrush 2021 Character Likeness Sculpting Tutorial大小解压后：24G 持续时间32h 1280X720 MP4 语言：英语+中英文字幕（根据原英文字幕机译更准确）标题:Udemy–Zbrush 2021人物肖像雕刻教程信息:安东尼·霍普金斯相似课程:你唯一需要的相似课程是让任何角色变得更像真人。你会学到什么–如何塑造照片写实的人物形象–如何将您的模型与参考相匹配。–如何在Zbrush中制..

python处理考勤数据_利用Python实现对考勤打卡数据处理的总结_weixin_39899226的博客-程序员秘密

利用Python实现对考勤打卡数据处理的总结一、背景交代二、说明三、 8种方法1. 查看文件是否存在2. 导入excel文件，并把数据保存为dataframe格式3. 计算程序运行时间4. 对格式为“年-月-日时:分:秒”的时间进行截取5. 利用已有一列得到一个新列6. 数据聚合7. 数据合并(两个dataframe的合并)8. 程序运行完毕，自主决定关闭运行窗口四、主要参考资料五、后记一、背景...

Spring实战——Bean定义中的SpEL表达式语言支持_chengqiuming的博客-程序员秘密

一配置<?xml version="1.0" encoding="GBK"?><beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http:/...