有码变高清！一秒还原马赛克-程序员宅基地
文末有干货 “Python高校”，马上关注
真爱，请置顶或星标
作者 | 贝爽
转自：雷锋网（leiphone-sz）
论文地址：https://arxiv.org/pdf/2003.03808.pdf
像素不够，后期修图来凑？
在知乎搜索低像素修图，结果求助帖多到刷不完，而且从PS技巧、插件神器到各类修图App教程多到眼花缭乱，重点是效果不知道会怎么样。
不过，近日杜克大学（Duke University）研究团队开发了一款AI修图黑科技PULSE，可以解决所有低像素烦恼。据说它能够将图像原始分辨率放大64倍，任何渣画质都可以秒变高清、逼真图像，甚至被打了马赛克的人脸图像，毛孔、皱纹，头发也都能被清晰还原。
1
马赛克秒变高清人像
PULSE是一种新型超分辨率算法，它通过潜在空间探索对照片采样，可以将16x16像素的低分辨率（Low Resolution，简称LR）放大到1024x1024像素的高分辨率（High Resolution，简称HR），在几秒内增加了64倍，而传统方法最多只能放大8倍。
先来看一组示例，修图界最难处理的LR大头照，经过PULSE也可以秒变高清、细腻的图像。
更重要的是，PULSE可以定位面部的关键特征，以更高分辨率生成一组类似的细节。图中尽管头像被打上了马赛克，PULSE也可以自行“想象”出诸如眉毛、睫毛、头发、脸型等面部细节，形成高清、逼真人像。
不过，过度虚化产生的人像只是一种虚拟的新面孔，事实上它并不存在。正因如此，这项技术不能用于身份识别。比如监控摄像头拍摄的失焦、无法辨别的图片，不能通过PULSE还原成真实存在的人像。
一位杜克大学研究小组的计算机科学家Cynthia Rudin说“此前从来没有如此超高分辨率的图像被制作出来，它能够产生不存在的新面孔，而且看起来很真实”。
同时，她补充到，这项研究所采取的技术可以广泛应用于医学、显微镜、天文学，以及卫星图像等领域。另外，该研究团队已将论文已经发表至预印论文库arVix，同时被IEEE国际计算机视觉与模式识别会议（CVPR 2020）收录。
2
“缩减损失”，超越常规修图法
对于一个LR图像，传统将HR分辨率部分匹配给LR图像而获取超高分辨率（SR）的方式，往往会导致HR图像出现感光度差、不平滑，画面失真的情况。
在本次研究中，杜克大学研究团队开拓了一种新思路，提出新型超分辨率算法PULSE，它不是遍历LR图像来慢慢添加细节，而是发现与HR相对应的LR，通过“缩减损失”的方式得到SR图像。
原始LR(第一行),PULSE输出HR（中间行）,HR对应的LR(最后一行)
PULSE使用了生成对抗网络（GAN），它是一种训练模型，顾名思义，通过对抗博弈的方式来进行目标训练。其主要结构包括一个生成器（Generator）和一个鉴别器（Discriminator），在同一组照片训练中，一个负责训练接收到的图像并输出，一个负责接收该输出，并检验其是否足够逼真。
以下是与原图对比后的试验结果：
图中，第一行为原图，第二行为通过“缩减损失”得到的HR所对应的LR，而第三行经过PULSE得到的HR，可以看出，尽管与原图还存在细微的差别，但还原度已经非常高。
论文中表明，为了检验PULSE在SR方面的优势，杜克大学研究团队采用4种不同的图像缩放方法与其进行了比较研究。本次研究利用CelebA HQ数据集中的1440张图像，以x8，x64的比例因子，对LR面部图像，尤其是眼部、唇部以及头发等细节之处进行了试验。
PULSE呈现出了明显的优势，尤其是在X64分辨率下，模糊头像被完全还原，尤其是在眼唇等细节之处，其他方法几乎达不到这样的效果。
另外，针对测试结果，研究人员采用感知超分辨率常见的MOS测试方式，邀请五位评分者对图像结果进行了1-5的打分，结果显示，HR源高清图像分辨率得分为3.74，而PULSE达到了3.60，仅差0.14，可以说几乎达到了真实的高质量图像的水平。
不过，研究人员也承认PULSE还不是很完美。它产生的高分辨率图像与专业原图像相比还有一定的差别。但随着技术和工具的改进，这项技术会被一点点的完善。
现在研究团队已经将PULSE发布到Github开源平台，而且收割了569科颗星星。有修图烦恼的朋友可以安装体验一下~（Github地址：https://github.com/adamian98/pulse）
引用链接：
http://pulse.cs.duke.edu/
https://www.gizmodo.co.uk/2020/06/researchers-have-created-a-tool-that-can-perfectly-depixelate-faces/
https://www.rt.com/news/492091-ai-tech-undo-pixelation/
可以扫码加我微信，大量Python，和AI相关资源，欢迎加我交流
欢迎点击「在看」支持
智能推荐
BAT批处理创建文件桌面快捷方式_批处理创建桌面快捷方式-程序员宅基地
文章浏览阅读1.5w次，点赞9次，收藏26次。简介一个创建某个文件到桌面快捷方式的BAT批处理.代码@echooff::设置程序或文件的完整路径（必选）setProgram=D:\Program Files (x86)\格式工厂.4.2.0\FormatFactory.exe::设置快捷方式名称（必选）setLnkName=格式工厂v4.2.0::设置程序的工作路径，一般为程序主目录，此项若留空，脚本将..._批处理创建桌面快捷方式
射频识别技术漫谈（6-10）_芯片 ttf模式-程序员宅基地
文章浏览阅读2k次。射频识别技术漫谈（6-10），概述RFID的通讯协议；射频ID卡的原理与实现，数据的传输与解码；介绍动物标签属性与数据传输；RFID识别号的变化等_芯片 ttf模式
Python 项目实战 —— 手把手教你使用 Django 框架实现支付宝付款_django 对接支付宝接口流程-程序员宅基地
文章浏览阅读1.1k次。今天小编心血来潮，为大家带来一个很有趣的项目，那就是使用 Python web 框架 Django 来实现支付宝支付，废话不多说，一起来看看如何实现吧。_django 对接支付宝接口流程
Zabbix 5.0 LTS在清理历史数据后最新数据不更新_zabbix问题没有更新-程序员宅基地
文章浏览阅读842次。Zabbix 5.0 LTS，跑了一年多了一直很稳定，前两天空间显示快满了，于是手贱清理了一下history_uint表（使用mysql truncate），结果折腾了一周。大概故障如下：然后zabbix论坛、各种群问了好久都没解决，最后自己一番折腾似乎搞定了。初步怀疑，应该是由于历史数据被清空后，zabbix需要去处理数据，但是数据量太大，跑不过来，所以来不及更新了（？）..._zabbix问题没有更新
python学习历程_基础知识（2day）-程序员宅基地
文章浏览阅读296次。一、数据结构之字典 key-value
mybatis-plus字段策略注解strategy_mybatisplus strategy-程序员宅基地
文章浏览阅读9.7k次，点赞3次，收藏13次。最近项目中遇到一个问题，是关于mybatis-plus的字段注解策略，记录一下。1问题调用了A组件（基础组件），来更新自身组件的数据，发现自己组件有个字段总是被清空。2原因分析调用的A组件的字段，属于基础字段，自己业务组件，对这个基础字段做了扩展，增加了业务字段。但是在自己的组件中的实体注解上，有一个注解使用错误。mybatis-plus封装的updateById方法，如果..._mybatisplus strategy
随便推点
信息检索笔记-索引构建_为某一文档及集构件词项索引时,可使用哪些索引构建方法-程序员宅基地
文章浏览阅读3.8k次。如何构建倒排索引，我们将这个过程叫做“索引构建”。如果我们的文档很多，这样索引就一次性装不下内存，该如何构建。硬件的限制 我们知道ram读写是随机的操作，只要输入相应的地址单元就能瞬间将数据读出来或者写进去。但是磁盘不行，磁盘必须有一个寻道的过程，外加一个旋转时间。那么只有涉及到磁盘，我们就可以考虑怎么节省I/O操作时间。【注】操作系统往往以数据块为单位进行读写。因为读一_为某一文档及集构件词项索引时,可使用哪些索引构建方法
IT巨头英特尔看好中国市场前景-程序员宅基地
文章浏览阅读836次。英特尔技术与制造事业部副总裁卞成刚7日在财富论坛间隙接受中新社记者采访时表示，该公司看好中国市场前景，扎根中国并以此走向世界是目前最重要的战略之一。卞成刚说，目前该公司正面临战略转型，即从传统PC服务领域扩展至所有智能设施领域，特别是移动终端。而中国目前正引领全球手机市场，预计未来手机、平板电脑等方面的发明创新将大量在中国市场涌现，并推向全球。持相同态度的还有英特尔中国区执行董事戈峻。戈峻
ceph中的radosgw相关总结_radosgw -c-程序员宅基地
文章浏览阅读627次。https://blog.csdn.net/zrs19800702/article/details/53101213http://blog.csdn.net/lzw06061139/article/details/51445311https://my.oschina.net/linuxhunter/blog/654080rgw 概述Ceph 通过radosgw提供RES..._radosgw -c
前端数据可视化ECharts使用指南——制作时间序列数据的可视化曲线_echarts 时间序列-程序员宅基地
文章浏览阅读3.7k次，点赞6次，收藏9次。我为什么选择ECharts ? 本周学校课程设计，原本随机佛系选了一个51单片机来做音乐播放器，结果在粗略玩了CN-DBpedia两天后才回过神，课设还没有开始整。于是懒癌发作，碍于身上还有比赛的作品没交，本菜鸡对硬件也没啥天赋，所以就直接把题目切换成软件方面的题目。写python的同学选择了一个时间序列数据的可视化曲线程序设计题目，果真python在数据可视化这一点性能很优秀。..._echarts 时间序列
ApplicationEventPublisherAware事件发布-程序员宅基地
文章浏览阅读1.6k次。事件类：/** * * * @className: EarlyWarnPublishEvent * * @description:数据风险预警发布事件 * * @param: * * @return: * * @throws: * * @author: lizz * * @date: 2020/05/06 15:31 * */public cl..._applicationeventpublisheraware
自定义View实现仿朋友圈的图片查看器，缩放、双击、移动、回弹、下滑退出及动画等_imageview图片边界回弹-程序员宅基地
文章浏览阅读1.2k次。如需转载请注明出处！点击小图片转到图片查看的页面在Android开发中很常用到，抱着学习和分享的心态，在这里写下自己自定义的一个ImageView，可以实现类似微信朋友圈中查看图片的功能和效果。主要功能需求：1.缩放限制：自由缩放，有最大和最小的缩放限制 2居中显示：.若图片没充满整个ImageView，则缩放过程将图片居中 3.双击缩放：根据当前缩放的状态，双击放大两倍或缩小到原来 4.单指_imageview图片边界回弹