文末有干货 “Python高校”,马上关注
真爱,请置顶或星标
作者 | 贝爽
转自:雷锋网(leiphone-sz)
论文地址:https://arxiv.org/pdf/2003.03808.pdf
像素不够,后期修图来凑?
在知乎搜索低像素修图,结果求助帖多到刷不完,而且从PS技巧、插件神器到各类修图App教程多到眼花缭乱,重点是效果不知道会怎么样。
不过,近日杜克大学(Duke University)研究团队开发了一款AI修图黑科技PULSE,可以解决所有低像素烦恼。据说它能够将图像原始分辨率放大64倍,任何渣画质都可以秒变高清、逼真图像,甚至被打了马赛克的人脸图像,毛孔、皱纹,头发也都能被清晰还原。
1
马赛克秒变高清人像
PULSE是一种新型超分辨率算法,它通过潜在空间探索对照片采样,可以将16x16像素的低分辨率(Low Resolution,简称LR)放大到1024x1024像素的高分辨率(High Resolution,简称HR),在几秒内增加了64倍,而传统方法最多只能放大8倍。
先来看一组示例,修图界最难处理的LR大头照,经过PULSE也可以秒变高清、细腻的图像。
更重要的是,PULSE可以定位面部的关键特征,以更高分辨率生成一组类似的细节。图中尽管头像被打上了马赛克,PULSE也可以自行“想象”出诸如眉毛、睫毛、头发、脸型等面部细节,形成高清、逼真人像。
不过,过度虚化产生的人像只是一种虚拟的新面孔,事实上它并不存在。正因如此,这项技术不能用于身份识别。比如监控摄像头拍摄的失焦、无法辨别的图片,不能通过PULSE还原成真实存在的人像。
一位杜克大学研究小组的计算机科学家Cynthia Rudin说“此前从来没有如此超高分辨率的图像被制作出来,它能够产生不存在的新面孔,而且看起来很真实”。
同时,她补充到,这项研究所采取的技术可以广泛应用于医学、显微镜、天文学,以及卫星图像等领域。另外,该研究团队已将论文已经发表至预印论文库arVix,同时被IEEE国际计算机视觉与模式识别会议(CVPR 2020)收录。
2
“缩减损失”,超越常规修图法
对于一个LR图像,传统将HR分辨率部分匹配给LR图像而获取超高分辨率(SR)的方式,往往会导致HR图像出现感光度差、不平滑,画面失真的情况。
在本次研究中,杜克大学研究团队开拓了一种新思路,提出新型超分辨率算法PULSE,它不是遍历LR图像来慢慢添加细节,而是发现与HR相对应的LR,通过“缩减损失”的方式得到SR图像。
原始LR(第一行),PULSE输出HR(中间行),HR对应的LR(最后一行)
PULSE使用了生成对抗网络(GAN),它是一种训练模型,顾名思义,通过对抗博弈的方式来进行目标训练。其主要结构包括一个生成器(Generator)和一个鉴别器(Discriminator),在同一组照片训练中,一个负责训练接收到的图像并输出,一个负责接收该输出,并检验其是否足够逼真。
以下是与原图对比后的试验结果:
图中,第一行为原图,第二行为通过“缩减损失”得到的HR所对应的LR,而第三行经过PULSE得到的HR,可以看出,尽管与原图还存在细微的差别,但还原度已经非常高。
论文中表明,为了检验PULSE在SR方面的优势,杜克大学研究团队采用4种不同的图像缩放方法与其进行了比较研究。本次研究利用CelebA HQ数据集中的1440张图像,以x8,x64的比例因子,对LR面部图像,尤其是眼部、唇部以及头发等细节之处进行了试验。
PULSE呈现出了明显的优势,尤其是在X64分辨率下,模糊头像被完全还原,尤其是在眼唇等细节之处,其他方法几乎达不到这样的效果。
另外,针对测试结果,研究人员采用感知超分辨率常见的MOS测试方式,邀请五位评分者对图像结果进行了1-5的打分,结果显示,HR源高清图像分辨率得分为3.74,而PULSE达到了3.60,仅差0.14,可以说几乎达到了真实的高质量图像的水平。
不过,研究人员也承认PULSE还不是很完美。它产生的高分辨率图像与专业原图像相比还有一定的差别。但随着技术和工具的改进,这项技术会被一点点的完善。
现在研究团队已经将PULSE发布到Github开源平台,而且收割了569科颗星星。有修图烦恼的朋友可以安装体验一下~(Github地址:https://github.com/adamian98/pulse)
引用链接:
http://pulse.cs.duke.edu/
https://www.gizmodo.co.uk/2020/06/researchers-have-created-a-tool-that-can-perfectly-depixelate-faces/
https://www.rt.com/news/492091-ai-tech-undo-pixelation/
可以扫码加我微信,大量Python,和AI相关资源,欢迎加我交流
欢迎点击「在看」支持
文章浏览阅读3.6k次。需求背景EasyDarwin开发团队维护EasyDarwin开源流媒体服务器也已经很多年了,之前也陆陆续续尝试过很多种服务端录像的方案,有:在EasyDarwin中直接解析收到的RTP包,重新组包录像;也有:在EasyDarwin中新增一个RecordModule,再以RTSPClient的方式请求127.0.0.1自己的直播流录像,但这些始终都没有成气候;我们的想法是能够让整套EasyDarwin_开源录播系统
文章浏览阅读1.1w次。今天碰到一个执行语句等了半天没有执行:delete table XXX where ......,但是在select 的时候没问题。后来发现是在执行select * from XXX for update 的时候没有commit,oracle将该记录锁住了。可以通过以下办法解决: 先查询锁定记录 Sql代码 SELECT s.sid, s.seri_oracle delete update 锁表问题
文章浏览阅读3.4k次。报错信息error:Undefined symbol: typeinfo for sdk::IConfigUndefined symbol: vtable for sdk::IConfig具体信息:Undefined symbols for architecture x86_64: "typeinfo for sdk::IConfig", referenced from: typeinfo for sdk::ConfigImpl in sdk.a(config_impl.o) _xcode undefined symbols:
文章浏览阅读249次。背景《承接上文,项目05(Mysql升级06Mysql5.6.51升级到Mysql5.7.32)》,写在前面需要(考虑)检查和测试的层面很多,不限于以下内容。参考文档https://dev.mysql.com/doc/refman/8.0/en/upgrade-prerequisites.htmllink推荐阅读以上链接,因为对应以下问题,有详细的建议。官方文档:不得存在以下问题:0.不得有使用过时数据类型或功能的表。不支持就地升级到MySQL 8.0,如果表包含在预5.6.4格_mysql8.0.26 升级32
文章浏览阅读3.7k次。一.安装基本环境工具:1.安装git工具sudo apt install wget g++ git2.检查并安装java等环境工具2.1、执行下面安装命令#!/bin/bashsudoapt-get-yinstall--upgraderarunrarsudoapt-get-yinstall--upgradepython-pippython3-pip#aliyunsudoapt-get-yinstall--upgradeopenjdk..._高通8155 qnx 源码
文章浏览阅读461次。firebase 与谷歌 大多数开发人员都听说过Google的Firebase产品。 这就是Google所说的“ 移动平台,可帮助您快速开发高质量的应用程序并发展业务。 ”。 它基本上是大多数开发人员在构建应用程序时所需的一组工具。 在本文中,我将介绍这些工具,并指出您选择使用Firebase时需要了解的所有内容。 在开始之前,我需要说的是,我不会详细介绍Firebase提供的所有工具。 我..._firsebase 与 google
文章浏览阅读1.2k次。在容器化应用中,每个环境都要独立的打一个镜像再给镜像一个特有的tag,这很麻烦,这就要用到k8s原生的配置中心configMap就是用解决这个问题的。使用configMap部署应用。这里使用nginx来做示例,简单粗暴。直接用vim常见nginx的配置文件,用命令导入进去kubectl create cm nginx.conf --from-file=/home/nginx.conf然后查看kub..._pod mount目录会自动创建吗
文章浏览阅读169次。随着互联网技术的发发展,计算机技术广泛应用在人们的生活中,逐渐成为日常工作、生活不可或缺的工具,高校各种管理系统层出不穷。高校作为学习知识和技术的高等学府,信息技术更加的成熟,为新生报到管理开发必要的系统,能够有效的提升管理效率。一直以来,新生报到一直没有进行系统化的管理,学生无法准确查询学院信息,高校也无法记录新生报名情况,由此提出开发基于微服务的分布式新生报到系统,管理报名信息,学生可以在线查询报名状态,节省时间,提高效率。_关于spring cloud的参考文献有啥
文章浏览阅读3.2k次。Public MustInherit Class Contact '只能作基类且不能实例化 Private mID As Guid = Guid.NewGuid Private mName As String Public Property ID() As Guid Get Return mID End Get_vb.net 继承多个接口
文章浏览阅读1.7k次。1.美图# 2.概述因为要上传我的所有仓库的包,希望nexus中已有的包,我不覆盖,没有的添加。所以想批量上传jar。3.方案1-脚本批量上传PS:nexus3.x版本只能通过脚本上传3.1 批量放入jar在mac目录下,新建一个文件夹repo,批量放入我们需要的本地库文件夹,并对文件夹授权(base) lcc@lcc nexus-3.22.0-02$ mkdir repo2..._nexus3 批量上传jar包 java代码
文章浏览阅读6.6k次,点赞6次,收藏30次。本文转自http://blog.csdn.net/charleslei/article/details/486519531、什么是场在介绍Deinterlacer去隔行处理的方法之前,我们有必要提一下关于交错场和去隔行处理的基本知识。那么什么是场呢,场存在于隔行扫描记录的视频中,隔行扫描视频的每帧画面均包含两个场,每一个场又分别含有该帧画面的奇数行扫描线或偶数行扫描线信息,_mipi去隔行
文章浏览阅读1.7k次。DATA L_ENDDA TYPE SY-DATUM. IF P_DATE IS INITIAL. CONCATENATE SY-DATUM(4) '1231' INTO L_ENDDA. ELSE. CONCATENATE P_DATE(4) '1231' INTO L_ENDDA. ENDIF. DATA: LV_RESET(1) TY_abap 自定义 search help