作者：Jack Cui
转发链接：https://mp.weixin.qq.com/s/T5LHHHgxwwZLn7RI3u3T3Q
前言
万恶的马赛克，是阻碍人类进步的绊脚石。
马赛克“脑补”算法 PULSE，助你图片模糊变高清。
这是杜克大学近期的一项研究，将模糊人脸秒变高清。
PULSE 算法目前只支持人脸的马赛克“去除”，因为训练数据都是人脸。
也就是说，“脑补”其它物体马赛克下的内容也是可以的，只要你有数据！
我知道，你一定又有了一些大胆的想法！
「 Just do it 」 !
今天，继续手把手教学。
算法原理、环境搭建、效果测试，一条龙服务，尽在下文！
2 算法原理
PULSE 算法可以在几秒内，将 16x16 像素的低分辨率（Low Resolution，以下简称 LR）小图，放大 64 倍，变成 1024 x 1024 像素的高分辨率（High Resolution，以下简称 HR）图像。
PULSE 算法会「脑补」出 LR 图像一些不存在的特征，补充细节，例如纹理、毛孔、毛发等：
左图为原始 LR 图片，右图为 PULSE 算法生成的 HR 图片。
PULSE 算法的思路是，拿到一张 LR 图片，使用 stylegan 生成 HR 图片，再将 HR 图片 downscale 得到的 LR 图片与原始 LR 图片对比，一直迭代收敛，找到最接近的那张。如下图所示：
原始 LR 图片和 PULSE 修复后再 donwscale 的 LR 图片对，使两者最接近的 HR 图片，就是修复得到的 HR 图片。
该算法在著名的高分辨率人脸数据集 CelebA HQ 上进行了效果评估，用 64×，32× 和 8× 的比例因子，采用不同的算法，进行了对比实验。
实验表明，PULSE 算法的效果最佳，得分几乎与真实的高质量照片一样高。
通过上图，可以清晰地看到，PULSE 算法在人脸不同位置的纹理细节。
不过 PULSE 算法也有一定的局限性，它无法将失焦、不能识别的人脸照片，变成照片真人的清晰图像，它仅会生成不存在但看上去很真实的新面孔。
说白了，PULSE 生成的高清图片，是「脑补」出来的，与真实的人脸照片可能存在差别。
3 环境搭建
PULSE 算法采用 Pytorch 实现，使用了 dlib 人脸库的一些 API。
项目地址： https://github.com/adamian98/pulse
环境搭建不复杂，工程里的 pulse.yml 文件，已经写明了依赖环境。
name: pulse
channels:
- pytorch
- defaults
dependencies:
- blas=1.0=mkl
- ca-certificates=2020.1.1=0
- certifi=2020.4.5.1=py38_0
- cffi=1.14.0=py38hc512035_1
- chardet=3.0.4=py38_1003
- cryptography=2.9.2=py38ha12b0ac_0
- cycler=0.10.0=py38_0
- freetype=2.9.1=hb4e5f40_0
- idna=2.9=py_1
- intel-openmp=2019.4=233
- jpeg=9b=he5867d9_2
- kiwisolver=1.2.0=py38h04f5b5a_0
- libcxx=10.0.0=1
- libedit=3.1.20181209=hb402a30_0
- libffi=3.3=h0a44026_1
- libgfortran=3.0.1=h93005f0_2
- libpng=1.6.37=ha441bb4_0
- libtiff=4.1.0=hcb84e12_0
- matplotlib=3.1.3=py38_0
- matplotlib-base=3.1.3=py38h9aa3819_0
- mkl=2019.4=233
- mkl-service=2.3.0=py38hfbe908c_0
- mkl_fft=1.0.15=py38h5e564d8_0
- mkl_random=1.1.0=py38h6440ff4_0
- ncurses=6.2=h0a44026_1
- ninja=1.9.0=py38h04f5b5a_0
- numpy=1.18.1=py38h7241aed_0
- numpy-base=1.18.1=py38h6575580_1
- olefile=0.46=py_0
- openssl=1.1.1g=h1de35cc_0
- pandas=1.0.3=py38h6c726b0_0
- pillow=7.1.2=py38h4655f20_0
- pip=20.0.2=py38_3
- pycparser=2.20=py_0
- pyopenssl=19.1.0=py38_0
- pyparsing=2.4.7=py_0
- pysocks=1.7.1=py38_0
- python=3.8.2=hf48f09d_13
- python-dateutil=2.8.1=py_0
- pytorch=1.5.0=py3.8_0
- pytz=2020.1=py_0
- readline=8.0=h1de35cc_0
- requests=2.23.0=py38_0
- scipy=1.4.1=py38h44e99c9_0
- setuptools=46.2.0=py38_0
- six=1.14.0=py38_0
- sqlite=3.31.1=h5c1f38d_1
- tk=8.6.8=ha441bb4_0
- torchvision=0.6.0=py38_cpu
- tornado=6.0.4=py38h1de35cc_1
- urllib3=1.25.8=py38_0
- wheel=0.34.2=py38_0
- xz=5.2.5=h1de35cc_0
- zlib=1.2.11=h1de35cc_3
- zstd=1.3.7=h5bba6e5_0
- pip:
- dlib==19.19.0
prefix: /path/to/your/anaconda3/envs/pulse直接使用 pulse.yml 文件，用 Anaconda 进行环境配置。
修改 pulse.yml 文件中 prefix 的路径为你的 Anaconda 路径，然后使用指令创建环境：
conda create -f pulse.yml这是官方推荐的方法。亲测，依然遇到了一些依赖问题。
最后一个一个依赖包安装才解决，所以我建议是使用 Anaconda 通过第三方库的包名安装，不用管版本啥的，例如：
conda install ca-certificates requestslibcxx、libedit 等这类的 lib 库不用安装，Anaconda 在创建 Python 环境的时候已经安装好了。
这里面稍微难安装的就是 dlib，dlib 需要使用 cmake 进行编译，所以需要先安装好 cmake，这里使用 pip 安装即可：
python -m pip install cmake dlib都搞定了，环境就算搭建完成了。
4 效果测试
PULSE 项目地址：https://github.com/adamian98/pulse
下载项目到本地：
git clone https://github.com/adamian98/pulse项目提供了 pretrained model ，模型放在了 Google Drive ，不能翻墙的无法下载。
所以我将模型下载好，上传到了我的百度网盘。
下载地址（提取码：3gpq）：
https://pan.baidu.com/s/13NZ8RY8KSogY78xh3gpcJA
在工程目录，创建 cache、realpics 两个文件夹，将下载好的三个文件放到 cache 文件夹内。
然后将下图放到 realpics 文件夹内，我们以此图为例，进行测试。
图片下载地址：
https://cuijiahua.com/wp-content/uploads/2020/07/dl-21-6.jpg
首先，我们使用 align_face.py 对图片 downscale。
python align_face.py程序使用 dlib 检测人脸框，并对检测到的人脸进行降低分辨率处理，默认降低为 32x32 分辨率的图片。
生成的图片会放到 input 文件夹内，如果将图片放大到 1024x1024，就是相当于一张布满马赛克的图片。
有了这张 LR 图片，也就是低分辨率图片，使用 PULSE 算法，看下「脑补」效果吧！
python run.py -steps=2000运行 run.py ，迭代 2000 steps，在 runs 文件夹下就会生成“去除”马赛克后的「脑补」图。
「脑补」图跟原图还是有些神似的！
5 争议
我们都知道，今年 5 月 25 日美国的「跪杀黑人」事件。
由此引发了美国有史以来，最大规模的游行抗议。
6 月份，吃“美国瓜”的人应该不在少数，比如我就在 YouTube 上吃了一个月的瓜。
每个国家都有自己的敏感话题。
而美国，现在的敏感话题就是「种族歧视」。
PULSE 算法惹了大麻烦。
PULSE 采用 CelebA-HQ 训练的模型，数据集都是白人，因此算法「脑补」出的也都是白人脸。
这在如今高喊「黑命贵」的美国，无疑是一股扎眼的“逆流”。
有网友就拿奥巴马的低分辨率照片进行测试，结果生成的都是白人男性，更加坐实了 PULSE 算法的「种族歧视」罪名。
PULSE 算法，以及相关的研究人员，因此被打上了「种族偏见」的标签。
甚至深度学习领军人物 LeCun 因为替 PULSE 说话，也不幸躺枪。
我倒是在想，以后美国科研的数据集是不是也得像美国电影一样，一部剧必须得有黑人演员才行，否则就算「政治不正确」。
扛着「政治正确」大旗的人们“口诛笔伐”异己，欲加之罪，何患无辞。
技术，有罪吗？
6 最后
- PULSE 算法对于非数据集的数据，「脑补」效果一般。
- 想用 PULSE 算法，“去除”人脸以外的马赛克图，需要建立数据集，重新训练模型。
推荐JavaScript学习相关文章
《学习 jQuery 源码整体架构，打造属于自己的 js 类库》
《Angular v10.0.0 正式发布，不再支持 IE9/10》
《「实践」浏览器中的画中画（Picture-in-Picture）模式及其 API》
《「多图」一文带你彻底搞懂 Web Workers （上）》
《「多图」一文带你彻底搞懂 Web Workers （中）》
《webpack4主流程源码解说以及动手实现一个简单的webpack（上）》
《webpack4主流程源码解说以及动手实现一个简单的webpack（下）》
《前后端全部用 JS 开发是什么体验（Hybrid + Egg.js经验分享）上》
《前后端全部用 JS 开发是什么体验（Hybrid + Egg.js经验分享）中》
《前后端全部用 JS 开发是什么体验（Hybrid + Egg.js经验分享）下》
《一文带你搞懂 babel-plugin-import 插件（上）「源码解析」》
《一文带你搞懂 babel-plugin-import 插件（下）「源码解析」》
《教你如何使用内联框架元素 IFrames 的沙箱属性提高安全性？》
《细说DOM API中append和appendChild的三个不同点》
《NodeX Component - 滴滴集团 Node.js 生态组件体系「实践」》
《浅谈浏览器架构、单线程js、事件循环、消息队列、宏任务和微任务》
《了不起的 Webpack HMR 学习指南（上）「含源码讲解」》
《了不起的 Webpack HMR 学习指南（下）「含源码讲解」》
《图解 Promise 实现原理（二）：Promise 链式调用》
《图解 Promise 实现原理（三）：Promise 原型方法实现》
《图解 Promise 实现原理（四）：Promise 静态方法实现》
《使用Service Worker让你的 Web 应用如虎添翼（上）「干货」》
《使用Service Worker让你的 Web 应用如虎添翼（中）「干货」》
《使用Service Worker让你的 Web 应用如虎添翼（下）「干货」》
《一个轻量级 JavaScript 全文搜索库，轻松实现站内离线搜索》
《细品269个JavaScript小函数，让你少加班熬夜（一）「值得收藏」》
《细品269个JavaScript小函数，让你少加班熬夜（二）「值得收藏」》
《细品269个JavaScript小函数，让你少加班熬夜（三）「值得收藏」》
《细品269个JavaScript小函数，让你少加班熬夜（四）「值得收藏」》
《细品269个JavaScript小函数，让你少加班熬夜（五）「值得收藏」》
《细品269个JavaScript小函数，让你少加班熬夜（六）「值得收藏」》
《手把手教你7个有趣的JavaScript 项目-上「附源码」》
《手把手教你7个有趣的JavaScript 项目-下「附源码」》
《JavaScript 使用 mediaDevices API 访问摄像头自拍》
《一文彻底搞懂JavaScript 中Object.freeze与Object.seal的用法》
《可视化的 JS：动态图演示 - 事件循环 Event Loop的过程》
《可视化的 js：动态图演示 Promises & Async/Await 的过程》
《Pug 3.0.0正式发布，不再支持 Node.js 6/8》
《通过发布/订阅的设计模式搞懂 Node.js 核心模块 Events》
《「速围」Node.js V14.3.0 发布支持顶级 Await 和 REPL 增强功能》
《JavaScript 已进入第三个时代，未来将何去何从？》
《前端上传前预览文件 image、text、json、video、audio「实践」》
《深入细品 EventLoop 和浏览器渲染、帧动画、空闲回调的关系》
《推荐13个有用的JavaScript数组技巧「值得收藏」》
《36个工作中常用的JavaScript函数片段「值得收藏」》
《一文了解文件上传全过程（1.8w字深度解析）「前端进阶必备」》
《手把手教你如何编写一个前端图片压缩、方向纠正、预览、上传插件》
《JavaScript正则深入以及10个非常有意思的正则实战》
《前端开发规范：命名规范、html规范、css规范、js规范》
《100个原生JavaScript代码片段知识点详细汇总【实践】》
《手把手教你深入巩固JavaScript知识体系【思维导图】》
《一个合格的中级前端工程师需要掌握的 28 个 JavaScript 技巧》
《身份证号码的正则表达式及验证详解(JavaScript，Regex)》
《127个常用的JS代码片段，每段代码花30秒就能看懂-【上】》
《深入浅出讲解JS中this/apply/call/bind巧妙用法【实践】》
《干货满满!如何优雅简洁地实现时钟翻牌器(支持JS/Vue/React)》
《面试中教你绕过关于 JavaScript 作用域的 5 个坑》
作者：Jack Cui
转发链接：https://mp.weixin.qq.com/s/T5LHHHgxwwZLn7RI3u3T3Q