杜甫在线演唱事业再现兵马俑都能开口措辞AI打破次元壁

量子位 宣布 | "大众号 QbitAI

霍格沃茨的同学们都知道，想要进入格兰芬多安歇室，得先过胖夫人这一关。

以是，会说话的照片/画像它科学吗？

实在，在AI时期的麻瓜天下里，这早就不算事儿了。

不信，你看看这个激情演唱迪迦奥特曼主题曲《奇迹再现》的杜甫：

△网友：0202年，杜甫越来越忙了

还有这个目光如炬，侃侃而谈的明太祖朱元璋：

以及从大秦帝国穿越而来的这位大哥：

谁见了不得喊一句：鹅妹子嘤。

想必你已经猜到了，这样的「邪术」依然是由AI带来，涉及的技能包括图像天生、运动估计等等。

而打造这些作品的，便是那位给100年前的北平城上色的独立艺术家、微博博主@大谷Spitzer。

就仅仅在8月份月，@大谷Spitzer 在微博上先后被@公民日报 、@央视新闻、@头条新闻 等诸多媒体和微博大号“点名”，粗略统计微博上关于他的视频总播放量达数千万。

用一个时下热门的词来说，@大谷Spitzer 这位原来将自己定位为“游戏”的博主，凭借AI还原技能一夜之间在微博“出圈”了。

背后的AI黑科技

那么，AI详细是怎么让这些艺术作品动起来的呢？

大谷先容，基于YouTube大神Denis Shiryaev的教程，他这次用到的AI项目分别是（链接见文末）：

ArtbreederStyleGAN-ArtRealistic-Neural-Talking-Head-ModelsFirst-Order-Model（加文章超链）DAINTopaz LabsArtbreeder

Artbreeder是一个基于天生对抗网络（GAN）技能的在线图像天生网站。

在Artbreeder上，用户可以通过调度滑块，来创建不同风格的人像、动画。

StyleGAN-Art

StyleGAN是英伟达在2018年发布的人脸天生模型，支持2014×1024的高清大图天生。

并在2019年升级成为了效果更加逼真、无暇的StyleGAN2。

StyleGAN-Art则是经由了分外调教的StyleGAN，专注于肖像画的天生。
效果是酱婶的：

Realistic-Neural-Talking-Head-Models

这项研究来自莫斯科三星AI中央和斯科尔科沃科学技能研究所。

只须要少量图像样本，就能学习到高度逼真和个性化的目标人物面部模型。
乃至对付肖像画也一样适用。

First-Order-Model

一张名人照片，加上随便一段视频，就能让照片里的人物分分钟动起来。

比如输入一段川普的视频，原来静止在画面中的史塔克们，也忍不住随着动了起来。

这便是来自意大利特伦托大学的「First-Order-Model」。

DAIN

DAIN是上海交通大学开拓的插帧算法，能把30fps的视频一口气插帧到480fps，让视频丝滑流畅，毫无卡顿。

△看琦玉老师这丝滑的披风

并且，这项技能不仅适用于真实拍摄的视频，电影、定格动画、动漫都能搞定。

Topaz Labs

Topaz Labs的能力，是基于机器学习技能和trimap技能，增加照片的分辨率，补充像素细节。

供应添加蒙版，AI色彩、细节增强，AI降噪，无丢失放大等功能。

不过，这是一系列收费软件。

当然，除了这些AI黑科技，作者的耐心调教也是不可或缺的。

大谷本人也在接管新京报采访时坦承，制作过程中，翻车的例子也不少。

没有点亮AI技能点怎么办？

末了的末了，还有一个问题：

如果没有点亮AI技能点，就不能亲自体验这样的「邪术时候」了吗？

或许，你可以期待一下Adobe的产品。

在去年的Adobe MAX大会上，Adobe露了这么一手：加入音轨，画中人就能一键对口型。

哪怕只是简笔画，也能被授予自然的动态。

Adobe表示，在不远的将来，这样的功能可能会涌如今Adobe百口桶里面，作为新增功能或新产品涌现。

介时，穿越到哈利波特的天下还不是分分钟的事？（狗头）

传送门

完全视频： https://weibo.com/1649367031/JhgqvED8r?filter=hot&root_comment_id=0&type=comment https://weibo.com/2395607675/JhqwlENKe?filter=hot&root_comment_id=0&type=comment

Artbreeder： https://www.artbreeder.com/

StyleGAN-Art： https://github.com/ak9250/stylegan-art

Realistic-Neural-Talking-Head-Models： https://github.com/vincent-thevenin/Realistic-Neural-Talking-Head-Models https://arxiv.org/abs/1905.08233

First-Order-Model： https://github.com/AliaksandrSiarohin/first-order-model https://arxiv.org/abs/2003.00196

DAIN： https://github.com/baowenbo/DAIN https://sites.google.com/view/wenbobao/dain

— 完 —

量子位 QbitAI · 头条号签约

关注我们，第一韶光获知前沿科技动态