ai修复照片提高分辨率背后的原理是什么

JmanxC-avatar

JmanxC

2022-08-02T12:20:11+00:00

经常看到那种使用人工智能,神经网络什么的可以把低分辨率的照片修复成高分辨率的清晰照片比如图片里的这种[img]https://img.nga.178.com/attachments/mon_202208/10/-7Q2q-k1p3K17T3cSsg-d4.jpg[/img]

但是感觉这种技术很违背直觉。以我的生活经验,高分辨率的照片经过压缩变成低分辨率照片后,压缩掉的体积就是损失的信息,逆向提高分辨率,那已经损失的信息(比如照片中人物皮肤的纹理细节)是如何找回的呢?还是说虽然照片看上去被压缩了,但是那些信息并没有损失,只是隐藏了,利用傅里叶变换等工具可以在频域找回?
andy ☆-avatar

andy ☆

bicubic插值

看看这篇论文,腾讯和中科院合作的
[url]https://arxiv.org/abs/2107.10833[/url]
justJAYYY-avatar

justJAYYY

超分辨率技术。损失的信息找不回来的,本质还是网络模型在创作,因为绝大多数用的都是生成模型。常见的算法比如传统一点的端到端pix2pixhd,还有各种gan,像cycle gan足够满足一般任务,新一点的有real ersgan。其实你可以去试试waifu2x修复几个纸片人玩玩。
BAMF-avatar

BAMF

它可以识别到那是皮肤,也就可以找到皮肤纹理的素材p上去吧,不就是自动p图。
Jovici.MP3-avatar

Jovici.MP3

[quote][pid=631318333,33014756,1]Reply[/pid] Post by [uid=34584353]幻想乡の博丽灵梦[/uid] (2022-08-10 20:35):

bicubic插值[/quote]应该不是这个原理,我看到ai修复马赛克,虽然有点糊,但形状很真实。
BOOOOM-avatar

BOOOOM

请问他的鼻子是p上去的吗[s:ac:哭笑]
Meowcolm-avatar

Meowcolm

不是隐藏 有算法把丢失的补全
sprub-avatar

sprub

[s:ac:愁] 已知左边是1,右边是3,所以猜中间是2 ?
Goldareas-avatar

Goldareas

能想到这么深了建议直接找论文读[s:a2:lucky]
而不是等论坛回复[s:ac:咦]
sano-avatar

sano

补足像素点然后矫正
Thottle-avatar

Thottle

其实不是修复旧信息

是AI根据学习经验绘制的新信息
Lightninghaw-avatar

Lightninghaw

根据计算,把缺失的像素补上去
2KA-avatar

2KA

不需要ai也能实现。一个比较基本的方法就是插值算法,比如最近邻插值 双线性插值。ai只是把算法更智能化了。
看问题你应该是学习过对应知识的。信息论里面有个概念叫信息量/信息熵,它减小一定意味着丢失了信息。被压缩不一定会丢失信息量,但是马赛克化肯定会丢失,算法是凭空新增的信息量
kiwi_k-avatar

kiwi_k

简单的说就是靠周围的像素猜某个像素。
神经网络本质是概率论。
MythicSouls-avatar

MythicSouls

你可以理解为重新画
雪霧-avatar

雪霧

[quote][pid=631319007,33014756,1]Reply[/pid] Post by [uid=60622049]第三方想好[/uid] (2022-08-10 20:38):

应该不是这个原理,我看到ai修复马赛克,虽然有点糊,但形状很真实。[/quote]打码的算法是一定的,可以根据马赛克的形状来猜原来的内容。你可以去搜一下美国一个比赛,复原被打码信件上的内容
StalkerXey-avatar

StalkerXey

丢失的信息是找不回的,是根据经验和已有图片信息猜的
SpikeyRobot-avatar

SpikeyRobot

就是用算法把丢失的补充起来,
算法好坏关系到补充的内容接近否
浮生笑-avatar

浮生笑

传统的,插值,锐化,但是现在肯定不用了,这些方法都太老了,现在肯定还是网络训练,具体用什么网络,怎么训练,等我研二再告诉你[s:ac:茶]
Twilyte-avatar

Twilyte

是深度学习啦。[s:a2:不明觉厉]你可以理解为,通过很多张低分辨率到高分辨率图片,学习这之间的复杂映射。就像人一样,通过低分辨率的把高分辨率的“画”出来