为了提升GIF图的分辨率,这家公司用上了AI算法

36氪的朋友们·2017-12-14 16:54
为了提升用户的斗图体验,Gfycat 希望用机器学习来制作更高分辨率的 GIF 图。

编者按:本文来自极客公园,作者:刘丢丢,36氪经授权发布。

GIF 图是表达情绪的好方式,但在层层传播中总会被压缩,分辨率变低,图像模糊。为了提升用户的斗图体验,Gfycat 希望用机器学习来制作更高分辨率的 GIF 图。

在此之前,Google Brain 团队已经能够将低分辨率图片复原。这种方法基于深度学习和神经网络算法,使用了两种网络,「调节网络」用来将低分辨率图像的像素映射到高分辨率图像中,用人工智能来进行「图像插值」,另一个「先验网络」可以通过分析现有图像的像素信息来为目标图像添加细节。这两个网络结合就能输出高分辨率的图片。在没有其他信息的情况下,Google Brain 可以将一张 8x8 像素的图片还原为与原图较为接近的图。

图片来源:Google Brain

与还原低分辨率图片不同,GIF 图的还原主要是对视频进行识别,而不是图片。因为大部分 GIF 都可以找到与之对应的高清视频源,Gfycat 要做的就是利用机器学习让 GIF 图和视频更完美地匹配。

很多用户上传 GIF 图时不会注意分辨率,Gfycat 将用 AI 技术找到与 GIF 图匹配的视频。他们为 GIF 图中的每一帧创建了一个模型,然后与高清视频匹配,并分析出 GIF 图来自哪个片段,最后制作出高清 GIF 图代替原来的版本。

机器学习可以帮助将这一过程自动化,比如用户上传名人 GIF 图时经常忘记加标签,Gfycat 正在训练系统自动区分不同的面孔。

图片来源:Gfycat

另一个优化方法是识别 GIF 图中的文字,Gfycat 根据统计分析 GIF 图中可能出现字幕的位置,然后识别出文字,并将其转化为数字文本,以方便和视频更好地做匹配。

图片来源:Gfycat

其实除了低分辨率,GIF 图的质量还受水印的影响,不知道这会不会影响机器学习的识别。如果替换高清 GIF 图的方法能够实现的话,对整个 GIF 图市场会是一次巨大的革新。面对日活 3 亿的对手 Giphy,从技术上进行突破是个不错方法。

+1
5

好文章,需要你的鼓励

参与评论
评论千万条,友善第一条
后参与讨论
提交评论0/1000

下一篇

2016年,全球平均每人产生的电子垃圾为6.1公斤,或者是每个家庭(4口人)24.5公斤。

2017-12-14

36氪APP让一部分人先看到未来
36氪
鲸准
氪空间

推送和解读前沿、有料的科技创投资讯

一级市场金融信息和系统服务提供商

聚焦全球优秀创业者,项目融资率接近97%,领跑行业