一个AI算法就能代替手机图像处理器

机拍出来的质感却不一样，一方面是镜头模组不同，另一方面是对图像处理器（ISP）的软件调教也不同。

最近，苏黎世联邦理工学院（ETHZ）提出一个新的算法PyNet，只需单个端到端深度学习模型，就能替代手机的ISP。

它调教出的相机算法可以从一个手机移植到另一个手机上，而不必使用手机的ISP。即使两款手机芯片来自两家厂商，也完全没问题。

用华为P20和佳能单反相机5D Mark IV调教的算法，移植到黑莓手机KeyOne上，照片质量与原始ISP输出相比，有了很大的改善。
 

用的是麒麟970芯片+1200万像素索尼IMX 380摄像头，黑莓KeyOne使用的是骁龙625+1200万像素索尼IMX 378摄像头。

目前，PyNET的源代码、数据集、预训练模型都已经在GitHub上发布了。

PyNET原理

我们按下快门后，手机在不到一秒时间里就输出了一幅图片，背后过程却相当复杂。

手机拍照时，首先输出的是原始不带任何修饰的感光信息文件RAW。

RAW经过手机SoC中专门用于运算图像的ISP经过一系列处理，将原本暗淡的原始图像变成艳丽的结果。

这其中的过程包括：去除噪点、修正白平衡、调整曝光量、校正色彩对比度、超分辨率等等。

现在，越来越多的手机开始用上NPU等AI核心，AI运算能力越来越强，未来是否可以用NPU来代替ISP做图像运算呢？这就是ETHZ研究人员的思路。

研究人员首先采集2万张华为P20拍摄的RAW原始图片，和同样场景下Canon单反5D Mark IV拍摄的照片，以此作为数据集进行训练。

但是训练过程中并没有使用原尺寸的图片，而是448×448的窗口从图片上选取一部分，最后 产生了48043个RAW-RGB图像对。

（编辑：新余站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!