AI替代传统ISP的Plan B，谁将成为隐形冠军？

当前，随着数据呈指数级增长，数字技术也在不断迭代创新，在这样的背景下，智能化管理已成为引领城市未来发展的重点方向。为了提升城市管理效力，智慧城市的发展正在以一种不可逆的势态迅速蔓延至城市生活的各个角落。

而建设智慧城市，一方面需要通过实时的高清摄像头来收集数据信息，另一方面，需要传感器将这些信息尽量完整清晰的保存输出，以供城市大脑进行全局实时分析，从而利用可靠的数据优化调配公共资源。

但由于镜头和传感器的物理缺陷以及拍摄环境的多样性，传感器输出的原始数据和人类预期的图像有巨大差异，因此ISP就起到了相当重要的作用。而随着时间的推移，大众对于影像追求不断提高，ISP芯片也变得越来越有存在感。不管是CMOS、独立ISP、AI芯片还是手机SoC厂商，都在争夺ISP的制高点。

这似乎在告诉我们，未来的视觉处理是离不开ISP的。但近日却有一种声音：当AI高度发达后就不需要ISP了，真的是这样吗？

首先我们来了解一下，什么是ISP？ISP是英文Image Signal Processor的缩写，中文译为图像信号处理器。它的作用是将来自前端图像传感器采集到原始图像数据（Raw Data）作为处理对象，通过噪声处理、色彩校正、明暗度调整等处理，对不同光照条件下的现场细节进行还原，从而生成后端所需要的图像，也就是“翻译”成人眼可以看懂并且更好看的图像。

图 | ISP工作原理（图源：知网）

从软硬件组成上来看，ISP芯片一般由控制单元和基本的ISP算法组成，其中ISP算法集中在ISP pipeline中。ISP芯片在图像处理过程中，大体上都会遵循三个域（Bayer域、RGB域和YUV域）的基本划分以及走向，包括：坏点校正DPC、黑电平校正BLC、降噪NR、镜头阴影校正LSC、自动白平衡AWE、去马赛克Demosaic、色彩校正CCM、自动曝光AE、伽马校正GC、锐化Sharpening、色彩空间转化CSM以及压缩Compression等模块。至于具体型号的ISP芯片，在图像处理上面的顺序会根据各个设计公司不同的技术和应用侧重而各有差异。

图 | ISP芯片常规图像处理流程（图源：知网）

了解了ISP，接下来我们来讲讲AI，以及AI和ISP之间的关系。那么什么是AI呢？AI是英文Artificial Intelligence的缩写，中文译为人工智能。用美国麻省理工学院温斯顿教授的话来讲，“AI就是研究如何使计算机去做过去只有人才能做的智能工作。”

而在图像处理领域，AI算法比如遗传算法、蚁群算法、模拟退火算法和粒子群算法等，已经在图像边缘检测、图像分割、图像识别、图像匹配和图像分类等领域有着广泛的应用。所以有人认为AI同样可以替代传统ISP来实现更好、更智能的图像处理，而英特尔实验室发表的论文《Learning to see in the dark》也在某种程度上论证了通过整个神经网络来实现ISP的全部功能的可能性。

但理论是一回事儿，实现又是另外一回事儿。通过AI实现ISP的全部功能，意味着要用AI来实现端到端（end to end）的ISP pipeline，甚至跳过ISP，直接对从传感器输出的RAW图进行AI的高级视觉处理。这无疑会大大提升AI高级视觉算法的难度，同时也将形成对算力的大考。至少就目前的技术水平来看，用全AI来实现ISP或者直接用高级AI视觉算法来实现RAW图的预处理是不成熟的。

细心的小伙伴可能又要问了，“目前的技术水平达不到，但前面命题的前提是AI技术高度发达啊。”从理论的角度来讲，确实有这种可能性。但是技术路线的演进往往也是资本市场的推动，我们不得不承认目前ISP在图像标定、去畸变、双目相机图像调整等方向上存在时间市场优势，要让资本决策者放弃诸多成熟算法的多步分类处理，来从头推动全AI一步化图像处理存在难度。

所以说，AI还不能完全抛弃传统的ISP技术，但这不影响AI和ISP进行结合。众所周知，每个ISP项目在交付前都需要根据不同的模组和客户需求进行大量的调试工作，可能需要几十个人团队工作几个月。但在今天，人们对手机、相机等设备中图像和视频画质的提升追求已经没有上线，所以传统ISP厂商总在不停地投入，哪怕提高那么一点点，也是相较于竞对厂商的差异化优势。但是对于ISP技术本身来讲，传统的ISP作为SoC中负责画质处理和提升的主要单元，与其配套使用的镜头和传感器在物理学上已经接近极限，在ISP处理过程中，尤其是暗光和高动态场景，图像失真和信息损失不可避免，因此整体技术已经触及“天花板”。而用AI+ISP的方案可以大大提升成像画质，所以在一定程度上来说，用AI赋能ISP将成为未来的风口技术。

那么将AI引入ISP到底怎么个引法呢？这就涉及到时下非常火的一个名词“AI ISP”了。

根据CSDN上一位有着十几年ISP从业经验的研发人员的描述，“AI可以用于评判图像质量，可以代替传统ISP的一些block，也可以把一个不可微的系统转换成可微的系统，从而提高优化的速度。”这些都是AI ISP大有可为的地方。但他也强调了AI ISP的难度，他认为目前的AI不能抛开ISP，所以AI ISP不可能减少原来的研发复杂度。

而对于研发难度一说，爱芯元智ISP负责人、系统架构师张兴则表示：“AI ISP的研究不只是几种指令的简单算法效果研究，而是包括提供算法、 大算力和复合精度的NPU、联合设计下的内存使用及模块间通信、以及AI ISP在实践中所需要的完整工具链和交付方案，都是整个AI ISP能否真正投入商用的关键，所以AI ISP并非芯片行业中单一的算法研究，而是对芯片系统性能的研究。”

既然AI ISP研发难度这么高，那么目前是否已经有量产产品面世了呢？据悉，前面提到的爱芯元智是第一家将AI ISP落地到实际应用领域的公司，其第一代自研NPU芯片AX630A已实现量产，第二代NPU芯片AX620A也已经于2021年7月成功点亮，除了这款应用于智慧城市中的产品，爱芯元智针对消费领域的AX170A也成功落地，且表现卓越。

图 | AX620A实物图

据了解，爱芯元智适用于智慧城市的AX620A是一款高算力、高能效比、低功耗的AI SoC芯片，集成了四核Cortex A7 CPU、自研AI ISP和混合精度NPU，能够为用户提供更优质的画质和更易用的NPU工具链。

在性能方面，AX620A具有14.4TOPs@INT4或3.6TOPs@INT8的高NPU算力，最大支持4K30fps的ISP，支持极速唤醒模式、动态坏点的自动检测和消除、暗角补偿、图像增强等功能，可帮助家用智能网络摄像机在分辨率上和智能化上进行进一步的升级，使摄像设备即使在黑暗环境中，也能呈现清晰的图像。此外，AX620A最多同时支持4路摄像头接入，支持双路1080p双屏异显，因此在门禁设备系统中也可帮助客户做更多差异化的应用。

借助于“混合精度NPU”和“自研AI ISP”两大核心技术，AX620A在获得了极高的芯片效能功耗比的同时，大幅提升了传统ISP中多个关键模块的画质，减少了对DDR的需求，同时让NPU的性能提高到了50%以上。而从应用的角度出发，AX620A已经可以用一颗芯片实现对智慧城市和智能手机两个完全不同领域的市场覆盖，这将大大降低用户端的AI综合应用成本。

在智慧城市全面提速的当下，AI视觉芯片已经成为全行业大力发展的对象。无论是传统芯片设计企业还是新秀技术公司都在瞄准机会，力求在此领域中拔得头筹。而作为这批企业中的佼佼者，爱芯元智以多轮融资的高起点为基础，以自研AI ISP+混合精度NPU算法为支撑，在成立不到三年的时间里就成功推出三款行业领先的边缘侧AI视觉芯片，且均具备“高算力、低功耗、高算力利用率”的优势，可满足合作伙伴对于视觉处理的需求。未来，爱芯元智还将在此领域继续深耕，从人才建设到技术研发都向国际大厂看齐，以打造具有国际竞争力的高端芯片。