宽动态、高帧、低照度一直是图像传感器CIS的三个关键Feature，所有公司都想在某一个或多个Feature上有所突破，来打开局面，让芯片起量、树立行业地位。但市场早已是红海，要杀出一条路来不容易，因为索尼等巨头一直在CIS领域深耕，尤其是高端消费类CIS，无论从技术积累、产品成熟度、市场占有率，索尼都是统治地位。不过其他公司也有自己的打法和生存空间，例如豪威OmniVision走中端消费类CIS和车载类CIS的路线；格科微走中低端CIS的路线，从下往上打；安森美则放弃了消费类，主攻车载类和安防类CIS；思特威走安防夜视路线，产品是低照度CIS；安酷智芯、睿创微纳、FIIR、Fluke产品都是非制冷红外CIS，走安防路线。

36氪记者最近了解到深圳一家用AI芯片搭载深度神经网络ISP算法，来实现夜间全彩拍摄的公司。跟其他企业依靠低照度图像传感器芯片CIS的实现方式完全不同，带着好奇，记者采访了深知未来智能有限公司CEO张齐宁。张齐宁毕业于武汉大学计算机系，在华为、腾讯等企业10余年技术产品经验，之前也有过创业经历，在2017年和CTO郭奇锋一起创业成立深知未来，郭奇峰在百度、腾讯搜索部门有多年技术和产品经验。他们想用深度学习算法来解决夜间全彩成像的难题，绕过业界通过低照度CIS芯片从硬件上来解决此问题时遇到的瓶颈。

深知未来夜间全彩拍摄和普通相机的对比

张齐宁表示：“人眼通过红色、绿色、蓝色的视锥细胞来构建彩色的世界，CIS正是模拟了这一原理。然而遗憾的是，目前绝大多数CIS在夜间的表现弱于人眼。我们已知的彩色拍摄技术，几乎都基于延长曝光时间来获得更多光子输入来成像，而视频帧率下的全彩成像系统是一个难题，所以团队决定主攻方向是使用深度学习算法来打造一个全新的ISP成像体系，突破传统ISP图像处理体系的硬件限制”。深知未来团队30多人有20人都是软件工程师，其中10人是算法工程师。为了一个专用于极弱光环境下的深度神经网络ISP算法，三年磨一剑，2020年开始了在海上、矿井、河道等场景下应用落地。在此基础上，硬件人才的加入，深知未来开始定制搭载深度神经网络ISP算法的AI芯片-天枢图像处理芯片。

低照度成像

也就是在极弱的环境光下面进行拍摄。最早的夜视仪基于光电放大效应，诞生于80年前，而基于热探测器的热成像夜视仪距今也已经有70年历史，真正的彩色夜视技术始于2015年索尼Starvis第一颗专门的低照度CIS芯片，但价格一直居高不下。目前已经成熟的微光成像技术和热成像技术，在理论上无法向全彩、更高分辨率进化。ISO12232 标准规定的可接受画质的信噪比为20dB，优秀是32dB，低照度成像（也称为极低信噪比成像）需要解决信噪比低于10dB的情况，此时，民用CIS配合传统ISP芯片和ISP算法已经无能为力，业界一直努力将极弱光环境下拍摄的人眼不可见的图像增强至白天一样的效果。

低照度分为星光级0.02lux以下（每单位面积下的光通量），超星光级0.002lux以下，黑光级0.0005lux以下，极弱光环境下引发的极低信噪比问题是世界性难题

深知未来的解决办法

在极弱光环境下，CIS的输出中有大量噪声，包括读噪声、热噪声、暗噪声、散粒噪声等等，而信号则极为微弱，被湮没在噪声中，极难提取，传统ISP的多种模块都无法正常工作，例如在黑暗中基于传统ISP的相机就极难对焦。深知未来以计算机视觉和深度学习技术为基础，打造了一套算法引擎，针对极低信噪比下的3A、降噪、宽动态、3D LUT、色彩矫正、去模糊、防抖等建立了全新的成像体系，在极低信噪比下成像效果明显优于传统ISP。可惜的是，软件算法的具体构架张齐宁还无法提供，让我们无从得知。

技术核心概念：深度神经网络ISP算法的作用

据张齐宁介绍：“索尼低照度传感器IMX385的SNR1s为0.13Lux，经过了五年的优化于2020年推出的新一代低照度传感器IMX482的SNR1s也只提升了将近一倍达到了0.07Lux。而从算法上的改进还有成百上千倍的提升空间，例如华为P40 pro手机通过7秒长时拍摄，可以将图像亮度提升两百多倍。但华为的这种技术无法应用在视频成像领域，而深知的目标是在0.03秒的时间内达到类似的亮度提升效果。我们现在交付给客户的夜视仪用的就是用的CIS芯片+NPU+深度神经网络ISP算法这套方案。目前CIS芯片采购的索尼、安森美、思特威的，NPU采购的海思、瑞芯微的，配合自研的深度神经网络ISP算法，已经做到夜间环境信噪比0dB的情况下，曝光0.03秒就可以ISO感光度7000倍增益了。”

深知未来交付的夜视仪和效果对比

深知未来目前的产品分为专用和通用夜视仪。警用夜视仪产品已经处于小批量交付阶段，无人机、矿洞、海上钻井平台夜视仪正在紧张进行用户测试阶段，据用户反馈效果不错。为了降低定制化带来的高成本问题，正在研发做一款小型化、通用化的机芯，以后各种用户或场景首先推荐这款通用型全彩夜视仪，这样也容易进行规模化生产。计划在2021年完成定制传感器芯片，不再采购通用CIS芯片；2022年完成定制天枢芯片，搭载自研算法，同时标准化所有机芯和产品；之后继续集成化全彩夜视芯片，最终产品形态是一颗集成了传感器和ISP处理器及算法的低照度全功能芯片。

近日，深知未来完成数千万人民币Pre-A轮融资，领投方为梅花创投，跟投方包括耕涌资本、国宏嘉信资本、达晨财智创业资本等机构。本轮融资主要用于极弱光全彩成像产品与系统的研发与市场拓展。