什么是计算机视觉?

实际上大多数人每天都会用到计算机视觉这项科技,比如用于解锁屏幕或者电子支付的智能手机上的面部识别,超市或者便利店付款时用于识别产品和价格的条形码扫描等。

根据IBM对计算机视觉的定义可知:计算机视觉是人工智能 (AI)领域的一个分支,让计算机
和系统能够从数字图像、视频和其他视觉输入数据中提取有意义的信息,并根据这些信息采取行动或提出建议。

如果将无处不在的计算机视觉进行分类,那么大致可分为四大类:深度感知、生物识别、AR/VR/MR、机器人与工业控制。

图 | 全局快门传感器适用的计算机视觉应用场景

    深度感知

通过使用两个全局快门传感器搭建一组双目摄像头系统,或者是使用一个全局快门传感器搭建结构光摄像头系统。通常深度感知可以用于面容识别和3D扫描这类应用场景。

    生物识别

通过采集人体各个部位的信息并将其用于身份识别,比如人脸信息可以用于面部识别或者2D智能解锁,体形信息可以用于人存在检测,驾驶与车舱监视下的司机与乘客的行为信息,可以用于智能驾驶提醒,除此之外还有手势检测、掌纹识别、虹膜识别等。

    AR/VR/MR

通常VR头显设备在内部和外部分别有一个摄像头,内置摄像头用于眼球追踪,通过两个全局快门传感器进行眼球观测,外置摄像头用于外部世界追踪,主要感知外部环境而非用户眼球的变化。除此之外,使用VR/AR/MR设备还可以进行生物识别,比如手势检测或者手势追踪。通常在这种场景下,设备可以通过用户一个手势识别出这是哪种行为目的。

    机器人与工业控制

比如无人机和清洁机器人在使用过程中需要避免相撞,所以要有物体检测和场景分析能力,而这些都要用到全局快门传感器,前面提到的条形码识别也属于工业控制中的计算机视觉应用。

为什么全局快门图像传感器更适合计算机视觉?

要弄清楚这个问题,首先我们需要知道和全局快门相对应的是什么技术?两者的差别是什么?事实上,摄像头总共就分为这两种:卷帘快门和全局快门。

图 | 采用主动光源的全局快门与卷帘快门图像传感器对比

卷帘快门的设计是为了捕捉静态图像和视频拍摄,因此需要非常高的分辨率和颜色处理能力。我们身边大多数摄像头都属于卷帘快门,比如智能手机的主摄像头、自拍摄像头、建筑中的监控摄像头,甚至数码相机都是采用卷帘快门技术。因为这些应用场景都需要捕捉彩色图像,因此需要相当高的分辨率。

但采用卷帘快门的计算机视觉技术都是逐行拍摄图像的,整个图像只有一帧,如果拍摄对象是车辆等快速移动的物体,拍出来的图像就可能会发生扭曲,无法显示物体的真实状态,这种图像是不能用于计算机视觉的,因为无法判断图像中的是不是另一辆车。所以,卷帘快门图像传感器并不适合被应用于计算机视觉技术中。

相比卷帘快门而言,全局快门的原理完全不同,一次拍摄整幅图像,拍摄时间非常短,只要拍摄对象不是快速移动的物体,成像效果就非常准确,因此可以用于计算机视觉。

全局快门图像传感器可以赋能哪些行业?

以在图像领域已有超过二十年发展历史的意法半导体的全局快门图像传感器产品为例,目前在消费和工业、智能家居和智能楼宇、笔记本和个人电脑、AI家电以及汽车领域有不少解决方案落地。

    消费和工业用全局快门图像传感器

在消费和工业领域,ST的全局快门图像传感器共有两类产品:一类是VD55G0,像素40万;另一类是VD56G3,像素150万。两种产品采用的都是ST 3D技术,最初的设计包括两层阵列,之后ST将其合二为一形成单一阵列。

图 | ST消费和工业用全局快门图像传感器

这类产品拥有三大优势:第一点是在 940nm 处具有最高的量子效率,拍摄性能稳健;第二点是正方形传感器分辨率与镜头匹配最佳,适合旋转拍摄使用场景;第三点是拍摄时间很短,能够在确保准确成像的同时降低系统功耗。

除此之外,这类产品还拥有数据输出功能,比如光流输出,通过计算运动向量得出数据,从而实现手势识别和追踪。

    智能家居和智能楼宇用全局快门图像传感器

在智能家居和智能楼宇领域,人们并不希望家里有个摄像头全天候监视自己,但又想要享受摄像头和传感器技术下协助功能带来的舒适性,这时候采用基于全局快门图像传感器的计算机视觉开发的功能,通过追踪技术就能实现人机交互,又能很好的保护隐私。

    笔记本和个人电脑用全局快门图像传感器

在笔记本和个人电脑中,可以采用全局快门图像传感器进行面部识别、手势控制、眼动追踪、舒适度监测和隐私保护,ToF和ALS可以进行存在检测、电池续航、屏幕亮度自动调节和隐私保护。

    AI家电用全局快门图像传感器

计算机视觉技术基本上都需要感测、计算、通信这三步,具体来说,首先要有许多传感器进行信息采集,包括ToF、IMU这些全局快门传感器,然后要将信息传至MCU这些AI深度学习算法得到产出,最后再将产出结果传至无线设备。应用场景包括:条码和二维码扫码、人脸识别、物体识别、人数统计、手势识别和眼动跟踪等。

    汽车用全局快门图像传感器

在汽车领域,车内传感器主要包括四大类:车内摄像头、ADAS摄像头、观测摄像头和售后摄像头,主要用于行车记录仪。其中,2021年底车内摄像头的市场渗透率约为10%,而到2024年就会达到50%,是一个发展迅速的新兴市场。

图 | 2016-2026汽车用摄像头穿透率
图源:YOLE,ST媒体会

Euro NCAP作为车辆评估标准体系,曾将车内监控系统分为两类:一类叫做驾驶员监控系统DMS,另一类叫做客舱监控系统CMS或者OMS。驾驶员监控系统观测对象是司机,主要监控司机是否注意力集中,是否有分神或是打瞌睡。客舱监控系统主要观测乘客状况,特别是儿童,有些粗心的用户下车后会将孩子忘在车内。

驾驶员监控系统DMS摄像头安装在驾驶员面前,观测对象主要是脸,镜头必须做得很大,大概50-60度,分辨率100-230万,且需要采用NIR摄像头(夜视需求)。客舱监控系统观测的是车内所有乘员,但不同之处在于需要进行物体探测和识别,所以需要彩色图像,而且观测范围比较宽广,因此镜头视场角需要更大,分辨率需要更高,才能获取观测域内所有细节信息。

目前,ST除了拥有用于DMS的第一代产品VD5661A(160万分辨率)、VD5761A(230万分辨率)和第二代产品VB56G4A(150万分辨率)以外,还拥有第一代采用彩色RGB的VD6763A和RGB-NIR一体化的VD1762A。

值得一提的是,第一代产品的特色是高对比度、灵活的RGB和NIR的数据管理,以及高动态;而第二代产品主要用于驾驶员监控,其特色是高灵敏度、小体积以及内置处理能力。

全局快门图像传感器的下一步将走向何方?

全局快门图像传感器技术正在不断发展和变革,比如内建IP就是其中的一个关键的策战略跟方向,在影像处理过程中,内建得越多,对整个系统的处理,客户的方案设计上的压力就会变小。而内建IP主要的侧重点是芯片或者感应器本身基本能力的表现优化,比如自动曝光、光流和特定区块优化ROI等。

对于下一步技术和市场布局,意法半导体亚太区影像事业部技术市场高级经理张程怡表示:“ST在画点和未来的影像技术上将侧重四大方向展开,第一个是在现有的像素的开发技术上面持续的精简;第二个是把功耗降低;第三个是把像素的尺寸持续的往下降,拉高锐度;第四个是内建的应用程序。”

图 | 市面上现有的ST标准传感器开发评估套件

当然,除了图像传感器等产品本身外,ST还同步推出了开发评估套件,方便客户开发,缩短系统产品上市时间。此外,ST还可以交付裸片,客户可以选择第三方提供的封装传感器或者摄像头模组,包括PCB、图像传感器、镜头和接口,共同构成整套工业用摄像头产品供应链。