HMI解决方案[第二期]:搭载CMOS照相功能,为嵌入式设备安装“眼睛”!

Solutions: 12 of 20

第二期:搭载CMOS照相功能,为嵌入式设备安装

本期为"瑞萨电子HMI解决方案"系列的第二期,本期介绍安装作为HMI不可或缺的"眼睛"---即CMOS照相功能的解决方案。通过本期学习,我们将能实现当今引人关注的动体检测程序。

CMOS照相功能是嵌入式设备不可或缺的部分

随着监视摄像头数量的增加,照相机也逐渐被应用于家电或TV等的节能方面,CMOS照相模块(*1)的成本也逐年降低了。因此,为了使以往不具备照相功能的嵌入式设备实现高附加值,有效利用CMOS照相功能的HMI产品备受市场期待(图1)。

图1:急速扩展的CMOS照相功能的HMI应用程序

图1:急速扩展的CMOS照相功能的HMI应用程序

例如,使用CMOS照相机拍摄冰箱内部,便可在外出时通过智能手机查看冰箱内部的样子。在空调中搭载CMOS照相机并将之作为人体感应传感器,以实现舒适的空调环境。或者在自动贩卖机上安装CMOS照相机,以收集时间带及顾客年龄层等销售数据。而且,一直以来被广泛应用在安全方面的照相功能,将来的需求还将会大增。工业生产方面,在通过二维码(QR码)进行产品管理方面,CMOS照相机也不可或缺。

也有人认为,如果是仅想实现感测到"有人在那儿!"的人体感应器功能的话,通过红外线传感器构筑的系统便可实现,而且设备成本还不高。但是,随着功能的扩展,同时还需使用其他传感器等。结果,与仅由CMOS照相机构筑的系统相比,将出现BOM(Bill of Materials,物料清单)成本大为增加的现象。

智能化社会的发展以及IoT(Internet Of Things,物联网)的实现等,都是推动CMOS照相功能应用程序发展的巨大推动力。

导入CMOS照相功能的障碍非常大

CMOS照相的功能是通过从CMOS照相模块将信号输入单片机,在对图像进行显示及处理后,再通过应用程序实现客户所期望的各种功能。虽然目前市场对于CMOS照相功能应用程序的期待很高,但实际上很多客户并没有实际使用过CMOS照相功能,他们因缺乏专业技能而感到困惑。而且,随着所使用的单片机的高性能化,增加了软件的开发负担,同时还需重新考虑电源电路等设计。另外,有些顾客有过使用CMOS照相功能的经验,所以他们想实现比以前更加易用的程序;有些顾客虽然抱有各种想实现目的的方案,但却不知该如何实现CMOS。下面我们就来介绍瑞萨电子针对上述这些问题而提供的开发解决方案吧!

瑞萨电子在了解顾客所期望的功能的基础上,向顾客提供最合适的单片机及评价环境。

提供能完全满足顾客需要的解决方案,我们是怎么看、怎么想的?

顾客所需要的程序各种各样。对于顾客的各种要求,瑞萨电子准备了使用两个单片机的解决方案,这两个单片机分别对应输入相机像素及帧速率。其中,一个是(1)非常便于使用的高性能的中频(midrange)MCU"RX族(RX631、RX64M)"单片机;另一个是(2)搭载了更高端的ARM®制的CPU"Cortex™-A9"的单片机"RZ族(RZ/A1)"单片机(图2)。

图2:照相机像素与核心性能及所支持的MCU / MPU类型

图2:照相机像素与核心性能及所支持的MCU / MPU类型

 

纵轴所示的运行频率是顾客需求的功能的比例。最大驱动频率为120MHz的RX单片机支持人体感应传感器的动体检测、像监视摄像机一样的动态画面捕捉、读取二维码的2D扫描仪、以及较简单地文字识别等。对于更复杂的脸部识别及文字识别、手势识别等高度的动体检测可通过最大驱动频率达400MHz的RZ单片机来实现。

横轴所示的是输入相机像素。与所取得的像素为比例,CPU所处理的总线带宽需要很高流量。例如,VGA照相机中,RX单片机支持每秒捕捉10幅画面左右的行车记录仪,但对于夜间等需要更高分别率的情况下,或者为了检测出高速移动体而需要更高帧率的情况下,就需要通过RZ单片机构筑的系统。

下面我们对CMOS照相应用程序中顾客最期待的动体检测程序进行说明吧。这个程序不是单纯地对物体进行拍摄,还需对该被拍摄对象的移动进行检测。该检测的算法一般通过时间差分、背景差分、模版匹配、以及光流(Optical Flow)等方法来实现(图3)。

图3:动体检测的算法

图3:动体检测的算法

  1. 时间差分:将摄影前后的帧图像进行比较,从其差分检测出动体。
  2. 背景差分:从预先做成的背景图像与摄像机拍摄到的图像(输入图像)的差分检测出动体。
  3. 模版匹配:通过对被称为模板的图像是否存在于整个图像中进行检测来检测动体。
  4. 光流(Optical Flow)技术:通过被分割的小块和新输入图像的匹配来检测动体,同时掌握其动作矢量。

时间差分、背景差分、模版匹配等都是比较简单的算法,所以处理起来也比较简单,但这些处理对于对亮度变化等噪声方面能力较弱,所以难于检测出高速移动的动体。另一方面,光流技术又将给CPU带来很重的负担。

(1)通过RX单片机便可简单开发"人体感应传感器"及"监视摄像机"

下面我们先介绍使用中频(midrange)单片机RX来构筑较小的应用程序的解决方案。通过时间差分或模版匹配的方式进行动体检测,便可构筑人体感应传感器及监视摄像机系统。再根据必需的帧率使用不同的单片机,如为1~4fps时就使用RX631,为4~10fps左右时就使用RX64M。我们提供由CPU主板和合作伙伴的CMOS传感器模块构成的评价主板以及外围设备的各种驱动。人体检测及图像补正等中间件由合作伙伴提供。

从初期的论证阶段到软硬件的开发甚至量产时,瑞萨电子都可分阶段为客户提供一贯的开发支持。如果客户有需要,我们还可以帮助客户委托我们的合作伙伴进行开发。

演示:有对象(人物)进入CMOS所拍摄的图像内时的检测。演示中使用了RX631单片机。

系统信息

RX631单片机

评价环境:请向代理商垂询。

RX64M单片机

评价环境:预计今年秋天发布

(2)使用RZ单片机,实现更高精度的"脸部识别"及"手势识别"吧

RZ/A1具有很高的运算能力且能充分发挥内置的大容量RAM等性能,可通过光流的方式来实现脸部识别及手势识别的程序。

由于硬件中搭载了JPEG加速器及图像校正功能,与通常的中间件处理相比,可进行更好的实时处理。由于CPU和RAM之间由多重总线进行连接因而具有很高的数据吞吐量,所以不用担心图像掉帧等问题。

我们正准备演示套件,用户对于利用了动体检测的程序的期待非常高。请您一定好好利用瑞萨电子的解决方案,以实现具备高竞争力的"Time to Market"的产品。

欢迎垂询

在下期的"瑞萨电子HMI解决方案"第三期中,我们将介绍使家电等实现触摸操作的解决方案。

*1 CMOS照相模块是由镜头和摄像传感器、以及被称为ISP(Image Signal Processing,即图像信号处理单元)的信号处理电路构成。通过相当于人眼中的视网膜部分的摄像传感器将从镜头取得的被照体转换为电信号,再通过ISP进行光学系统的校正处理等。