HMIソリューション(2):CMOSカメラ機能を搭載して組み込み機器に「目」を!

ソリューション: 12 of 20

シリーズ2:CMOSカメラ機器を搭載して組み込み機器に「目」を!

ルネサスのHMIソリューションを解説する本シリーズ。第二回目の今回は、HMIに欠かせない「目」となるCMOSカメラ機能を搭載するためのソリューションを解説する。いま注目が集まる動体検出アプリケーションが実現する!

CMOSカメラは組み込み機器の必需品

監視カメラが増大し、家電やTVなどの省エネ化のためにカメラが活用されるようになり、CMOSカメラモジュール(*1)のコストが低下している。それにより、従来はカメラを用いていなかった組み込み機器の高付加価値化に、CMOSカメラを活用したHMI機能が期待されている(図1)。

図1:急速に広がるCMOSカメラのHMIアプリケーション

図1:急速に広がるCMOSカメラのHMIアプリケーション

例えば、冷蔵庫内をCMOSカメラで撮影し、外出中のスマートフォンで見る。エアコンにCMOSカメラを搭載して人感センサとして活用し、快適な空調環境を実現する。あるいは、自動販売機にCMOSカメラを搭載して、時間帯と客層などのマーケットデータを収集する。また、従来からのセキュリテイ用途としての活用は、一層その数を増やしていくだろう。産業用途においても、二次元コード(QRコードなど)による製品管理にCMOSカメラは欠かせない存在だ。

「そこに人がいること」を感知するだけのような人感センサ機能であれば、赤外線センサによってもシステム構築は可能で、部品コストも低いとの声もある。しかし、機能の拡張に伴い、他のセンサを併用することになり、結果としてCMOSカメラだけで構築するシステムとのBOMコストが逆転することが多いようだ。

スマート社会の推進、IoT(モノのインターネット)の実現など、CMOSカメラアプリケーションを後押しする力は大きい。

CMOSカメラ導入の障壁は大きい

CMOSカメラの機能は、CMOSカメラモジュールからの信号をマイコンに入力し、画像の表示や処理を行うことで、お客様の求めるさまざまなアプリケーションが実現する。市場としての期待が高まるCMOSカメラアプリケーションだが、実際、CMOSカメラを使ったことが無いお客様の多くは、ノウハウが無いために戸惑うようだ。使用するマイコンが高性能になり、ソフトの開発負担が増大、電源回路等の設計の見直しもしなければならない。CMOSカメラを使ったことはあるけれど、もっと手軽に使いたいというお客様にも、実現したいアイデアはあるのだけれど、実現方法がわからないといったCMOS初心者のお客様にも耳よりな、ルネサスの開発ソリューションをご紹介しよう。ルネサスは、お客様の実現したい機能を伺って、最適なクラスのマイコンや評価環境を提案する。

お客様の要望にジャストフィット、何を見るのか、認識するのか?

お客様の求めるアプリケーションはさまざまだ。それぞれの要求に、ルネサスはカメラの解像度やフレームレートに応じて二つのマイコンを使用したソリューションを用意している。ひとつは、(1)使い勝手のよい高性能なミドルレンジMCU「RXファミリ(RX631、RX64M)」と、もうひとつは、(2)よりハイエンドなArm®製CPU「Cortex™-A9」搭載マイクロプロセッサ「RZファミリ(RZ/A1)」を使用したソリューションだ(図2)。

図2:お客様の求めるアプリケーションとシステム構成を担うマイコンのイメージ

図2:お客様の求めるアプリケーションとシステム構成を担うマイコンのイメージ

縦軸の動作周波数は、お客様が求める機能に比例する。最大120MHz駆動の「RX」マイコンは、人感センサとしての動体検出や監視カメラのような動画キャプチャ、二次元コードを読み取る2Dスキャナ、比較的簡単な文字認識に対応する。より複雑な顔認識や文字認識、ジェスチャ認識などの高度な動体検出は、最大400MHz駆動の「RZ」マイクロプロセッサによって実現可能だ。

横軸は画素数を示している。取得する画素数に比例して、CPUが扱えるバス帯域は高スループットが求められる。例えば、VGAカメラで、1秒間に約10枚をキャプチャする程度のドライブレコーダであれば「RX」マイコンで対応し、夜間などのより大きな解像度が求められる場合や、高速の動体を検出するための高フレームレートが必要ならば「RZ」マイクロプロセッサでシステムを構築する。

CMOSカメラのアプリケーションで、お客様から高く期待されている動体検出について説明しよう。単純に物を写すだけではなく、その被写体がどういう動きをしているかを検出するアプリケーションだ。その検出アルゴリズムは、時間差分、背景差分、テンプレートマッチング、そしてオプティカルフローが一般的だ(図3)。

図3:動体検出のアルゴリズム

図3:動体検出のアルゴリズム

  1. 時間差分:撮影したフレーム画像の前後を比較して、その差分から動体を検出する。
  2. 背景差分:あらかじめ作成した背景画像とカメラ画像(入力画像)との差分から動体を検出する。
  3. テンプレートマッチング:テンプレートと呼ばれる画像が、画像全体の中に存在するかどうかを調べて動体を検出する。
  4. オプティカルフロー:小さな分割されたブロックと新しく入ってきた画像とのマッチングを取ることで動体を検出し、同時にその動きのベクトルを把握する。

時間差分と背景差分、テンプレートマッチングは、比較的簡単なアルゴリズムであるため処理が軽いが、明るさの変化などのノイズに弱く、高速な動体の検出は困難だ。一方、オプティカルフローはCPUに高い負荷を求める。

(1)RXマイコンで「人感センサ」や「監視カメラ」をお手軽に開発しよう

比較的軽いアプリケーションをミドルレンジマイコン「RX」を使って構築するソリューションを紹介しよう。時間差分、またはテンプレートマッチング形式の動体検出で、人感センサや監視カメラを実現する。必要なフレームレートによって、1~4fpsであれば「RX631」、4~10fps程度であれば「RX64M」を使用する。CPUボードとパートナ様のCMOSセンサモジュールで構成した評価ボード、それに周辺機能用の各種ドライバを提供する。人物検知や画像の歪みを補正するミドルウェアも、パートナ様から提供される。

お客様は、初期の検討段階からハードウェア・ソフトウェアの開発、そして量産時まで、段階に応じた開発サポートを一貫してルネサスに求めることが可能だ。ご要望があれば、パートナ様による開発受託までもお手伝いする。

CMOSカメラで撮影している画像内に、対象(人物)が入ってくると検知するデモ。RX631を使用。

動画を再生する

CMOSカメラで撮影している画像内に、対象(人物)が入ってくると検知するデモ。RX631を使用。

システム情報

RX631マイコン

評価環境:代理店にお問い合わせください。

RX64Mマイコン

評価環境:今秋リリース予定

(2)RZマイクロプロセッサで、少し高度に「顔認識」や「ジェスチャ認識」を実現しよう

「RZ/A1」では高い演算能力と内蔵する大容量RAMなどの性能を存分に発揮して、オプティカルフロー形式による顔認識やジェスチャ認識のアプリケーションを実現する。

JPEGアクセラレータや画像補正機能をハードウェアで搭載しているため、通常のミドルウェア処理に比べて、よりリアルタイムでの処理が可能だ。CPUとRAM間は多重バスで結ばれているため、高いスループットを誇り、画像のコマ落ち等の心配もない。

こちらもデモキットの準備を進めている。近日中にデモ動画を「ビデオクリップポータル」に公開の予定だ。

すでに、動体検出を活用したアプリケーションに対するユーザの期待は高まっている。ぜひ、ルネサスのソリューションを活用して、競争力の高い「Time to Market」を実現してほしい。

お問合せ

次回の「ルネサスのHMIソリューション解説」シリーズ第3弾では、家電などのタッチ操作を実現するソリューションをご紹介する。

*1)CMOSカメラモジュールとは、レンズとイメージセンサ、ISP(Image Signal Processing)と呼ばれる信号処理回路から成る。レンズを通して得た被写体を、人の目の網膜の部分にあたるイメージセンサで電気信号に変換し、ISPで光学系の補正処理などを行う。