HMIソリューション(4):手軽に低コストに“ジェスチャ操作”を組み込もう

ソリューション: 15 of 20

電子機器とのコミュニケーションは進化する ルネサスのHMIソリューション解説 シリーズ4 手軽に低コストに“ジェスチャ操作”を組み込もう

特定の動きを検知できる「ジェスチャ認識」により、これまでの人感センサではできなかった「動き」を用いた制御が可能になる。ジェスチャ認識を低コストで簡単に組み込める、ルネサスのソリューションを解説しよう。

「手振り」や「身振り」で機器を操作

ON/OFFやOpen/Close、ページめくりなどに最適

人が近づくと反応する機器は便利だ。自動ドアや自動水栓などは、手で触れなくても動作する。しかし、これらの機器は「人や手がそこにあるのか、ないのか」を判断しているため、思った通りに動かないこともある。例えば、自動ドアの前に人が立てば、ドアが開いて欲しいと思わないときでも人を感知してドアが開いてしまう。

しかし、「手振り」や「身振り」を見つけ出す「ジェスチャ認識」であれば、明確な指示を与えることができる。ドアの前に立って、手のひらをかざし、左から右へ開くような動作をすればドアが開き、右から左に閉じるように動かせばドアが閉まる、といった操作が可能になる(図1―左)。

街中で情報を伝えるデジタルサイネージ(電子看板)では、操作を手振りで指示できる。これまでは、表示パネルのそばにスイッチを設置するか、スクリーンをタッチパネル化して操作していた。しかし、触れる部分があると、定期的な整備点検や清掃が必要となり運用コストに跳ね返る。ジェスチャ認識がスイッチの代わりになれば、スイッチ設置のためのスペースも不要となり、運用ばかりか設置、管理も簡便化するだろう(図1―中)。

工場などの製造の現場でも、ジェスチャ認識による機器制御が有効だ。特に、衛生に気を使う分野では、作業に従事する人は操作のために機器に触る度に手の洗浄、消毒が必要になる。ジェスチャを用いて操作することで、この「触れる」動作が無くなれば、洗浄による中断が回避され、作業効率が高まる(図1―右)。

その他にも、家電機器や住宅設備、そして衛生機器といったユーザインターフェースを必要とする幅広い分野で、非接触に操作する方法としてジェスチャ認識が大きく期待されている。

図1:ジェスチャ認識の応用例

図1:ジェスチャ認識の応用例

ジェスチャ認識の課題を払拭する

「高感度」と「お手軽感」の両立を実現

ジェスチャ認識は撮像素子(イメージセンサ)と画像処理エンジンを組み合わせたものや、複数の赤外線センサによるもので構築されている。撮像素子を用いる方式は、複雑な認識も可能だがコストが高いという問題がある。また、逆光の場合、対象を見分けられず精度が落ちてしまうので設置箇所の制約が生ずる。複数の赤外線センサを使ったものは、あらかじめ決められた1次元(直線方向)の動きを検出できコストも低いが、探知距離が10cm程度と短い。

それに対して、ルネサスでは、極めて低コストながらも探知距離は1m程度を確保し、手のひらの上下、左右、斜めといった8方向の動き検出を実現した。身体全体を使ってジェスチャを行うならば10mといった遠距離でも検知可能なほど高感度だ。これまでのジェスチャ認識は、スマートフォンの画面に手をかざすといった極めて近距離の利用が中心だったが、ドアや機械の前で身振りをすれば操作できるようになることで応用範囲が大きく拡がる。課題を払拭したことで注目が集まっている、ルネサスのジェスチャ認識ソリューションを解説しよう。

ポイント(1):高速・低ノイズセンサを採用

センシングには人が発する赤外線の変化を検知する焦電センサを4個搭載する(図2)。焦電センサは、人感センサとして広く使われており、古くから利用実績がある安定した素子だ。ただし、従来のセンサは反応速度が低いため手のひらの動きのような小さな部分の素早い動きを検出するのは難しく、「人がいるか、いないか」という二つの状態のどちらかを知る程度の利用が中心となってきた。二値的(デジタル的)な情報に限られる反面、カメラではないためプライバシーに敏感な箇所での利用にも抵抗が少なく、使用できる範囲は非常に広い。

このソリューションでは、センサーズ・アンド・ワークス社が新開発した有機材料(有機強誘電薄膜)を用いた焦電センサを採用した。従来センサに比べて10倍以上の高速化と低ノイズ化により、中距離(1m)までの探知距離を実現した。また、焦電センサのため、外部光の影響による誤作動の心配が低く設置場所を選ばない。

新型センサの特性を下に示す(図3)。従来のセンサでは熱源(例えば手のひら)からの赤外線を長時間当てた時(グラフの青線左側)と短時間当てたとき(青線右側)で感度が大幅に異なる。新型センサでは、赤外線を受ける時間の長短にかかわらず出力が確保されている(グラフ赤線)。

図2:ジェスチャ認識ソリューションの基板構成

図2:ジェスチャ認識ソリューションの基板構成

図3:高速・低ノイズのセンシング特性(センサーズ・アンド・ワークス社提供資料)

図3:高速・低ノイズのセンシング特性(センサーズ・アンド・ワークス社提供資料)

ポイント(2):アナログICを活用して部品点数を削減し低コスト化を実現

焦電センサからの出力は、ルネサスの「Smart Analog IC300(RAA730300)」へ送る(図4)。Smart Analogはセンサとマイコンを繋ぐアナログ回路(アナログフロントエンド)をIC化したもので、各センサの特性を均一化し、増幅した信号をマイコンに送る役割だ。Smart Analogの利用で外付けの受動部品を大幅に削減でき、コスト低減を図れる。また、マイコン上でデジタルフィルタを形成する必要がなくなり、CPUによる処理の負担を軽減する。

RL78/G1Aマイコンの機能を活用して、認識状況をLEDやLCDに表示することも可能だ。アプリケーション開発の際、動作の確認や信号追跡の手間を大幅に削減できる。

図4:ジェスチャ認識ソリューションのデモセットブロック図

図4:ジェスチャ認識ソリューションのデモセットブロック図

ポイント(3):動きを解析するソフトウェアも提供

センサが出力するのは、赤外線を検出したか否かの情報だけだ。そのため、検出情報から動きを読み取るには、検出結果の解析作業が必要になる。解析を担当するのが、RL78/G1Aマイコンに搭載されたソフトウェアだ。解析結果は8パターン(図5)のいずれかに分類される。

ソフトウェアにはターゲットの検出や動き判定に必要な複雑な処理が求められるが、アプリケーションを開発する担当者は処理の難しさを気にする必要はない。例えば、手を右から左に動かしたとき、人はその手を左から右に動かしながら手を元に戻す。この「戻り動作」を検出すると、ジェスチャで与えたかった方向を見誤ってしまう。ソリューションに含まれるソフトウェアは、この戻り動作を排除する機能を備えており、意図通りの方向情報のみが示される。

図5:ジェスチャ認識の8パターン

図5:ジェスチャ認識の8パターン

利用シーンに合わせた細かな調整をソフトウェアに対して行うことも可能だ。ジェスチャ認識を用いる場所によっては、手の動きの速さが異なる事が予想される。ソリューションでは、ソフトウェアに与えるパラメータを調整して、ジェスチャの速度に合わせることができる。また、検出感度もパラメータを変更することで調整可能だ。周辺環境や利用者の手のひらの温度などの状況に合わせた認識を実現する。マイコン活用を熟知するルネサスがソフトウェアを提供することで、お客様はアプリケーション部分の開発に集中できる。

ジェスチャという意図が込められた動きを低コストで認識するソリューションが誕生し、さまざまな組み込み機器への搭載が期待されている。今回ご紹介したソリューションのデモ動画をご用意した。ぜひ、反応の良さをご覧いただき、開発中の組み込み機器へのジェスチャ認識搭載の可能性を検討してほしい。