Moving Object Tracking

DRP搭載マイコン RZ/A2Mで実現するビジュアルサーボ

画像の説明文

関連情報

概要
 ビジョンとダイナミクスの融合を実践するデモンストレーションです。
 手先に付けた小型カメラと当社製マイコンRZ/A2Mだけでロボットアームを制御し、
 移動する物体をリアルタイムに検出、追従し把持します。
 画像処理でターゲットを特定するため、難しいティーチング※も不要です。
 ※ティーチング:ロボットの軌道を事前にプログラミングする作業
 
ビジュアルサーボとは
 カメラの画像情報を組み込んだロボット制御方法です。これからのロボットに必要な
 ”変化する環境へ”対応することができます。一方で、高速な画像処理と
 リアルタイム処理が必要なサーボ制御を両立する必要があり、実現が困難でした。 
 当社製マイクロプロセッサーRZ/A2Mに内蔵されている動的再構成プロセッサDRPが
 連続する各フレームの画像処理を担当し、サーボ制御をRZ/A2M内のCPUで制御することで
 ビジュアルサーボ処理を1チップで実現することができます。

DRPによる画像処理
 画像処理には”移動体検出モード”、”色追跡モード”の2種類あります。
 移動体検出モードでは連続する画像フレームの差分情報により移動体の色情報の抽出を行い、
 色追跡モードでは検出した移動体の色情報を元に中心座標と角度を算出します。
 DRPで画像処理を行うことにより、 2.5msで移動体の中心座標と回転角を算出します。
 これはCPUでの処理と比較して、4~10倍高速です。

 前処理
 ・カメラから取得した画像(640x480)をBayerからRGB(160x120)へ縮小変換
 ・シェーディング補正とホワイトバランス補正を行います。

 移動体検出モード
 ・フレーム間の差分情報からターゲットとなる移動体のみを抽出した画像を生成します。
 ・CPUで、抽出されたターゲットの色情報を抽出します。

 色追跡モード
 ・移動体検出モードで抽出したターゲットの色情報から、ターゲットとその他を分離します。
 ・CPUで分離された画像からターゲットの中心座標と角度を算出します。

CPUによるサーボ制御
 画像処理により取得した移動体の座標、角度からロボットアームの制御を行います。
 PID制御によりロボットアームの発振を抑えるため、中間目標座標を算出します。
 その中間目標座標へ到達するための各サーボの制御角度を逆運動学計算により算出し、
 ロボットアームの各サーボにシリアル通信で指示を出します。

高い電力効率
 DRPの高い電力効率により、一連のビジュアルサーボ処理を平均0.6mW(RZ/A2M消費電力)
 の低消費電力で実行できます。

構成
 ・RZ/A2Mボード ・・・RZ/A2M EVA-Lite (シマフジ)
 ・2Dカメラモジュール・・・Raspberry Pi2 camera module
 ・ロボットアーム・・・OpenMANIPULATOR-X (ROBOTIS)
 ・距離センサー・・・ GP2Y0E02A IR 距離センサ (SHARP)