画像
Shinji Yamano
Shinji Yamano
Principal Specialist
掲載: 2022年5月12日

近年、組み込み向けのCMOSセンサ入力は2Mpix(FullHD)から8Mpix(4K)と言った高解像度のものが主流になってきました。 しかしこのような高解像度のセンサを用いる場合、CMOSセンサのデータを画像に変換する“イメージシグナルプロセッサ(ISP)”をサポートしたセンサモジュールが少ないというのが実情です。 そこで現在はISP内蔵のMPUによって、画像の変換や高精細化などの処理を行うケースが主流です。

これによって外付けISPが不要になり、製品原価の低減にも繋がります。

一方ISPそのものも、馴染みのない方には敷居が高いことも事実です。たとえば、以下のような課題が容易に想像できます。

  • 多機能化
    画像変換処理だけでなく、画質向上のための機能が追加。
    例) 複数の画像を合成するWDR、2D/3Dノイズリダクション、超解像での縮小処理など、
  • 複雑化
    多機能になるにつれ、レジスタの数も膨大に (数千を超えるケースも!)。
    これを調整して、期待値に最も近いレジスタ設定を探す必要がある。
  • センサ展開の難しさ
    レジスタ設定はセンサの特性を考慮して設定するため、色の特性などはセンサごとに最適値が異なる。
    シェーディングや歪み補正など、レンズとの組み合わせにも影響する。

このように馴染みのある方にとっても、MPU内蔵のISP調整は一朝一夕で実現できるものではありません。さてルネサスでは、この問題を解決するためにRZ/V2MのISP機能を“Tuned ISP”と名付け、提案を行っています。 このTuned ISPでは、ISPの機能を抽象化し簡単に使えるAPIとして整備しています。

しかし画質やISPの機能に妥協をしていません。

  • 様々なISPの機能をAPIとして提供します。
    AEやAWBなどソフトウェアによる追加処理が必要な機能も、API内部でその処理を実行します。そのため複雑な機能も、APIを呼ぶだけで実行可能です。
  • 画質は最適値となるベース値を設定済み。ここからの微調整をパラメータで指定できます。
  • 製品設置時などに設定を調整できるツールを準備しています。
    これをお客様のツールに組み込むことで、露出やレンズの歪み補正などのパラメータ設定をプログラムFix後でも変更可能です

これらによって、お客様は自社の製品の画像調整をプリセットされた設定とAPIで“簡単に”、かつ“すぐに”実現することができます。

画像
RZ/V2M ISP Support Function

図:API、ツールでサポートする機能の一覧

またISPだけでなく、動画圧縮などのマルチメディアに関する機能もAPIとして準備しています。 これによって入力を動画として圧縮するなど、センサを起点とする一連の動作をAPIで実現することが可能です。

本特長は、ルネサスが選定した幾つかの標準センサで対応します。 ルネサスではこれからも対応するセンサやAPIを拡充し、更に使いやすい環境を継続してご提供いたします。

RZ/V2Mでは複雑な設定からお客様を解放し、アプリケーションに注力できる環境づくりの支援を継続します。 ぜひ以下のリンクから、APIの機能や関係ソフトウェアについても参照ください。

Related information:

  1. RZ/V2M: 4KサポートするISPと電力効率の良いAI推論エンジンを搭載した製品
  2. RZ/V2M ISP Support Package: ISPとマルチメディア用APIをサポートするソフトウェアパッケージ
  3. RZ/V2M Linux Package: RZ/V2Mの基本ソフトウェアパッケージ
  4. RZ/V2M DRP-AI Support Package: AI推論をサポートするソフトウェアパッケージ

この記事をシェアする