自動運転時代の車載コンピューティングSoC向けに低遅延・高性能・低消費電力のカメラ画像処理回路を開発

　ルネサス エレクトロニクス株式会社（代表取締役社長兼CEO：鶴丸　哲哉、以下ルネサス）は、自動運転を実現する車載コンピューティングSoC（System-On-Chip：システムLSI）向けの動画像処理回路を新たに開発しました。

　自動運転を実現する車載コンピューティングSoCには、車載情報システムと安全運転支援システムを統合して並列に実行していくことが求められます。特に、安全運転支援システムにおいてドライバに適切な情報を遅滞なく通知するためには、車載カメラから送られる動画像データを低遅延にて処理しなければなりません。また、車載情報システムおよび安全運転支援システムで必要とされる膨大な動画像データ処理と自動運転制御の双方を、遅滞なく安定して実行できることが課題でした。

　新たに開発した動画像処理回路は、車載カメラ向け動画像処理を低遅延にて行い、かつ、膨大な動画像処理を、自動運転制御を担うCPUとGPU（Graphics Processing Unit）に負荷をかけることなくリアルタイムかつ低消費電力で実現します。

　当社は新動画像処理回路を最先端16nm（ナノメートル、ナノは10億分の1） FinFETプロセスで試作し、車載カメラ向け動画像処理を70msの低遅延にて実現するとともに、世界トップクラスのフルHD 12チャネル性能の動画像処理を197mWの低消費電力にて実現しました。

　近年、カーナビや先進運転支援システム（Advanced Driver Assistance Systems: ADAS）など将来の自動運転を視野にいれた車載情報機器は、車載情報システムと安全運転支援システムを統合する車載コンピューティングシステムへと大きな進化を遂げています。

　安全運転支援システムにおいては、車載カメラにて取得した動画像から、障害物の検知やドライバ状態の認識、さらには危険予測や危険回避判断のような複雑な処理（以下コグニティブ・プロセッシング）を実現することが求められています。ルネサス製車載カメラ・ネットワーク用SoC「R-Car T2」などの登場により、車載カメラからの動画像データはデジタル圧縮伝送されることが想定されるため、受信した動画像圧縮データの伸張処理を行い、さらに、広角カメラ画像をコグニティブ・プロセッシングが可能となるように歪み補正処理を行う必要があります。ドライバに適切な情報を遅滞なく通知するためには、これらの動画像処理を低遅延で行う必要があります。

　一方、車載情報システムにおいては、スマートフォンやクラウドサービスなど様々なモノやサービスと連携することが可能となり、多数の動画像がシステム外部から入力されます。同時に、リアシートモニタなど車内に複数のディスプレイが配置されることが一般的になり、多数の動画像を同時に表示することが必要とされます。そのため、車載情報システムでは、これら大量の動画像データをリアルタイムに処理して表示する性能が要求されます。

　今回開発した動画像処理回路は、車載カメラから伝送される動画像圧縮データの伸張処理および歪み補正処理を低遅延で実現します。また車載コンピューティングシステムに必要とされる膨大な動画像処理を、コグニティブ・プロセッシングを担うCPUとGPUに負荷をかけることなくリアルタイムかつ低消費電力で実現します。

　このたび開発した技術の特長は以下のとおりです。

(1) 動画像処理プロセッサ間の同期動作およびパイプライン動作により、動画像伸張処理と歪み補正処理を70msの低遅延で実現

　動画像圧縮伸張処理は、性能が圧縮データの量に依存している圧縮符号処理と、性能が画面の解像度に依存しているその他の画像処理に大別されます。今回開発した動画像処理回路では、圧縮符号処理を担うStream processorと、その他の画像処理を担うCodec processorにより、動画像圧縮伸張処理を実行します。車載情報システムで扱う一般的な動画像データはフレームごとにデータ量が大きく異なっているため、性能が圧縮データの量に依存しているStream processorの処理時間はフレームごとに大きく変動します。一方で、性能が画面の解像度に依存しているCodec processorの処理時間はフレームごとに一定です。従って、Stream processorとCodec processorを非同期に動作させる必要があるため、遅延量が大きくなってしまう課題がありました。

　今回開発した動画像処理回路では、安全運転支援システムで想定されるフレームごとのデータ量がほぼ等しい動画像圧縮データに対応し、Stream processorとCodec processor間にFIFOを配置して同期動作させるモードを設けました。また、Codec processorからフレーム処理の途中で16倍数ラインの処理が完了したことを知らせる割り込みをCPUに出力する機構を設け、フレーム処理の完了を待たずに後段の歪み補正処理を開始できるようにしました。

　これらの同期動作およびフレーム未満パイプライン動作により、動画像圧縮データの受信から動画像伸張処理と歪み補正処理の完了までを70ms（当社28nmプロセス比40%減）の低遅延で実現しました。

(2) 車載コンピューティングシステム向けに最適化された17個6種類の動画像処理プロセッサにより、世界トップクラスのフルHD 12チャネルの高性能を実現

　CPUとGPUに負荷をかけることなくリアルタイムかつ低消費電力で動画像処理を行うために、17個6種類の動画像処理プロセッサを開発しました。動画像圧縮伸張処理を行うStream processorおよびCodec processor、歪み補正処理を行うRendering processor、汎用画像処理を行うVideo processor、画面合成処理を行うBlending processor、画面表示に伴う処理を行うDisplay processorから成り、各動画像処理プロセッサは階層バスにて接続される構成をとっています。

　これらの動画像処理プロセッサからなる動画像処理回路を最先端16nm FinFETプロセスで試作評価した結果、世界トップクラスのフルHD 12チャネル（当社28nmプロセス比3倍）の高性能動作を確認しました。

(3) 可逆および非可逆の2種類のデータ圧縮技術を組み合わせて使用メモリ帯域を50%削減し、フルHD 12チャネル処理を世界トップクラスの197mWの低消費電力で実現

　フルHD 12チャネルという膨大な動画像処理を行う場合、メモリへのデータアクセスが性能のネックおよび電力消費の大きな要因となります。また、車載コンピューティングシステムでは、CPU、GPUにてコグニティブ・プロセッシングを行うため、動画像処理で消費するメモリ帯域を極力抑え、高い安全性が必要とされる安全運転支援システムの動作を阻害しないことが重要となります。

　そこで、メモリに格納する画像データを圧縮することで、メモリ帯域の削減を図りました。画面内の画素値は変化しないが規模の大きな可逆圧縮と、画素値は変化するが規模の小さな非可逆圧縮を、画像処理の特性に合わせ適切に配置することで、典型的な動画像処理フローにおいて50%のメモリ帯域削減を実現しました。特に、小サイズデータのアクセスほどメモリ転送効率が落ちて実効的なメモリ帯域が削減されないというDDRメモリへのアクセス特有の問題を回避するため、小サイズデータのアクセスが多く発生する動画像伸張処理に対しては、キャッシュを利用したアクセスサイズの拡大を図ることで実効的なメモリ帯域を70%削減することに成功しました。

　最先端16nm FinFETプロセスで試作評価した結果、このメモリ帯域削減により、バス上を流れるデータ量の減少に応じ消費電力が20%削減され、フルHD 12チャネルを世界トップクラスの197mW（当社28nmプロセス比60%減）の低消費電力で実現できることを確認しました。

　ルネサスが今回開発した動画像処理回路は、膨大な動画像処理をCPUとGPUに負荷をかけることなくリアルタイムかつ低消費電力、低遅延で行うことで、車載情報システムおよび安全運転支援システムを統合する車載コンピューティングシステムを実現します。また、今後ルネサスの車載コンピューティングSoCへの搭載により、安全・安心で快適なクルマ社会の構築に貢献します。

　なお、当社は今回の成果を、2016年1月31日から米国サンフランシスコで開催される「国際固体素子回路会議ISSCC 2016（International Solid-State Circuit Conference 2016）」にて、現地時間の2月1日に発表およびデモ展示を行いました。デモでは、今回開発した動画像処理回路を実装したSoC搭載ボードを設置し、フルHD 12チャネルの動画像コンテンツ再生表示により処理性能を実証するとともに、その際の使用メモリ帯域削減率をリアルタイム表示することで本成果の有用性を示しました。

以　上

＊本リリース中の製品名やサービス名は全てそれぞれの所有者に属する商標または登録商標です。

ニュースリリースに掲載されている情報（製品価格、仕様等を含む）は、発表日現在の情報です。 その後予告なしに変更されることがございますので、あらかじめご承知ください。