概要
説明
RZ/V2H, RZ/V2NのDRP-AIには枝刈りされたAIモデルを効率的に演算する機能があります。DRP-AI Extension PackはDRP-AIに最適化されたAIモデルの枝刈りを実現するツールです。
本製品をPyTorchまたはTensorFlowで書かれた学習コードと組み合わせることで、DRP-AIに最適化された枝刈り機能を使用できます。
枝刈りとは？
ニューラルネットワーク内のノードは下図のように相互に接続されています。ノード間の重みを削除したりノードを削除したりしてパラメータの数を減らす方法は「枝刈り」と呼ばれます。枝刈りが適用されていないニューラルネットワークは、一般にDenseニューラルネットワークと呼ばれます。また、枝刈りが適用されたニューラルネットワークは、一般にSparseニューラルネットワークと呼ばれます。枝刈りを適用するとモデルの精度がわずかに低下しますが、ハードウェアに必要な電力を削減し、推論プロセスを高速化できます。
画像
枝刈りモデルの組み込み方法
枝刈り後のモデルはDRP-AI TVMを使用して組み込むことができます。
以下のURLからDRP-AI TVMのTVMの詳細をご確認ください。
https://github.com/renesas-rz/rzv_drp-ai_tvm
なお、以下の図に示す通り枝刈りはオプション機能です。(Denseモデルも組み込み可能です。)
画像
特長
- RZ/V2H, RZ/V2N向けに最適化された枝刈り機能
- 認識精度と電力効率のバランスを取るため枝刈り率の指定が可能
- 認識精度向上のため2つの枝刈りモードをサポート(One Shot/Gradual)
リリース情報
DRP-AI Extension Pack Version 1.1.0を公開しました。(2024年10月)
- Transformer対応として、Multi-Head Attentionの構造を持つPyTorchのモデルをサポートしました。
ターゲットデバイス
設計・開発
関連ボード＆キット
Evaluation
RZ/V2H-EVK
アクティブ
RZ/V2H Quad-core Vision AI MPU Evaluation Kit
RZ/V2H AI MPU評価キット（RTK0EF0168C04000BJ）は、RZ/V2HクアッドコアVision AI MPUの評価に最適な評価ボードキットです。CPUボードとEXPボードで構成されています。本評価キットはRZ/V2Hの標準ソフトウェアパッケージに対応しており、低消費電力AI推論，Video Streaming等の機能を評価することが可能です。搭載デバイスはオプション機能Image signal processor (ISP)、3D graphics engine (GE3D)、Trusted Secure IPに対応しています。
Recommended Documents:
Evaluation
RZ/V2N-EVK
アクティブ
RZ/V2NクアッドコアVision AI MPU評価キット
RZ/V2N AI MPU評価キット（RTK0EF0186C03000BJ）は、RZ/V2NクアッドコアVision AI MPUの評価に最適な評価ボードキットです。CPUボードと拡張用EXPボード、更には2枚のサブボードで構成されています。本評価キットはソフトウェア開発環境であるAIソフトウェア開発キット（AI SDK）に対応しています。低消費電力のAI推論、ビデオストリーミング、その他の内蔵機能を評価することがか可能です。また、イメージシグナルプロセッサ（ISP）、3Dグラフィックスエンジン（GE3D）、Trusted Secure IPなどのオプション機能もサポートしています。
Recommended Documents:
ビデオ&トレーニング
Overview of DRP-AI TVM
This video provides an overview of DRP-AI TVM, focusing on the integration of AI into "Endpoint" devices for efficient real-time processing. Renesas' DRP-AI acts as a powerful accelerator, offering key features that enhance the performance and capabilities of endpoint AI applications.
Video List
