器用なロボットハンド

このロボットハンドコントロールシステムは、正確で器用な操作のために設計されており、5本の指を制御する6本の空気圧シリンダと、柔軟性と関節の動きを強化するための追加アクチュエータを備えています。 リアルタイムでフィードバックを提供する直感的なGUIを備え、初心者にも使いやすいシステムとなっています。 複数の通信インタフェースとシームレスなセンサの統合により、このシステムは義肢装具、産業オートメーション、ロボティクスなどの応用に高い汎用性を発揮します。 ファームウェアはMicro-ROSと互換性があり、ROS 2ベースのロボットエコシステム内での効率的な通信を可能にします。

ベースとなるシステムを構築したAIビジョン強化の器用なロボットハンドは、インテリジェントなジェスチャーベースの制御を可能にするルネサスビジョンAI MPUを統合しています。 Ubuntu 24.04とROS 2 Jazzyで動作するこの拡張機能は、カメラ入力を使って手のジェスチャーを認識し、それに応じてロボットハンドを制御します。 DRP-AIアクセラレータを搭載したAIモデルは、キーポイント（ランドマークやバウンディングボックスなど）を検出し、Foxgloveの画像アノテーションとして公開することで、直感的な視覚化を実現します。 つかむ、つまむ、親指を立てる、電話して、ピース、OKなど20以上のジェスチャーコマンドをサポートしており、人間とロボットのインタラクションに自然なインタフェースを提供します。

このシステムのメリット：

• CAN FDを含む複数の通信プロトコルをサポートし、信頼性の高い高速データ転送を実現
• マイクロROSを搭載し、ROS 2の高度な機能をMCUレベルで実現
• 6本のシリンダの制御機構は、各指の正確で独立した動きを確実にし、様々な用途で器用な手の機能を容易に実行
• 広範なセンサ統合機能を備えたモジュラ設計を採用し、アダプティブグリップ、触覚センシング、環境インタラクションなどの高度な機能をサポートするための拡張が容易
• DRP-AIアクセラレータを搭載したこのシステムは、リアルタイムの物体検出、セグメンテーション、姿勢推定を実現します。
• YOLOX Pascal VOC、YOLOX Handのような物体検出モデルをサポートし、標準ROS 2メッセージフォーマットでバウンディングボックスモデルを公開します。
• MediaPipe、HRNetV2、RTMPoseのような姿勢推定モデルと互換性があります。