GR-PEACHと大型ディスプレイを組み合わせて翻訳デモキットを製作

事例紹介:GR-PEACH

「信頼とスピード」を旗印とした半導体商社の株式会社ルネサスイーストン。同社は、ルネサス エレクトロニクスをはじめとして、お客様の多様なニーズにワンストップソリューションでお応えできるよう半導体製品を広範囲に取り扱っています。同社の技術本部のエンベデッドソリューション開発部では、国立研究開発法人の情報通信研究機構(NICT)が開発した多言語音声翻訳エンジンを大型ディスプレイで実演できる『多言語音声翻訳ソリューション』のデモキットをGR-PEACHで製作しました。

株式会社ルネサスイーストン

株式会社ルネサスイーストン

会社紹介: 当社は半導体・電子部品の技術商社として、ルネサス エレクトロニクス製品をコアに幅広い商材を取り揃え、FAEのサポート力やソフトウェア・LSIの開発力、パートナー企業の技術力を融合させ、お客様の多様なニーズにお応えし、ご満足戴けるシステムソリューションを提供しています。

課題のポイント

  • 組み込み型の端末による多言語音声翻訳ソリューションを実現したかった

解決のポイント

  • GR-PEACHと大型ディスプレイを組み合わせて展示効果の高い翻訳デモキットを製作

実際の組み込み端末による具体的な導入例のイメージをお客様に持っていただくことが難しかった

株式会社ルネサスイーストンの技術本部でエンベデッドソリューション開発部の応用開発Grに所属する渡辺安昭担当課長は、GR-PEACHと大型ディスプレイを組み合わせた『多言語音声翻訳ソリューション』のデモキットを製作した背景について、次のように振り返ります。

「2年ほど前から、国立研究開発法人の情報通信研究機構(NICT)が開発した多言語音声翻訳エンジンを展示会で組み込みマイコンを使った一対一の翻訳デモ機を使って紹介していました。しかし、単純な翻訳デモ機だけの展示では来場者に対して具体的な応用例のイメージを膨らませる事が弱いと感じていました。そこで、2020年の東京オリンピック/パラリンピックでの需要を見込んで、『多言語音声翻訳ソリューション』を体験できるよう、具体的な応用例でデモセットを製作することにしました」

株式会社ルネサスイーストン 渡辺氏

技術本部
エンベデッドソリューション開発部
応用開発Gr 担当課長
渡辺 安昭 氏

株式会社ルネサスイーストン 天沼氏

技術本部
エンベデッドソリューション開発部
情報産業Gr
天沼 和久 氏

実際の製作にあたっては、同開発部の情報産業Grに所属する天沼和久氏が担当しました。天沼氏は「NICTの多言語音声翻訳を実感してもらうために、一対一の翻訳ではないデモキットを製作しようと考えました。そこで、マイクユニットにGR-CITRUSを採用しました。そして、音声の取り込みや大型ディスプレイへの出力と、イーサネット経由で翻訳サーバーに接続するためのGR-PEACHを採用しました」とシステムの構成を説明しています。

GR-CITRUSとGR-PEACHを連携させてUSB経由で音声を取得

『多言語音声翻訳ソリューション』のシステム構成は、図のようになっています。マイクユニットにはGR-CITRUSが搭載され、12ビットのA/D変換を行い、USB経由で親機となるGR-PEACHへと音声データが送られます。デモキットのマイクユニットは4セット製作され、それぞれのマイクユニットはディップスイッチの設定により、日英中の3ヶ国語に対応します。NICTが提供する30カ国の言語の中から要求の多い(日本語の他に)2ヶ国語を選んで製作しました。

USB経由で親機に送られてきた音声は、GR-PEACHによってインターネットを経由してNICTの多言語音声翻訳サーバーに送信されます。多言語音声音訳サーバーには、音声認識エンジンと機械翻訳エンジンに合成音声エンジンが装備されています。それぞれのエンジンを利用して、サーバー側で翻訳処理が行われると、結果がGR-PEACHに戻ってきます。すると、今度はGR-PEACHがテキストデータをLCD出力を介して大型ディスプレイに表示します。同時に、合成音声データによる各国語の発音をSSI(Serial Sound Interface)からスピーカーで鳴らします。さらに、SPI(Serial Peripheral Interface)を通してデータをMicroSDにも保存します。渡辺氏は「MicroSDに保存したデータは、ログとしてプリンタで出力できます」と話します。

マイクユニットにGR-CITRUSを搭載

マイクユニットにGR-CITRUSを搭載

デモキットの効果から展示会での問い合わせも増加

音声翻訳だけでなく、ディスプレイに訳文も表示

音声翻訳だけでなく、ディスプレイに訳文も表示

『多言語音声翻訳ソリューション』のデモキット製作において、天沼氏は「開発で苦労したのは、画面のデザインでした。多言語を同時に翻訳して発音する様子を効果的に見せるために、どのようなレイアウトがいいのか、社内から多くの意見をもらい開発しました。その結果、各国語の国旗の列に翻訳結果が吹き出しのイメージで表示されるデザインに落ち着きました」と開発の経緯を振り返ります。

また、実際の展示の効果について渡辺氏は「こちらのデモキットを最初に披露したのは、2017年11月の展示会でした。多言語翻訳の様子をイメージしたオートデモの表示と、マイクユニットを使った翻訳デモの効果で、展示は好評でした」と話します。

デモキットによる多言語翻訳の様子を伝えたことで、展示会での問い合わせも増えました。渡辺氏は「MicroSDによる翻訳ログの保存と印刷について説明すると、インバウンド向けのキオスク端末のように利用して、どのような問い合わせがあったのかを確認するなどの活用が期待できるというご意見もありました。国際空港や観光施設での利用などを検討するお客様からの問い合わせもありました。GR-CITRUSとGR-PEACHを活用したデモキット製作の意義は十分にあったと思います」と評価します。

レスポンスの高速化に向けたUSBデバイスクラスのチューニング

GR-PEACHを組み込んだ『多言語音声翻訳ソリューション』の将来的な製品イメージとして、渡辺氏は「例えば、外国人旅行者が多く訪れるコンビニや商業施設などに設置して、アナウンスや施設の案内などに活用できると思います。単独のキオスク端末として利用するだけではなく、ロボットなどに組み込んで活用することも可能です。私たちの部署では、単なるハードウェア、ソフトウェアの販売だけではなく、NICTの多言語音声翻訳エンジンを利用するライセンス契約にも対応しているので、ワンストップでデバイスからサービスまでを提供できます」と話します。今後のIoT化に向けてエッジ端末とクラウドサービスをセットで紹介できる様に取り組んで行きます。

また、今後のデモキットの開発について天沼氏は「現在はまだ満足できるレスポンスではないので、マイクユニットと親機を結ぶUSBデバイスクラスのチューニングなどを行って、高速化に取り組んでいきます」と方針を述べます。

株式会社ルネサスイーストン 渡辺氏、天沼氏 他

株式会社ルネサスイーストン 渡辺氏、天沼氏 他

『複数人対応翻訳システム』の動態デモはこちらからご覧いただけます。

関連リンク
  • GR-PEACH
    GR- PEACHは32ビットArm®コア RZ/A1Hを搭載したボードで、400MHz動作、10MB RAMを内蔵しています。EthernetやマイクロSDを搭載。カメラやLCDなども拡張接続でき、画像処理を行うプロトタイピングに適しています。
  • GR-CITRUS
    GR-CITRUSは32ビットRX631を搭載したボードで、VS Code上でmRubyによるプログラミングができます。別売のWA-MIKANを接続するとWi-Fi拡張ができるため、IoTセンサーノードのプロトタイピングにピッタリ!