全景环视系统是一种汽车摄像系统,其可提供多种视图,如俯视图、后视图和全景视图,在手动或自动停车时为驾驶员提供协助。 它为驾驶员提供了汽车外部的视野,以协助停车,并向驾驶员警告其路径中可能不会立即看到的障碍物。 汽车内部控制面板上的显示屏显示全景视图,该视图通常由安装在汽车前后及后视镜中的四个广角摄像机组成。

目前,全景环视系统提供的视图,在停车时为驾驶员提供协助。 在更高级的功能中,全景环视系统将与自动停车的目标检测配对。在自动停车时,驾驶员待在车内,汽车将协助驾驶员从车道移动至停车区域。 该系统将进一步发展,以支持远程停车,然后实现代客停车。

目前最简单的功能是来自上方 2D 视角的 360 度全景视图,称为“俯视图”。 各种摄像机视图以正确的几何对齐方式拼接在一起。 可调整每个摄像机视频的亮度和色度,以呈现统一视图。

3D 视图

3D 视图

俯视图

俯视图

目前俯视图可在停车时协助驾驶员,且可通过附加信息来增强协助力度,例如利用 2D 叠加或仅使用后视摄像头的特定后视图。

通过具有任意视点的 3D 视图,可进一步改善俯视图提供的协助。 这允许驾驶员选择汽车周围的任何视点,并获得汽车周围环境更详细的呈现。

它使驾驶员在停车时能更好地判断与障碍物的距离。 除视觉呈现之外,自动障碍物检测将提高安全性,因为它可以向驾驶员发出自动警告。 如距离障碍物太近,汽车也可在停车时自动刹车。

自动停车、远程停车和代客停车是下一个发展步骤。 司机仍待在车内,自动停车功能将提供基于障碍物识别的自动停车,包括识别其他汽车和行人,以及限制因素,如路缘。 以下步骤为远程停车:驾驶员可站在车外,汽车将自动驶入狭小的停车位(如车库)。 代客停车将超越这一功能——驾驶员可在停车场入口处下车,汽车将自动找到一个停车位。 但是,这需要对停车场的基础设施以及车内的传感器进行投资。

瑞萨全景环视系统功能

瑞萨电子株式会社率先推出汽车 SoC,研发了 R-Car 汽车计算平台以及支持全景环视系统的创新电源管理设备。

最新系列的汽车 SoC、R-Car Gen3 基于 Arm® Cortex®-A57/A53 处理器,使用 Arm 64 位 CPU 体系结构。 其提供性能功能,用于处理来自汽车周围多个传感器的大量数据。

在开发入门级或高端系统时,需要在图形和计算机视觉方面进行权衡。 入门级系统通常要求较低,而高端系统将提供更好的图形功能。 大多数 OEM 都希望能同时支持这两个关键方面,且让其具备可扩展性。 第三代 R-Car SoC 系列包括从面向入门级车型的 R-Car V3M 到面向高端车型的 R-Car H3。

H3 的最佳用户体验

面向高端汽车市场,H3 R-Car 可实现每秒 40,000 Dhrystone 百万条指令 (DMIPS)。 为获得最佳的 GPU 性能,它还包含想象技术 PowerVR™ GX6650 3D 图形引擎。 R-Car H3 支持高端车型的多个摄像头输入(最多 8 个)和多个显示屏(最多 4K)。

基于其在汽车领域久经考验的历史经验,第三代 R-Car 拥有采用先进图像识别技术的片上 IMP-X5 并行可编程引擎。 汽车计算机视觉硬件针对需要光流和多障碍物检测的停车应用进行了优化(见图 4)。

R-Car H3 SoC

图 4:R-Car H3 SoC 最多支持 8 个摄像头,可提供一流的 3D 图形渲染

使用 V3M 优化物料清单成本

降低物料清单 (BoM) 的成本是竞争激烈的汽车市场中的一个重要因素。 系统集成可节省空间和成本。

图像信号处理 (ISP) 集成处理来自传感器的数据,结合片上汽车网络对 CAN-FD (受控区域网络–灵活数据速率)、Flexray 和以太网总线的支持,可降低总物料清单成本。 第三代 R-Car SoC 系统架构向 SoC 引入了功能和接口,以降低系统成本。 R-Car V3M 是第三代 R-Car 中首款集成了所有这些功能的芯片。

R-Car V3M

图 5:入门级 R-Car V3M 减少了全景环视系统的物料清单

瑞萨电子株式会社创新研发的 ISL78083 汽车摄像头 PMIC 增强了全景视图体验,超越了 SoC 的图像处理功能,且融入了卫星摄像头的设计。 它能够满足图像传感器、ISP、编码器技术等几乎任意组合的电源要求,并支持电池供电和同轴电缆供电。 通过将外部添加的组件集成到备用电源解决方案中,它减少了必要的物料清单组件数量,并且提供了更小、更低的成本和更灵活的摄像机电源占用空间。 采用 ISL78083 设计的摄像机更小,可更方便地安装在汽车位置,提供所需的全景摄像机角度,且不会产生负面造型或空气动力学影响。

开发支持

为实现从个人电脑到嵌入式系统的无缝开发,迁移解决方案可从预开发阶段到最终开发阶段为开发人员提供支持,并在整个过程中提供研究和高级工程支持、评测板、仿真或软件及最终嵌入式操作系统 (OS)。

图 6:从研发到最终实现的发展过程


全景环视系统解决方案套件是高级入门套件的扩展,可支持多达 8 路摄像头,支持全景视图、镜像更换和驾驶员监控等复杂场景。

入门套件(如瑞萨电子株式会社提供的 H3 入门套件)可用于车内测试,及检查从传感器到处理单元的算法。 R-Car H3 SoC 的 R-Car 高级入门套件同时支持 OpenCL 和 OpenGLES 3.1 及强大的计算库。