一种基于多光谱感知的路侧停车场景检测方法及装置与流程-k8凯发

本发明涉及智慧交通，具体涉及一种基于多光谱感知的路侧停车场景检测方法及装置。

背景技术：

1、近年来，随着社会经济的发展，人们日常出行的便利性需求不断增加，汽车的数量随之不断增多，但是泊位数量的增加远比不上车辆数量的增加，导致泊车难、泊车乱已成为我国城市交通发展中亟待解决的主要问题之一。目前，主要通过在路侧安装高位视频摄像头进行数据采集，然后利用视觉算法进行车牌检测、车牌识别等来实现智能化的泊车收费和管理。

2、与其他光谱相比，可见光成像范围明显更窄，且只能在光线照明良好、能见度较高的环境下有效，在夜间、雨雾等特殊天气、遮挡等环境下可能会失效，从而在特殊环境下对于交通场景的理解和分析也随之无法实现，同时利用多模态包括可见光摄像头、红外摄像头、激光雷达、毫米波雷达等多种传感器设备的不同模态的数据进行路侧停车场景的解析，多模态设备的安装成本较高，如在每个高位视频杆上均进行安装，需要巨大的成本，在短期内，很难实现大规模的应用。

技术实现思路

1、有鉴于此，本发明实施例提供了一种基于多光谱感知的路侧停车场景检测方法及装置，解决了由于现有方法在特殊环境下难以实现、成本高等问题。

2、根据第一方面，本发明实施例提供了一种基于多光谱感知的路侧停车场景检测方法，包括：

3、利用多光谱感知设备采集路侧数据；

4、对所述路侧数据进行数据处理，确定处理结果；

5、构建多光谱感知模型，利用所述多光谱感知模型对所述处理结果进行检测，确定检测结果。

6、本发明实施例提供的基于多光谱感知的路侧停车场景检测方法，通过利用不同模态的传感器，实现多光谱场景感知；即使在光照条件较差甚至完全黑暗的环境中也可以感知物体，实现对三种不同光谱下的传感器数据进行融合，不同模态的数据可在不同的环境、天气状态下发挥不同的优势，多种模态数据的融合能够实现为复杂场景的解析的提供更多的数据信息支撑，在路侧停车场景下可以实现更准确的感知，包括物体识别、跟踪和定位等，且即使在夜间场景下也能够实现较好的效果。

7、结合第一方面，在第一方面第一实施方式中，所述利用多光谱感知设备采集路侧数据，包括：所述多光谱感知设备由rgb-d相机和热像仪，所述路侧数据包括：rgb图像、深度图像以及热成像图，

8、将所述rgb-d相机和热像仪安装在预设区域内；

9、利用所述rgb-d相机采集所述预设区域内的目标物体的rgb图像以及深度图像；

10、利用所述热像仪采集所述预设区域内的目标物体的热成像图。

11、结合第一方面第一实施方式，在第一方面第二实施方式中，所述对所述路侧数据进行数据处理，确定处理结果，包括：

12、将所述路侧数据分别按照时间维度和空间维度对齐，确定对齐后的路侧数据；

13、将对齐后的路侧数据进行时空多维度标注，确定目标路侧数据。

14、结合第一方面第二实施方式，在第一方面第三实施方式中，所述将对齐后的路侧数据进行时空多维度标注，包括：

15、基于单帧的对齐后的路侧数据进行空间维度上的多类别标注和多目标标注，所述多类别标注表示对于同一所述目标物体进行不同类型的标注，所述多目标标注表示对不同种类的所述目标物体进行标注；

16、对于对齐后的路侧数据进行连续时间段的标注，用于实现对所述目标物体的跟踪。

17、结合第一方面第二实施方式，在第一方面第四实施方式中，所述构建多光谱感知模型，利用所述多光谱感知模型对所述处理结果进行检测，确定检测结果，包括：

18、通过现有网络模型构建所述多光谱感知模型，包括：特征提取网络以及特征融合网络；

19、利用所述特征提取网络对所述处理结果进行特征提取，确定特征数据；

20、利用所述特征融合网络对所述特征数据进行特征融合，确定融合数据；

21、将所述特征数据以及所述融合数据输入至所述多光谱感知模型，输出检测结果。

22、结合第一方面第四实施方式，在第一方面第五实施方式中，所述利用所述特征提取网络对所述处理结果进行特征提取，确定特征数据，包括：所述特征提取网络包括第一特征提取网络和第二特征提取网络，所述目标路侧数据包括：目标rgb图像、目标深度图像以及目标热成像图，

23、将所述目标rgb图像、所述目标深度图像以及所述目标热成像图进行数据级融合，利用所述第一特征提取网络对融合后的数据进行特征提取，确定共有特征数据；

24、利用所述第二特征提取网络分别对所述目标rgb图像、所述目标深度图像以及所述目标热成像图依次进行特征提取，分别确定对应的独有特征数据。

25、结合第一方面第五实施方式，在第一方面第六实施方式中，所述利用所述特征融合网络对所述特征数据进行特征融合，确定融合数据，包括：利用所述特征融合网络将各个所述独有特征数据进行特征融合，确定融合数据。

26、本发明实施例提供的基于多光谱感知的路侧停车场景检测方法，通过利用rgb-d相机和热像仪两种成本较低的不同模态的传感器，实现多光谱场景感知；其中，rgb-d相机表示深度相机，不仅可以采集路侧停车场景的rgb图像信息，还可以利用红外结构光系统采集近红外波段的数据，来捕获深度信息，热像仪的工作波段为长波段，所需的像素间距较大，与rgb-d相机相比，传感器的分辨率可能较低，但是，热红外传感器可以感知显著物体和背景之间的温差，即使在光照条件较差甚至完全黑暗的环境中也可以感知物体，在夜间对于物体检测是一种有用的方式；因此，通过利用rgb-d相机和热像仪，实现对三种不同光谱下的传感器数据进行融合，不同模态的数据可在不同的环境、天气状态下发挥不同的优势，多种模态数据的融合能够实现为复杂场景的解析的提供更多的数据信息支撑，在路侧停车场景下可以实现更准确的感知，包括物体识别、跟踪和定位等，且即使在夜间场景下也能够实现较好的效果。

27、根据第二方面，本发明实施例提供的基于多光谱感知的路侧停车场景检测装置，包括：

28、第一处理模块，用于利用多光谱感知设备采集路侧数据；

29、第二处理模块，用于对所述路侧数据进行数据处理，确定处理结果；

30、第三处理模块，用于构建多光谱感知模型，利用所述多光谱感知模型对所述处理结果进行检测，确定检测结果。

31、本实施例提供的基于多光谱感知的路侧停车场景检测装置，通过利用不同模态的传感器，实现多光谱场景感知；即使在光照条件较差甚至完全黑暗的环境中也可以感知物体，实现对三种不同光谱下的传感器数据进行融合，不同模态的数据可在不同的环境、天气状态下发挥不同的优势，多种模态数据的融合能够实现为复杂场景的解析的提供更多的数据信息支撑，在路侧停车场景下可以实现更准确的感知，包括物体识别、跟踪和定位等，且即使在夜间场景下也能够实现较好的效果。

32、根据第三方面，本发明实施例提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中所述的基于多光谱感知的路侧停车场景检测方法。

33、根据第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的基于多光谱感知的路侧停车场景检测方法。