一种基于深度学习的金属压印字符识别方法-k8凯发

本发明涉及图像识别，具体涉及一种基于深度学习的金属压印字符识别方法。

背景技术：

1、铁路货车在目前的货物运载任务中扮演着越来越重要的角色，铁路货车所承载的运载工作日益增加，为保证铁路货车的正常运行，对铁路货车进行必要的维护维修显得至关重要。其中，对铁路货车线缆的检测是其中重要的任务之一，为避免线缆因老化、外因破损等情况，导致铁路货车运载出现重大安全隐患，需要定期采用相应的技术手段对检修的压印的检修时间进行识别。目前，对于承载线路检修时间压印字符铭牌的识别主要采用人工记录的方式，在铁路货车停靠在专门检修站时，由特定工种的技术人员定期到现场进行一一观察记录，因而存在主观性大且效率低下等问题。因此，为提高铁路货车线缆检修时间压印字符铭牌识别的自动化程度和检修的时效性，迫切需要开发高校准确的箱号自动识别方法。

2、现有技术提出了一种基于yolov5s算法的钢印字符识别方法，运用yolov5s算法提取图像的特征，实现了对钢印字符的识别。yolov5s将模型分为3个部分，即backbone网络部分、neck特征增强部分和prediction部分。由于该方法检测的钢印字符对象干扰信息较少，且钢印字符表面平整性较高，因此不能正确处理因反光造成的钢印字符铭牌难以识别的情况。

3、目前对于压印字符识别方法存在以下两个问题：

4、1）现在铭牌压印字符识别干扰信息少。现有方法针对的压印字符识别，主要是在一块表面平整度高的钢板上，压印字符与钢板具有对比度较高的特点，且钢板上除压印字符外，无其它干扰信息。

5、2）缺乏对强反光的金属压印字符识别。目前的检测方法，主要针对的是反光较弱的金属材质压印字符识别，压印字符在整张图像数据中的质量较高，没有考虑反光严重导致压印字符识别难度大的情况。

技术实现思路

1、针对现有压印字符识别存在的铭牌压印字符识别干扰信息少、缺乏对强反光的金属压印字符识别的问题，本发明提供了一种基于深度学习的金属压印字符识别方法。

2、为了达到上述发明目的，本发明采用的技术方案为：

3、一种基于深度学习的金属压印字符识别方法，包括以下步骤：

4、获取待检测金属压印字符图像；所述待检测金属压印字符图像包括同一高度不同角度的采集图像；

5、构建金属压印字符检测模型并进行预训练；所述金属压印字符检测模型包括主干网络、多尺度特征融合网络和预测网络；所述主干网络包括反光特征融合模块和特征提取网络；

6、利用所述反光特征融合模块将待检测金属压印字符图像中的反光噪声转换为包含字符特征信息的反光特征，再将从不同角度图像提取的反光特征进行融合，生成反光特征融合图像；

7、利用特征提取网络、多尺度特征融合网络和预测网络对反光特征融合图像进行特征提取、多尺度特征融合和特征预测，得到金属压印字符识别结果。

8、作为可选地，所述反光特征融合模块具体包括：

9、反光特征提取单元和反光特征融合单元；

10、所述反光特征提取单元用于先对输入的原始图像进行线性插值，得到尺度减小后的第一图像；然后对第一图像进行模糊处理，得到消除压印字符后的第二图像；再对第二图像进行线性插值，得到尺度还原后的灰度背景图像；最后将原始图像减去灰度背景图像，得到反光特征图像；

11、所述反光特征融合单元用于将对不同角度的原始图像处理得到的反光特征图像进行融合，生成反光特征融合图像。

12、作为可选地，所述反光特征提取单元具体包括：

13、依次连接的第一线性插值层、第一中值滤波层和第二线性插值层；

14、所述第一线性插值层的输入图像与第二线性插值层的输出图像进行灰度相减，得到反光特征提取单元输出的反光特征图像。

15、作为可选地，所述反光特征图像的计算方式为：

16、

17、

18、其中，表示反光特征图像，表示原始图像，表示灰度背景图像，表示对图像进行线性插值运算，表示对图像进行中值滤波， n表示放大因子，为图像像素坐标。

19、作为可选地，所述反光特征融合图像的计算方式为：

20、

21、

22、

23、其中，表示反光特征融合图像，表示反光特征图像与反光特征图像的差值图像，表示反光特征图像与反光特征图像的差值图像，表示在0度方向上的反光特征图像，表示在90度方向上的反光特征图像，表示在180度方向上的反光特征图像，表示在270度方向上的反光特征图像。

24、作为可选地，所述特征提取网络具体包括：

25、依次连接的切片模块、第一卷积块注意力模块、第一注意力机制混合模块、第二卷积块注意力模块、第二注意力机制混合模块、第三卷积块注意力模块、第三注意力机制混合模块、第四卷积块注意力模块、第四注意力机制混合模块、第五卷积块注意力模块和特征转换模块；

26、所述第一注意力机制混合模块、第二注意力机制混合模块、第三注意力机制混合模块和第四注意力机制混合模块均用于对输入的特征图提取包含方向信息和位置信息的特征图。

27、作为可选地，所述多尺度特征融合网络具体包括：

28、依次连接的第六卷积块注意力模块、第一上采样模块、第一拼接模块、第五注意力机制混合模块、第七卷积块注意力模块、第二上采样模块、第二拼接模块和第六注意力机制混合模块形成的第一支路，以及依次连接的第八卷积块注意力模块、第三拼接模块、第七注意力机制混合模块、第九卷积块注意力模块、第四拼接模块和第八注意力机制混合模块形成的第二支路；

29、所述第六卷积块注意力模块的输入端与特征转换模块的输出端连接，所述第六卷积块注意力模块的输出端还与第四拼接模块的输入端连接；所述第一拼接模块的输入端与第四注意力机制混合模块的输出端连接；所述第七卷积块注意力模块的输出端还与第三拼接模块的输入端连接；所述第二拼接模块的输入端与第二注意力机制混合模块的输出端连接。

30、作为可选地，所述第一注意力机制混合模块、第二注意力机制混合模块、第三注意力机制混合模块、第四注意力机制混合模块、第五注意力机制混合模块、第六注意力机制混合模块、第七注意力机制混合模块、第八注意力机制混合模块的结构相同，具体包括：

31、第一卷积模块、瓶颈模块、第二卷积模块、第五拼接模块、第三卷积模块和注意力机制模块；

32、所述第一卷积模块的输入端与第二卷积模块的输入端连接；所述第二卷积模块的输出端和瓶颈模块的输出端均与第五拼接模块的输出端连接；所述第五拼接模块、第三卷积模块和注意力机制模块依次连接。

33、作为可选地，所述注意力机制模块具体包括：

34、宽度全局平均池化模块、高度全局平均池化模块、拼接和卷积模块、批量归一化和非线性激活模块、第四卷积模块、第五卷积模块、第一s函数激活模块、第二s函数激活模块和相乘模块；

35、所述宽度全局平均池化模块的输入端与高度全局平均池化模块的输入端及相乘模块的输入端连接，所述宽度全局平均池化模块的输出端与高度全局平均池化模块的输出端均与拼接和卷积模块的输入端连接；

36、所述拼接和卷积模块的输出端与批量归一化和非线性激活模块的输入端连接，所述批量归一化和非线性激活模块的输出端分别与第四卷积模块的输入端和第五卷积模块的输入端连接；

37、所述第四卷积模块的输出端与第一s函数激活模块的输入端连接，所述第五卷积模块的输出端与第二s函数激活模块的输入端连接；

38、所述相乘模块的输入端还与第一s函数激活模块的输出端及第二s函数激活模块的输出端连接。

39、作为可选地，所述预测网络的输入端分别与第六注意力机制混合模块的输出端、第七注意力机制混合模块的输出端及第八注意力机制混合模块的输出端连接。

40、本发明具有以下有益效果：

41、本发明通过获取同一高度不同角度的采集图像，并且在主干网络中设置反光特征融合模块，使反光噪声转换为携带着字符特征信息的反光特征，从而可以满足不同反光条件下对压印字符的特征增强，解决现有压印字符识别方法存在的图像特征信息提取不准确、识别准确率低的技术问题，有效地实现铁路货车线缆检修时间压印字符铭牌的自动识别。