用于训练对输入信号去噪的机器学习系统的设备和方法与流程-k8凯发

本发明涉及训练用于对输入信号去噪的机器学习系统的方法、用于对输入信号去噪的方法、训练设备、计算机程序和机器可读存储设备。

背景技术：

0、现有技术

1、kupyn等人，“deblurgan-v2:deblurring(orders-of-magnitude)faster andbetter”，2019年，https://arxiv.org/abs/1908.03826v1公开了一种用于对输入图像去模糊的神经网络。

2、背景技术

3、

4、信号去噪是各种技术领域中经常出现的问题。尤其是如果信号是由传感器测量的，则信号可能表现出大量的噪声，为了获得干净的信号，需要对这些噪声进行滤波。当使用信号进行控制任务时，例如操纵自主机器人，对传感器信号进行去噪是必要的。

5、例如，当基于视觉信号(例如，相机图像)控制机器人时，视觉信号可以用作用于确定机器人操作环境的虚拟副本的手段。环境的该虚拟副本然后可以用于确定机器人的合适动作，这些动作然后可以在现实世界中执行。在该上下文中，必要的是环境中的类似现象产生类似的视觉信号，使得机器人可以一致且可靠地对它们做出反应。如果视觉信号被大量的噪声损坏，处理信号可能导致机器人采取错误的动作。

6、如已经提到的，然而，对信号去噪的必要性不仅限于视觉信号，而是扩展到以感测设备为特征的各种使用情况，例如，当记录音频信号、用压电传感器确定发动机的状态或者用雷达、超声波或激光雷达传感器执行测距时。

7、一般而言，噪声可被理解为信号在捕捉、存储、传输、处理或转换期间可能遭受的不想要的(并且通常是未知的)修改的总称。存在不同类型的噪声，例如，可以基于它们的统计特征来区分这些噪声(例如，白噪声、黑噪声或布朗噪声)。在本发明的上下文中，噪声也可以被理解为源自信号的记录条件，例如，图像中看到的雨滴可以被理解为噪声，或者由记录信号的移动传感器产生的运动模糊可以被理解为噪声。

8、已知的方法使用确定性模型对输入信号进行去噪。然而，这种方法的问题是图像中的噪声构成了信息的损失。使用确定性方法，这种信息损失通常不能令人满意地得到补偿。因此，希望设计一种方法，该方法考虑到由于噪声导致的信号中信息损失所带来的固有模糊性或不确定性。

9、独立权利要求1中公开的方法的优点在于，训练机器学习系统来对信号去噪，其中，在训练期间，还向机器学习系统提供随机值作为输入。这允许机器学习系统有利地将信号去噪的问题视为概率问题，即从信号的含噪值中确定去噪值是概率问题，其中真实的去噪值由概率分布来近似。

技术实现思路

1、在第一方面，本发明涉及一种用于训练机器学习系统以对所提供的输入信号去噪的计算机实现的方法，其中训练机器学习系统包括以下步骤：

2、·向机器学习系统的第一部分提供第一输入信号和第一值，其中第一输入信号表征含噪信号；

3、·由第一部分确定针对第一输入信号和第一值的第一输出信号；

4、·由机器学习系统的第二部分基于第一输出信号确定第二值，其中第二值表征第一输出信号表征含噪信号的概率；

5、·由第二部分基于所提供的第二输入信号确定第三值，其中第二输入信号表征不含噪信号，并且其中第三值表征第二输入信号表征不含噪信号的概率；

6、·训练机器学习系统，其中训练包括：

7、ο根据第二值相对于第一部分的多个参数的梯度来适配第一部分的多个参数；

8、ο根据第二值和第三值之和相对于第二部分的多个参数的梯度来适配第二部分的多个参数。

9、术语噪声可以理解为信号处理领域中已知的术语。也就是说，噪声可以被理解为信号在捕捉、存储、传输、处理或转换期间可能遭受的不想要的(并且通常是未知的)修改的通用术语。

10、在本发明的上下文中，信号可以被理解为包括至少一个但优选多个值，这些值可以以预定义的形式或形状来组织。例如，信号可以表征在预定义时间量内已经记录的标量值，即，信号可以表征时间序列。信号的值也可以以向量、矩阵或张量的形式组织，例如，信号的值可以表征图像的像素或体积实体的体素。

11、输入信号尤其可以由传感器确定，例如记录。

12、如果输入信号被噪声损坏，即信号是含噪信号，这可以理解为原始信号中的信息损失，其中噪声覆盖原始信号的一些或所有值以形成含噪信号。恢复原始信号的值是困难的，并且有时甚至是不可能的问题。然而，估计原始信号的值是可能的。估计信号的原始值(即，添加噪声之前的干净信号的值)的过程可以被理解为去噪。如果输入信号是不含噪的，去噪应该优选地将输入信号确定为去噪信号。

13、在本发明的上下文中，机器学习系统可以被理解为被配置成处理输入信号并对其去噪。在本发明中描述的机器学习系统可以被理解为生成式对抗网络(gan)。第一部分可以理解为gan的生成器，并且第二部分可以理解为gan的鉴别器。根据gan术语，用于训练的方法可以理解为机器学习系统的第一部分和第二部分之间的零和游戏。第一部分试图从输入信号中生成忠实地类似于去噪信号的输出信号，而第二部分试图区分从第一部分生成的信号和不含噪信号。因此，在训练期间，第一部分学习生成越来越“看起来去噪的”输入信号，直到来自第一部分的输出信号不能再与不含噪信号区分开来。

14、因此，第一部分和第二部分可以被理解为机器学习系统的子部分，其中每个子部分又是被配置成处理预定义输入数据并确定输出数据的机器学习系统。

15、关于干净信号(即没有或只有可忽略的噪声量的信号)的特性的信息通过第二输入信号被注入到训练过程中，第二输入信号可以被理解为干净信号。依靠第一输入信号和第二输入信号，机器学习系统分别被提供关于含噪信号和不含噪信号的信息。

16、第二部分可以被理解为尝试学习由第一部分生成的输出信号相对于第二输入信号之间的差异。相比之下，第一部分试图生成无法从干净信号中辨别出来的输出信号。本质上，这导致第一部分学习基于含噪输入信号生成干净的输出信号。换句话说，第一部分学习对输入信号去噪。

17、优选地，第一部分和第二部分被实现为神经网络。优选地，使用基于梯度的算法来训练神经网络。对于训练，可以定义损失函数，该损失函数在机器学习系统的训练期间被最小化。优选地，第二值是要被分类为含噪信号的输出信号的负对数似然性，并且第三值是要被分类为干净信号(即没有噪声的信号)的第二输入信号的负对数似然性。

18、对于训练，然后可以基于第二值和第三值构建损失函数。例如，损失函数可以由第二值和第三值的和来表征。然后，第一部分可以借助于关于损失函数的梯度上升算法来训练，而第二部分可以用梯度下降算法来训练。可替代地，第一部分也可以通过关于负损失函数的梯度下降来训练。由于第一部分的训练仅影响第二值，所以训练第一部分也可以借助于仅基于第二值的梯度上升算法来进行。

19、为了训练，在相应的基于梯度的算法的每个步骤中使用多个第一输入信号和第二输入信号也是可能的。在这种情况下，损失函数可以表征各个样本的损失函数的平均值。

20、所提出的方法的优点在于，除了第一输入信号之外，还向第一部分提供第一值，其中第一值可以优选地在训练的每个步骤期间从预定义的概率分布中随机抽取。在下文中，将描述为什么这是本发明的有利特征。

21、如上所述，给定含噪信号的值，通过施加噪声而变成含噪信号的干净信号的原始值通常不能被恢复。在没有进一步的信息的情况下，信号的损坏值的原始值可能在大的值范围内。然而，可以确定原始值的概率分布。如果存在这样的概率分布。然后，该概率分布允许估计原始值的多种方式，例如，通过从该分布中随机抽取值并提供该值作为原始值的估计，或者从概率分布中抽取多个值并提供所抽取值的期望值作为原始值的估计。

22、在该上下文中，第一部分可以被理解为用于估计第一输入信号的原始值的模型。由于第一部分被提供有随机抽取的第一值，所以在给定相同的第一输入信号但不同第一值的情况下，它被激励学习生成不同的输出信号。优选地，第一部分被提供有针对第一输入信号的多个第一值，优选地以第一值的向量的形式，其中多个第一值可以从多元概率分布中抽取。

23、所提出的发明的另一个优点是，第一部分能够学习对不同类型噪声的输入信号去噪。例如，如果要去噪的输入信号是图像，则噪声的类型可以是随机像素噪声、眩光、模糊或取决于图像内容的噪声，例如雨。发明人发现第一部分能够学习去除多种不同类型的噪声。第一值具有引导噪声去除过程的效果。例如，当使用神经网络作为第一部分时。可以在神经网络的任意层将噪声作为输入提供给神经网络，其中将第一值作为输入提供给层的位置直接影响噪声去除。例如，如果第一值作为输入被提供给神经网络的第一层，则第一值影响输入信号的局部部分，例如图像中的相邻像素或音频信号中的相邻点。这是因为神经网络在其较前层中处理局部特征。相比之下，将第一值作为输入提供给神经网络的最后一层会影响输入信号的全局部分，例如图像的区域或音频信号的区段。这是因为神经网络在其较后层中处理全局特征。当向第一层和最后一层之间的层提供第一值时，影响可以从输入信号的局部部分(较前层)逐渐转移到输入信号的全局部分(较后层)。如果要由第一部分去除的噪声类型可以变窄，这是特别有帮助的。例如，如果已知输入信号中预期的噪声是局部性质的，例如像素噪声，则第一值可以被提供给较前层。相比之下，如果输入信号中预期的噪声是全局性质的，例如，归因于诸如雨的天气影响的噪声，则第一值可以被提供给较后层。

24、总之，第一值具有操纵去噪过程的效果，并且改进了去噪信号的质量，即，允许实现更好的去噪性能。

25、第一部分应学习去除的噪声类型可以借助于第一输入信号或多个第一输入信号来定义。如果一种类型的噪声存在于第一输入信号中，则第一部分能够学习去除该类型的噪声。第一输入信号因此可以被理解为训练数据集，其中第一输入信号中的噪声的特定组成可以被理解为定义了在训练之后可以使用第一部分从输入信号中去除哪种类型的噪声。

26、总之，结合所提出的训练算法的机器学习系统的特定设计导致第一部分能够针对不同类型的噪声估计所提供的输入信号的干净版本。因为第一部分能够辨别不同类型的噪声，所以所生成的输出信号更精确地类似于干净信号。换句话说，改进了输入信号的去噪。

27、用于训练机器学习系统的方法还可能进一步包括以下步骤：

28、·向第一部分提供第三输入信号和第四值，其中第三输入信号不表征含噪信号；

29、·由第一部分确定针对第三输入信号和第五值的第二输出信号；

30、·根据第二输出信号与第三输入信号的偏差来适配第一部分的多个参数。

31、该特定实施例的主要优点在于，第一部分学习不对本来不含噪的输入信号去噪。总的来说，当处理含噪输入信号以及没有表现出噪声的输入信号二者时，这导致第一部分的性能改进。例如，机器学习系统可以被配置成处理在一天中记录的相机图像。虽然在黎明、黄昏和夜晚，由于相机的记录过程，图像可能是含噪的，但是在白天有足够的光线可用时记录的图像可能仅表现出可忽略的噪声量。这里，用如上所述的附加特征训练的第一部分将能够被应用于相机图像，而不管图像中存在的实际噪声量。

32、该实施例的另一个优点在于，第一部分被训练成在确定输出信号时考虑输入信号。换句话说，它使得第一部分在确定输出信号时能够不仅仅依赖于第一值。这进一步改进了去噪。

33、类似于第一个值，第四值可以优选地随机抽取。在优选实施例中，可以针对第三输入信号提供多个第四值，例如，以向量、矩阵或张量的形式。

34、在进一步的实施例中，第二输入信号可以用作第三输入信号。在这些实施例中，第一值可以被用作第四值，或者另一个随机值可以被抽取为第四值。

35、第二输出信号与第三输入信号的偏差可以由损失函数来表征，该损失函数确定第二输出信号和第三输出信号之间的距离，例如欧几里德距离或曼哈顿距离。在输入信号中没有噪声的情况下，该损失函数可以被认为是强制第一部分学习复制输入信号作为输出信号。上面解释的损失函数因此可以被认为是身份损失函数。为了训练，可以将身份损失函数添加到来自上述gan训练的损失函数中，以形成全局损失函数。优选地，身份损失函数可以由全局损失函数中的预定义因子来加权。

36、在优选实施例中，用于训练的方法还可能进一步包括以下步骤：

37、·由第一部分并基于第一输入信号和第一值确定表征由第一输入信号表征的噪声类型的分类的第五值；

38、·根据由第五值表征的类别和对应于第一输入信号的噪声类型类别的偏差来适配第一部分的多个参数。

39、这种方法可以理解为给机器学习系统的第一部分额外分配任务，以对输入信号中存在的噪声类型进行分类。发明人发现，第一部分的这种形式的监督训练充当了训练的正则化，并且甚至进一步增强了第一部分的性能，因为它呈现了关于要去除的噪声的甚至更多信息。

40、在该实施例中，第一输入信号被分配表征第一输入信号表现出的噪声类型的类别标签。该类别标签可以由专家分配，或者通过无监督的标记方法来确定，例如通过对含噪第一输入信号进行聚类，其中第一输入信号的聚类成员关系确定第一部分应该预测的期望类别。在任何情况下，分配的类别和/或分配的类别标签可以被认为对应于第一输入信号。

41、该特定实施例的另一个优点是，可以向下游应用提供针对给定输入信号的输出信号以及机器学习系统的第一部分的分类。这样，在去噪之前，向下游应用给出更多关于输入信号的信息，这使下游应用能够甚至更精确地处理输出信号。

42、在优选实施例中，用于训练的方法还可能进一步包括以下步骤：

43、·由第一部分并基于第三输入信号和第四值确定表征由第三输入信号表征的噪声类型的分类的第五值；

44、·根据由第五值表征的类别和表征无噪声的类别的偏差来适配第一部分的多个参数。

45、该实施例的优点在于，第一部分还学习对不含噪的输入信号进行分类。发明人发现这甚至进一步改进了第一部分的去噪性能。

46、当用第三输入信号训练时，优选地，第二输出信号与第三输入信号的偏差由以下公式表征：

47、

48、其中x(3)是第三输入信号，g是第一部分，z表示作为函数g(即第一部分)的自变量的第一值的自变量，并且z1和z2每个表示随机抽取的第一值，即第一值的实现。

49、可能的是，多个第三输入信号用于训练，例如以机器学习系统的分批训练的形式。对于用于训练的一批第三输入信号中的每个第三输入信号，可以为每个训练步骤随机抽取相应的第一值。在这种情况下，损失函数可以优选地表征每个第三输入信号上的预期损失，如上面公式中的期望值所表示的。

50、该实施例的优点在于，如果输入信号是不含噪的，则第一部分被训练以学习输出输入信号作为输出信号。这是通过训练第一部分在面对不含噪输入信号时不考虑第一值来实现的。在不含噪信号的情况下，通过向第一部分呈现针对第三输入信号的两个随机抽取的第一值，并训练机器学习系统的第一部分，以最小化针对第三输入信号y的输出信号相对于两个随机抽取的第一值之间的距离(参见损失函数的第二被加数)，来实现对第一值的这种不可知行为。

51、在另一方面，本发明涉及一种用于从输入信号中确定去噪信号的计算机实现的方法，包括以下步骤：

52、·根据上文呈现的训练方法的实施例提供第一部分；

53、·由第一部分基于输入信号和随机抽取的第一值来确定输出信号；

54、·提供输出信号作为去噪信号。

55、用于去噪的方法可以理解为应用在用于训练的方法中获得的机器学习系统的第一部分。提供第一系统的特征可以理解为根据上文呈现的训练方法的实施例训练第一部分，并然后提供经训练的第一部分。可替代地，其也可以理解为使用根据本发明的实施例配置的和/或已经用根据本发明的实施例的方法训练的第一部分。

56、对于去噪，可以使用机器学习系统的第一部分，因为它已经学习在给定输入信号的情况下确定去噪信号。优点在于，第一部分能够以高精度确定去噪信号。所提出的方法的另一个优点在于，不含噪输入信号也可以用作去噪方法的输入，因为第一部分已经学习分开处理它们，即尽可能好地保留不含噪输入信号的值。在信号处理流水线中，第一部分因此可以在进一步处理之前应用于输入信号，因为它通常增强下游任务的性能，下游任务例如对来自输入信号的数据进行分类(例如图像中的对象检测、音频信号中的说话者分类、对发动机喷射器的阀的关闭时间点进行分类，其中传感器信号表征来自阀的压电传感器的数据)。

57、这种方法的优点在于，输出信号(其可以理解为去噪的输入信号)可以更有效地用于下游任务，因为去噪允许下游任务中更好的处理，例如，当将输出信号分类为用于对输入信号分类的代理时。这改进了下游任务的性能，例如分类性能。

58、例如，有可能将去噪信号用作虚拟传感器的输入，用于确定不由输入信号本身测量的输入信号的属性。

59、通常，有可能将去噪信号用作控制系统的输入，其中控制系统被配置成基于去噪信号来确定致动器的控制信号。

60、控制系统可以例如被配置成控制至少部分自主的机器人，其中输入信号是表征机器人环境的感知的传感器信号，并且控制信号控制机器人的至少部分动作。这里的优点在于，通过对输入信号去噪，控制系统可以更精确地感知环境，并因此借助于致动器的更合适的控制信号来确定机器人的更好的动作。