光学方法与流程-k8凯发

本公开涉及一种高光谱图像获取方法。

背景技术：

1、高光谱成像涉及获取场景的三维数据立方体，通过一个光谱和两个空间域收集强度。数据立方体是格式i(x，y，λ)。数据立方体的每个切片包括与特定波长的光对应的xy图像。常规高光谱成像器依赖于两种主要捕获方法：使用扫描2d传感器捕获数据立方体，或空间复用在后处理之后要检索的光谱信息。扫描成像器在定向上受限并且必须扫描(因此得名)，这是一个花费大量时间并且引入运动伪影的过程。多路复用成像器在很大程度上避免了扫描引入的误差，但是需要大量牺牲空间信息或复杂的传感器才能实现高光谱成像。多路复用成像器的分辨率受到限制和/或难以制造。

2、为了实现单次拍摄高光谱捕获并且避免多路复用光谱仪的分辨率牺牲，已经试验了算法成像方法。最著名的示例是编码孔径快照光谱成像仪(cassi)及其变体。cassi依赖于压缩感知——用于重构欠定线性系统的信号处理框架。通过将输入信号操纵成适用于压缩感知重构的格式，cassi能够根据从传统二维检测器的单次曝光获得的信号重构高光谱数据立方体。然而，虽然cassi在不显著牺牲空间分辨率或复杂多路复用的情况下实现单次拍摄成像，但其仅能够以受重构时间限制的分辨率捕获数据立方体，偶然会出现伪影，因为256*256*25的普通压缩感知重构对于实际使用来说已经太长了。

3、进行了一些尝试以使用机器学习来进行图像重构，特别是使用生成对抗网络(gan)。

4、例如，在苗(miao)、辛(xin)等人的标题为“lambda-net:从快照测量中重构高光谱图像(lambda-net：reconstruct hyperspectral images from a snapshotmeasurement)”的文章中，2019ieee/cvf计算机视觉国际会议(iccv)，ieee，2019年，描述了一种使用经学习的生成对抗网络来重构cassi高光谱信号的方法。然而，该方法仅意味着用于一个cassi视图，并且不包括深黑色卷积，也不校正透视差异。

5、此外，已经在非高光谱常规计算机视觉中，在张(zhang)、韩(han)等人的“自注意力生成对抗网络(self-attention generative adversarial networks)”(机器学习国际会议，pmlr，2019年)中示出，将自注意力机制合并到gan架构中可以允许模型利用局部和全局空间信息两者来生成图像特征。此外，该论文示出了在发生器和鉴别器两者中应用lipschitz约束(以光谱归一化的形式)改进了模型性能和稳定性。

6、此外，isola、phillip等人的“具有条件对抗网络的图像到图像转换(image-to-image translation with conditional adversarial networks)”(关于计算机视觉和模式识别的ieee会议的论文集，2017年)描述了在非高光谱计算机视觉设置中使用条件增益结合损失约束12来生成高分辨率高保真图像。

7、本公开的目的是克服或至少改善与已知的编码孔径高光谱成像方法相关联的缺点。

技术实现思路

1、根据第一方面，提供了一种校正光谱未剪切的第一图像和光谱剪切的第二图像之间的视图差异的计算机实现的方法。第一图像可以是未编码的，而第二图像可以是经编码的或未编码的。所述方法包括使用机器学习算法来确定被配置为将第一图像和第二图像彼此映射的变换。所述方法还包括通过使用所确定的变换来变换第一图像和第二图像中的一个来校正视图差异。

2、光谱剪切或未剪切视图表示任何成像传感器捕获的视图，包括但不限于单色、rgb、rgb-i、rgb-ir或任何解拜耳(debayering)传感器。

3、直接找到用于校正图像之间的视图差异的变换(例如，透视变换)的参数在图像之一被光谱剪切的情况下尤其具有挑战性。不能应用传统的视差校正技术(例如，计算机视觉视差校正技术)。使用机器学习方法来确定用于校正不同视图(例如，由高光谱成像系统检测的多个视图)之间的视图差异(例如，视差或未对准等)的变换(例如，透视变换)可以实现变换的有效迭代确定。

4、在高光谱成像系统的背景下，使用机器学习方法还可以提供增强的对准鲁棒性。压缩感知重构方法要求编码器特征在检测器上的位置的完美先验知识——掩模与传感器之间的未对准可以使得准确的高光谱数据立方体重构是不可能的。使用机器学习方法来确定变换(例如，透视变换)，为不同视图提供到共同视图基础的映射以校正任何视图差异(例如，视差或未对准等)，意味着不需要那些差异的先验知识，且在训练过程期间考虑视图差异以确定变换。这可以使得高光谱数据立方体能够被准确地重构，即使在例如编码器被中继到具有若干像素错误的传感器的情况下。为了准确地重构高光谱数据立方体，可能不需要高光谱成像器所需的通常昂贵且漫长的对准过程。该对准鲁棒性还可能有利于解决热膨胀和/或变形、振动引起的噪声和一般鲁棒性(例如，通常不能在不破坏对准的情况下敲击或掉落高光谱成像器)。

5、视图差异可包括视差误差、旋转误差、对准误差、放大误差等。

6、机器学习算法可以包括神经网络。

7、该方法可以包括连结第一图像和第二图像以形成连结的图像数据。该方法还可以包括：将连结的图像数据提供给神经网络。该方法可以还包括使用神经网络来执行一个或更多个卷积运算。该方法可以包括使用神经网络，从一个或更多个卷积运算的输出确定变换。该方法还可包括使用所确定的变换来对第一图像和第二图像中的一者进行变换。

8、使用神经网络来执行一个或更多个卷积运算可以还包括下采样。

9、该方法可以还包括在确定变换之前使用神经网络来重新成形一个或更多个卷积运算的输出。

10、重新成形一个或更多个卷积运算的输出可以包括将来自二维数据集的输出重新成形为一维数据集。

11、神经网络可以包括被配置为确定变换的一个或更多个密集连接的层。

12、透视变换可包括变换矩阵。该方法可包括使用神经网络来确定变换矩阵的一个或更多个参数。变换矩阵可包括定义旋转、平移、剪切和透视移位和缩放中的至少一个的变换矩阵。

13、神经网络可以包括用于执行一个或更多个卷积运算的多个并行路径。这可提供神经网络在反向传播期间的改进的稳定性和学习。并行路径中的一个路径具有非线性输出，并且并行路径中的一个路径可具有线性输出。如果通过路径之一(例如，非线性路径)的反向传播和学习在学习期间导致非常高的变化率或无变化率，则学习可改为通过另一并行路径(例如，线性路径)传播。

14、该方法可以包括变换第二图像以提供经校正的第二图像。

15、本发明提出一种从场景的至少一个经编码和/或光谱剪切的图像和未编码且光谱未剪切的图像重构高光谱数据立方体的计算机实现的方法，该方法包括：

16、将所述至少一个经编码和/或光谱剪切的图像和未编码且光谱未剪切的图像提供给神经网络，该神经网络包括具有编码器部分和解码器部分的编码器-解码器结构；

17、使用编码器部分来执行一个或更多个初级卷积运算；以及

18、使用解码器部分来执行一个或更多个转置卷积运算；

19、使用用于对所述场景的所述至少一个经编码和/或光谱剪切的图像和未编码且光谱未剪切的图像、或所述场景的未编码且光谱未剪切的图像进行编码的编码方案的表示，对所述一个或更多个初级卷积运算和/或转置卷积运算中的至少一个卷积运算的输出执行空间自适应归一化和/或反向注意力归一化。

20、该至少一个经编码且光谱剪切的图像，其中任一者或两者可以是单色、基于滤波器的成像系统或具有高水平的确定性。光谱未剪切的图像可以是单色的、基于滤波器的成像系统。基于滤波器的相机系统可以包括拜耳成像系统。

21、从针对视图差异(例如，未对准、视差、硬件故障等)校正的图像重构高光谱数据立方体可以提供改进的高光谱重构。在高光谱数据立方体的断层摄影重构的背景下，从至少一个经编码的光谱剪切的图像重构高光谱数据立方体(包括校正视图差异)可以使得那个视图中的独有信息能够在组合重构中利用所有视图之前独立于其他视图使用，同时为不同视图提供共同视图基础。

22、根据一个方面，提供了一种从经编码且光谱剪切的图像重构高光谱数据立方体的计算机实现的方法。该方法包括将该图像提供给神经网络。神经网络包括编码器-解码器结构，其具有编码器部分和解码器部分。该方法包括使用编码器部分来执行一个或更多个初级卷积运算。该方法包括使用解码器部分来执行一个或更多个转置卷积运算。该方法包括：使用用于对图像进行编码的掩模的表示，对一个或更多个初级卷积运算和/或转置卷积运算中的至少一个的输出执行空间自适应归一化和/或应用反向注意力归一化块。

23、空间自适应归一化将用于对图像进行编码的掩模应用到由初级卷积运算提取的特征上。spade强制神经网络利用编码方案信息并且因此可以利用编码方案提供的压缩。经由缩放(例如，归一化)和偏差方法来实现掩模的实施。spade在信号在被检测(作为左剪切测量601)之前被掩蔽并随后分散的情况下可以是独有有效的。对编码掩模进行归一化和偏差可以使得掩模信息能够更好地用于重构高光谱数据立方体。

24、执行空间自适应归一化(spade)可以包括对编码方案的表示和/或对任何剪切或未剪切视图执行第一次级卷积运算。执行spade还可以包括对第一次级卷积运算的输出执行第二次级卷积运算。执行spade还可以包括执行第二次级卷积运算的输出与初级卷积运算或转置卷积运算的输出之间的逐元素乘法。执行spade可以包括将第二次级卷积运算的输出与逐元素乘法的输出相加。

25、该方法可以包括调整所述掩模的表示的大小以匹配初级卷积运算或转置卷积运算的输出的分辨率。

26、反向注意力归一化可包括应用于输入特征的卷积运算或转置卷积运算。执行反向注意力归一化可包含应用于输入特征的一个或更多个空间自适应归一化运算。该方法可以包含连续应用于最终空间自适应归一化运算的结果的一个或更多个卷积运算。

27、反向注意力归一化方法可以包括将sigmoid运算和/或softmax激活运算中的一个运算应用于先前应用的最后卷积的结果。该方法可以包括在第一卷积运算的输出与激活运算的结果之间的逐元素乘法。执行反向注意力归一化可包含连续应用于逐元素乘法的结果的一个或更多个卷积运算和/或转置卷积运算。

28、该方法可以包括使用编码器部分和解码器部分中的一者或两者来执行一个或更多个残差卷积运算。残差卷积运算可以使得神经网络能够提取与神经网络中的较早层的结果有关的特征。这可在神经网络中产生非线性和复杂性，并且可使得神经网络能够识别数据中的此类特性。残差卷积运算还可经由反向传播帮助模型学习。

29、执行残差卷积运算可以包括提供输入、执行一个或更多个卷积运算、以及组合一系列连续卷积运算的输入和输出。

30、组合一个或更多个卷积运算的输入和输出可以包括：一个或更多个卷积运算的输入和输出的求和、连结或乘法或这些运算的组合。

31、输入可以是初级卷积运算或转置卷积运算的输出和空间自适应归一化的输出中的一个，或包括初级卷积运算或转置卷积运算的输出和空间自适应归一化的输出中的一个。

32、该方法可以包括在编码器部分与解码器部分之间提供跳跃连接。

33、所述方法可包括使用第三方面的方法针对视图差异来校正经编码且光谱剪切的图像。

34、根据另一方面，提供了一种训练第一方面、第二方面或第三方面中的一个或更多个的神经网络的计算机实现的方法。该方法包括使用以下各项中的一项或更多项来训练神经网络：

35、i)l2损失函数；

36、ii)对准损失函数；以及

37、iii)压缩的测量损失函数；以及

38、iv)相对归一化的损失函数。

39、该方法可以包括使用至少两个不同的损失函数的加权和来训练神经网络。

40、根据一个方面，提供了一种重构高光谱数据立方体的计算机实现的方法。该方法包括获得场景的光谱未剪切图像。该方法还包括获得场景的至少一个光谱剪切的图像。该方法还包括使用该光谱未剪切图像和该至少一个光谱剪切图像来重构对应于该场景的高光谱数据立方体。

41、使用场景的至少一个光谱剪切图像和场景的光谱未剪切图像两者允许通过提供用于重构的附加信息来改进对应于场景的高光谱数据立方体的重构。光谱未剪切图像还可以为重构的高光谱数据立方体提供简单的视觉比较。

42、该方法可以包括使用神经网络来重构高光谱数据立方体。

43、该方法可以包括使用场景的至少一个光谱剪切的图像确定场景的估计的高光谱数据立方体。该方法可以包括向包括具有编码器部分和解码器部分的编码器-解码器结构的神经网络提供该场景的估计的高光谱数据立方体和该场景的未剪切图像。使用该光谱未剪切图像和该至少一个光谱剪切图像来重构对应于场景的高光谱数据立方体可以包括：从该场景的估计的高光谱数据立方体和未剪切图像确定该场景的增强的高光谱数据立方体。

44、估计的立方体可来自重构模型中的先前点步骤或外部源。

45、在此上下文中，外部源被定义为通过重构算法/模型的范围之外的方式收集或估计的任何高光谱数据集。可以进行这种扩展，因为次级细化重构(组合重构)可以作用于任何高光谱数据集，即不仅仅是先前重构尝试的结果。此外，这可以进一步扩展到包括由重构中的先前步骤产生的任何特征集或数据立方体，只要它们具有预期形状。

46、从估计的高光谱数据立方体重构场景的增强的高光谱数据立方体，可以通过将该高光谱数据立方体的重构分成两个阶段来改进该增强的高光谱数据立方体的推理时间(例如，减少重构时间)。该方法还可以提供改进的重构的高光谱数据立方体。代替从检测到的原始数据开始，可以利用来自场景的估计的高光谱数据立方体和光谱未剪切的图像两者的信息来重构增强的高光谱数据立方体。所估计的高光谱数据立方体可以包括已经从所检测的原始数据提取或推理的特征或信息，这些特征或信息可以被利用并且与场景的光谱未剪切的图像相组合。

47、可替代地，可以使用场景的多个光谱剪切图像(例如，多个估计的高光谱数据立方体)执行该方法。该方法可在无场景的光谱未剪切图像的情况下执行。多个估计的高光谱数据立方体可对应于场景的多个不同光谱剪切视图。使用多个估计的高光谱数据立方体执行断层摄影重构可以使得能够利用不同信息(例如，来自检测到的原始数据的不同组的提取特征，或来自场景的多个不同视图的信息)来改进或增强高光谱数据立方体的重构。

48、该方法可以包括使用编码器部分来执行多个卷积运算。该方法可包括使用解码器部分来执行多个转置卷积运算。

49、该方法可以包括使用编码器部分或解码器部分来执行多个连续的扩张卷积运算。扩张率可随着每个连续扩张的卷积运算而增加。多个连续的扩张卷积运算可以提供更紧凑的神经网络，而输出分辨率没有任何实质性损失。更紧凑的神经网络可以改善高光谱数据立方体的重构速度。

50、该方法可以包括使用第四方面或第五方面的方法来确定估计的高光谱数据立方体。

51、该方法可以包括不向神经网络提供用于对场景的光谱剪切图像进行编码的掩模信息。该方法可包括间接地向神经网络提供掩模信息。该方法可以包括经由使用第五方面的方法确定的估计的高光谱数据立方体间接地向神经网络提供该掩模信息。

52、可以密集地连接多个连续的卷积运算。神经网络中先前的、非相邻卷积层之间的密集连接可以帮助稳定学习。密集连接可以替代地或附加地使得能够利用来自神经网络中先前的、非相邻层的更高频率特征的传输。每个先前的密集连接的卷积运算的输出可以作为输入提供给后续的密集连接的卷积运算。每个先前的密集连接的卷积运算的输出可以被连结以将输入提供给后续的密集连接的卷积运算。

53、解码器部分可包括被配置成接收编码器部分的最终输出的自注意力块。

54、该方法可以包括使用场景的未剪切图像对卷积运算和/或转置卷积运算中的至少一个卷积运算的输出执行空间自适应归一化和/或反向注意力归一化。使用场景的经剪切或未经剪切图像的spade和/或反向注意力归一化可利用未剪切图像所提供的信息。这可以增强被增强的高光谱数据立方体的空间分辨率。

55、该方法可以包括使用分层通道重构来重构高光谱数据立方体。

56、该方法可以包括相对归一化变换，其中sigmoid运算可以被应用于重构的超立方体。sigmoid运算的结果可以除以沿着其最终轴的自身的归约和。

57、归约和被定义为：

58、

59、即，将沿着阵列的最后一个轴的每个像素位置求和，并且将每个元素除以每个像素位置处的归约和。

60、根据一方面，提供了训练第五方面的神经网络的计算机实现的方法。该方法可包括使用生成对抗学习来训练神经网络。

61、该方法可以包括使用cgan、条件gan、损失函数来训练神经网络。

62、根据另一方面，提供了一种训练第七方面或第八方面的神经网络的计算机实现的方法。该方法可以包括使用一个或更多个高光谱特定损失函数来训练神经网络。

63、该方法可以包括使用以下各项中的至少一项来训练神经网络：

64、i)ssim，结构相似性指数测量，损失函数；以及

65、ii)sid，光谱信息散度，损失函数；以及

66、iii)hcr，分层通道重构，损失函数；以及

67、iv)相对归一化的损失函数。

68、该方法可以包括使用至少两个不同的损失函数的加权和来训练神经网络。

69、根据第八方面，提供了一种与第七方面的神经网络分开地来训练第三方面、第四方面或第五方面的神经网络的计算机实现的方法。

70、该方法可以包括与训练神经网络以确定估计的高光谱数据立方体分开地训练神经网络以确定增强的高光谱数据立方体。

71、该方法可以包括训练神经网络以使用第八方面或第九方面的方法来确定增强的高光谱数据立方体。该方法可以包括训练神经网络以使用第六方面的方法来确定估计的高光谱数据立方体。

72、根据一个方面，提供了一种计算机或处理器，该计算机或处理器被配置成执行根据第三方面至第十方面中任一方面的方法，包括其任何可选特征。

73、上述方法可以用于来自高光谱成像设备的输出，该高光谱成像设备包括用于接收来自场景的光场的输入、编码器、至少一个色散元件、至少一个阵列检测器和处理器。编码器被布置为接收来自输入的光场的至少一部分且将其变换以提供具有不同空间模式的第一经编码光场和第二经编码光场。该至少一个色散元件被布置为将第二光谱剪切分别应用于第一经编码光场和第二编码光场以提供第一经剪切光场和第二经剪切光场。至少一个阵列检测器被布置为检测第一经剪切光场和第二经剪切光场。处理器被布置为处理来自至少一个阵列检测器的输出以确定对应于场景的高光谱图像的数据立方体。

74、成像设备可被配置为从单次拍摄(例如，来自第一阵列检测器和第二阵列检测器的一帧数据)获得数据立方体。在一些实施例中，成像设备可以被配置为从多于一次的镜头获得数据立方体(例如，从两次镜头、三次镜头或更多次镜头)。

75、在所检测的光场中提供多于一个编码模式使得能够对原始高光谱数据立方体进行断层摄影重构，由此相对于基于单个编码图案来捕获数据的方法增强了保真度。

76、编码器可被布置为从场景接收未色散或未剪切的光。编码器可被布置为使得在编码器处接收的来自场景的光场的至少一部分基本上未色散或未剪切。在编码来自场景的光场之前，可能不需要或不发生来自场景的光场的色散。例如，光场在其被编码器接收之前可以不穿过诸如棱镜的色散元件。

77、该至少一个阵列检测器可以被布置成检测光谱色散光。由至少一个阵列检测器检测到的经剪切光场可被光谱色散。在至少一个阵列检测器检测之前，可不重新组合经剪切的光场以形成光谱未色散的光场。所捕获的信号可由场景的多个移动的图像的总和组成，其中每个图像根据其波长移动。

78、在一些实施例中，可提供和检测多于两个的经编码光场，例如，可存在四个不同经编码光场(且每一者可具有不同编码)。

79、在一些实施例中，可存在单个检测器和可重新配置的编码器布置。在这样的实施例中，第一空间模式和第二空间模式可在时间上分离，其中编码器在第一经剪切光场与第二经剪切光场的检测之间重新配置。在这样的实施例中，可以使用单个色散元件(例如，在可重新配置的编码器与单个检测器之间)。

80、在其他实施例中，编码器可布置为提供空间上分开的第一经编码光场和第二经编码光场。

81、检测器的分辨率可等于或大于编码器的分辨率。使用第一方面的设备的高光谱图像捕获的帧速率可以仅受所使用的检测器(例如，相机系统或传感器)的帧速率限制。例如，如果检测器的帧速率是200hz，则确定的或重构的高光谱数据立方体的帧速率也可以是200hz。

82、第一光场和第二光场可包括互补空间模式(无论第一经编码光场和第二经编码光场在空间上还是在时间上分离)。互补空间模式可为互补随机或伪随机空间模式。

83、编码器可被配置为在不同方向上反射第一经编码光场和第二经编码光场。

84、一些实施例可组合经编码光场的空间和时间分离，从而检测时间和空间分离的经编码光场(例如，通过提供在空间上分离的第一光场和第二光场的可重新配置的编码器，并且使用不同的编码器图案从所述检测器收集多于一个镜头)。

85、有利地，光场的第一副本和第二副本的生成在数据立方体重构中提供了更大的保真度，该第一副本和第二副本被编码为具有互补空间模式并且在检测之前被单独地剪切。这类似于断层摄影术，由此第一副本和第二副本有效地对应于数据立方体沿不同方向的投影，从而与仅使用单剪切和编码的副本相比提供关于数据立方体的附加信息。光场的副本具有相同的场景。不需要从场景进一步分割光场。编码和剪切与检测两个或更多个副本的组合可以被称为压缩断层摄影术。

86、该至少一个色散元件可以包括被配置成向第一经编码光场施加第一光谱剪切的第一色散元件和被配置成向第二经编码光场施加第二光谱剪切的第二色散元件。

87、该至少一个色散元件可以是透射色散元件或包括透射色散元件。第一色散元件和第二色散元件中一者或两者可以是透射式色散元件。

88、第一光谱剪切和第二光谱剪切可以具有不同的幅度。

89、第一光谱剪切和第二光谱剪切可以具有不同的空间方向。第一色散元件和第二色散元件可分别配置成在不同方向上对第一经编码光场和第二经编码光场进行光谱剪切。第一色散元件可被配置为在第一空间方向上对第一经编码光场进行光谱剪切，且第二色散元件可被配置为在不同于所述第一空间方向的第二空间方向上对第二经编码光场进行光谱剪切。

90、编码器可以包括数字微镜设备、静态掩模、液晶设备(例如，硅上液晶)。

91、编码器可以是透射式编码器或包括透射式编码器。编码器和至少一个色散元件两者都可以是透射的。使用透射组件可以使得高光谱成像设备更容易小型化，特别是当执行压缩断层摄影术时。

92、编码器可包括被配置为提供第一经编码光场的第一编码器部分以及被配置为提供第二经编码光场的第二编码器部分。第一编码器部分和第二编码器部分可以分别布置在第一离散成像路径和第二离散成像路径上或分别沿第一离散成像路径和第二离散成像路径布置。第一离散成像路径和第二离散成像路径可彼此平行。离散成像路径可消除对诸如分束器的反射元件的需要，这可进一步使得能够更容易地小型化高光谱成像设备。

93、第一色散元件和第二色散元件可以被布置在相应的第一离散成像路径和第二离散成像路径上。

94、高光谱成像设备可以还包括光谱编码器，该光谱编码器被配置为在由该至少一个阵列检测器检测之前对第一经剪切光场和第二经剪切光场进行光谱编码。这允许高光谱成像设备在空间域和谱域二者中编码。这提供了编码中的附加自由度，这可以允许数据立方体的采样中更高程度的非相干性(随机性)，并且进而可以改进数据立方体的重构。

95、光谱编码器可包括：第一光谱编码器部分，其被配置为对第一经剪切光场进行光谱编码；以及第二光谱编码器部分，其被配置为对第二经剪切光场进行光谱编码。第一光谱编码器部分和第二光谱编码器部分可布置在相应的第一离散成像路径和第二离散成像路径上或分别沿着第一离散成像路径和第二离散成像路径布置。光谱编码器可以是透射式编码器。

96、至少一个阵列检测器可包括分别被布置为检测第一经剪切光场和第二经剪切光场的第一阵列检测器和第二阵列检测器。

97、高光谱成像设备可以还包括分束器和第三阵列检测器，其中分束器被布置在输入与编码器之间并且被布置为向第三阵列检测器提供光场的一部分并且向编码器提供光场的剩余部分。

98、提供给第三阵列检测器的光场的部分可为未剪切的(或光谱上未色散的)。

99、高光谱成像设备还可以包括位于输入和编码器之间的聚焦元件或中继元件。

100、聚焦元件可布置成将场景成像到编码器上。

101、色散元件中的至少一个色散元件可包括凹光栅。

102、至少一个色散元件可以包括聚焦元件(例如，折射或反射)和平面光栅的组合。平面光栅可以包括透射光栅、双amici棱镜等。

103、至少一个色散元件可以被布置成将第一经剪切光场和第二经剪切光场分别成像到至少一个阵列检测器上。例如，第一色散元件和第二色散元件可以被配置成分别在第一阵列检测器和第二阵列检测器上对第一经剪切光场和第二经剪切光场进行成像。

104、编码器和至少一个色散元件可以被集成到单个组件中。单个组件可以被配置为提供既被编码又被剪切的第一光场和第二光场。这可以进一步使得能够更容易地小型化高光谱成像设备。

105、集成编码器和至少一个色散元件可以包括被布置在至少一个色散元件上的编码图案。至少一个色散元件可以是衍射光栅。编码图案可以被平版印刷到至少一个色散元件上。

106、处理器可以被布置为通过求解最小化问题来确定数据立方体。

107、最小化问题可以包括促进稀疏性的正则化项。

108、处理器可以被布置为解决以下形式的最小化问题：

109、

110、其中，s1是由第一检测器检测到的信号，s2是由第二检测器检测到的信号，k1和k2是加权因子，o1和o2是取决于编码器和第一色散元件和第二色散元件的测量算子，φ(i)是促进稀疏性的正则化项，α是正则化参数，‖.‖表示l范数并且i＝i(x，y，λ)是数据立方体。

111、该处理器可被进一步布置成联合处理来自第三检测器的输出与来自第一检测器和第二检测器的输出以确定数据立方体。在这样的实施例中，该处理器可以被布置成解决以下形式的最小化问题：

112、

113、其中，s1是由第一检测器检测到的信号，s2是由第二检测器检测到的信号，s3是由第三检测器检测到的信号，k1、k2和k3是加权因子，o1、o2和o3是取决于编码器、第一色散元件和第二色散元件以及分束器的测量算子，φ(i)是促进稀疏性的正则化项，α是正则化参数，‖.‖表示l2范数并且i＝i(x，y，λ)是数据立方体。

114、根据本公开的另一方面，提供了一种高光谱图像获取方法，包括：

115、接收来自场景的光场；

116、变换光场以提供具有不同空间模式的第一经编码光场和第二经编码光场；

117、分别向第一经编码光场和第二经编码光场施加光谱剪切，以提供第一经剪切光场和第二经剪切光场；

118、分别检测第一经剪切光场和第二经剪切光场以提供检测数据；以及

119、处理检测数据以确定与场景的高光谱图像相对应的数据立方体。

120、在适当情况下，任何方面的特征(包括可选特征)可以与任何其他方面的那些组合。参考第一方面的成像设备描述的特征可用于第二方面的方法中(例如，该方法可以从单次拍摄等获得数据立方体)。