无约束的图像稳定的制作方法-k8凯发

本申请涉及一种用于执行无约束的电子图像稳定和全向相机融合(即用于机器人技术和智能相机应用)的系统、装置和方法。

背景技术：

1、图像稳定通常是指在图像周围移动裁剪窗口，以使裁剪图像的内容看起来是静止的或物理地致动(相机)镜头的元件以在传感器平面上移动图像。图像稳定还可以与使用机械万向节来稳定相机或来自相机的图像相关联。

2、在机器人技术和智能相机应用的背景下，对于机器人或传感器来说，以稳定的方式感知发声视觉信息通常是至关重要的，即捕获世界的稳定视场。这可以通过图像稳定来实现。

3、然而，由于防止镜头进一步旋转的机械和光学限制，或者由于电子情况下的过度裁剪，用于图像稳定的现有方法通常仅对几度量级的旋转有效。

4、特别地，传统的(或光学的)电子稳定方法仅在小范围的角度上操作，这受到光学情况下的镜头致动器机械限制或电子情况下的过度图像裁剪的限制。这些方法也缺少用于将多个相机图像拼接到单个视场中的内置凯发k8ag旗舰厅真人平台的解决方案—反而必须通过特征匹配来处理。

5、就使用机械万向节来稳定相机而言，即在相机外部物理地应用多个致动器来抵消旋转，允许围绕相机无约束地旋转也会引发问题。机械万向节往往机械复杂、昂贵、耗能，并且特别重；稳定频带宽度受致动器功率和总系统重量的限制；稳定动态范围受致动器速度的限制；它需要进一步的计算以将多个相机图像拼接到单个视场中。

6、此外，用于对系统的视场进行编码的现有方法没有表现出某些特性，其中一些方法甚至可能不是期望的，这使得这些方法相对不如本发明。

7、由于上述原因，期望开发一种执行无约束的电子图像稳定和全向相机融合的方法、系统、介质和/或装置，其可以解决至少上述问题并产生本质上实现的稳定的质量仿真。

8、下文描述的实施例不限于解决上文和本申请全文中描述的已知方法的任何或所有缺点的实施方案。

技术实现思路

1、提供本
技术实现要素：
以便以简化形式介绍将在以下具体实施方式中进一步描述的一些概念。该发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于确定所要求保护的主题的范围；有助于本发明的工作和/或用于实现基本上类似的技术效果的变体和替代特征应当被认为落入本文公开的本发明的范围内。

2、本发明提供了用于视场的旋转稳定的示例性方法，用于对视场进行编码的数据结构，这些数据结构表现出关于对数据执行计算的期望特性，通过使用稳定来消除由于相机旋转引起的表观运动而改善场景运动的提取，以及对使用这些数据结构编码的视场高效地执行计算的方法。

3、在第一方面，本公开提供了一种用于稳定运动数据的计算机实现的方法，该方法包括：从一个或多个源接收与物体相关联的数据；使用一种或多种技术根据所述数据建立旋转稳定视场；基于一个或多个数据结构对稳定视场进行编码，其中所述一个或多个数据结构包括至少一维、二维或多维投影；以及从已编码稳定视场中提取稳定运动数据。

4、在第二方面，本公开提供了一种稳定用于运动检测的数据的计算机实现的方法，包括：从一个或多个源接收与物体相关联的数据；使用一种或多种技术根据所述数据建立旋转稳定视场；基于一个或多个数据结构对稳定视场进行编码，其中所述一个或多个数据结构包括至少一维、二维或多维投影；以及从已编码稳定视场中提取运动数据，用于检测所述数据中的运动。

5、在第三方面，本公开提供了一种用于检测运动的装置，包括：用于从一个或多个源接收数据的接口；一个或多个集成电路，其被配置成：使用一种或多种技术根据所述数据建立稳定视场；基于一个或多个数据结构对稳定视场进行编码，其中所述一个或多个数据结构包括二维或多维投影；以及从已编码稳定视场中提取运动数据，以检测所述数据中的物体运动。

6、在第四方面，本公开提供了一种用于检测运动的系统，包括：第一模块，该第一模块被配置成使用一种或多种技术根据所述数据建立稳定视场；第二模块，该第二模块被配置成基于一个或多个数据结构对稳定视场进行编码，其中所述一个或多个数据结构包括二维或多维投影；以及第三模块，该第三模块被配置成从已编码稳定视场中提取运动数据，用于检测所述数据中的物体运动。

7、本文描述的方法可以由有形存储介质上的机器可读形式的软件来执行，例如以包括计算机程序代码装置的计算机程序的形式，当程序在计算机上运行时，该计算机程序代码装置适于执行本文描述的任一方法的所有步骤，并且其中计算机程序可以在计算机可读介质上体现。有形(或非暂时性)存储介质的实例包括碟片、拇指驱动器、存储卡等，并且不包括传播信号。软件可以适合于在并行处理器或串行处理器上执行，使得这些方法步骤可以以任何合适的次序执行或同时执行。

8、本申请承认固件和软件可以是有价值的、可单独交易的商品。旨在涵盖在“哑”或标准硬件上运行或控制“哑”或标准硬件以执行期望功能的软件。还旨在涵盖“描述”或定义硬件配置的软件，诸如如用于设计硅芯片，或用于配置通用可编程芯片的hdl(硬件描述语言)软件，以执行期望的功能。

9、本文描述的任何特征可以适当地组合，这对于本领域技术人员将是显而易见的，并且可以与本发明的任一方面组合。

技术特征：

1.一种用于稳定运动数据的计算机实现的方法，所述方法包括：

2.根据权利要求1所述的方法，其中所述一种或多种技术包括被配置成基于所述一个或多个源的取向根据所述数据创建旋转稳定的全向视场的算法。

3.根据任一前述权利要求所述的方法，其中所述一种或多种技术还包括被配置成根据所述数据校正滚动快门的算法。

4.根据任一前述权利要求所述的方法，其中所述一种或多种技术通过以连续方式迭代地添加接收的数据来处理所述数据，以建立所述稳定视场。

5.根据权利要求4所述的方法，其中处理后的数据至少部分地存储在存储器中；或者其中实时地处理所述接收的数据而不将所述数据存储在存储器中。

6.根据任一前述权利要求所述的方法，还包括：从所述编码中将平移运动与旋转运动隔离开，以提取运动数据。

7.根据任一前述权利要求所述的方法，其中所述一个或多个数据结构包括球面投影或圆柱投影。

8.根据权利要求7所述的方法，其中所述物体的所述球面投影与所述一个或多个源一起移动。

9.根据权利要求7或8所述的方法，其中所述稳定视场相对于移动物体至少部分地不被稳定。

10.根据任一前述权利要求所述的方法，其中所述一个或多个数据结构包括分级等面积同纬度像素化(healpix)投影。

11.根据权利要求10所述的方法，其中所述healpix投影应用healpix双像素化导数。

12.根据权利要求10或11所述的方法，还包括：使用所述healpix投影应用2^n healpixn_side参数。

13.根据权利要求10至12所述的方法，其中使用用于估计运动的算法来提取所述运动数据，其中相对于等像素面积和局部笛卡尔性质的特性来配置所述算法。

14.根据权利要求10至13所述的方法，其中使用光学流提取所述运动数据。

15.根据权利要求1至14所述的方法，其中所述一个或多个数据结构包括等面积投影和/或局部笛卡尔投影。

16.根据权利要求15所述的方法，其中基于与所述等面积投影和所述局部笛卡尔投影相关联的特性，使用光流类型估计来提取所述运动数据。

17.根据任一前述权利要求所述的方法，其中所述方法使用不动点实现在现场可编程门阵列上实现。

18.根据权利要求1至16所述的方法，其中所述方法使用16位浮点算术在视觉加速器单元上实现。

19.根据权利要求1至16所述的方法，其中所述方法在与以下各项中的至少一项相关联的一个或多个处理器上实现：中央处理单元、图形处理单元、张量处理单元、数字信号处理器、专用集成电路、无晶圆厂半导体、半导体知识产权核心或其组合。

20.根据任一前述权利要求所述的方法，还包括：提取关于与球面投影相关联的所述一个或多个数据结构的正交频带，其中所述正交频带围绕所述球面投影的可标识的笛卡尔轴。

21.根据权利要求20所述的方法，其中所述球面投影是healpix。

22.根据权利要求20或21所述的方法，其中所述球面投影应用双像素化。

23.根据权利要求20至22所述的方法，还包括：通过使用所述正交频带对所述球面投影应用空间滤波。

24.根据权利要求20至23所述的方法，还包括：

25.根据权利要求1至19所述的方法，还包括：提取关于与圆柱投影相关联的所述一个或多个数据结构的正交频带，其中所述正交频带以捕获基于所述数据的垂直条纹的方向的方式围绕所述圆柱投影的可标识的笛卡尔轴。

26.根据权利要求1至19所述的方法，还包括：提取关于与球面投影相关联的所述一个或多个数据结构的正交频带，其中提取的正交频带适于应用于与投影相关联的算法，其中所述提取的正交频带用作对所述一个或多个数据结构的编码。

27.根据权利要求20至25所述的方法，其中基于球面投影以并行方式同时应用所述正交频带以生成卷积。

28.根据权利要求27所述的方法，其中所述正交频带中的每一个被分段以供并行处理来生成与球面投影相关联的卷积。

29.根据任一前述权利要求所述的方法，其中来自一个或多个源的数据进行去马赛克。

30.根据权利要求29所述的方法，其中所述数据是与视觉信息相对应的rgb数据。

31.根据任一前述权利要求所述的方法，还包括：应用像素分箱和下采样以创建旋转稳定的全向视场。

32.根据权利要求31所述的方法，其中所述像素分箱被配置用于通过分别累加三个颜色通道来对所述数据进行去拜耳。

33.根据任一前述权利要求所述的方法，还包括：将异构感测应用于所述稳定视场，其中基于一种或多种技术全向地建立所述稳定视场。

34.根据权利要求33所述的方法，其中异构感测包括以更高空间分辨率对所述稳定视场的至少一部分进行编码。

35.根据权利要求33或34所述的方法，还包括：基于所述异构感测动态地对所述稳定视场的区进行采样。

36.根据权利要求33至35所述的方法，其中相对于healpix投影或双像素化应用所述异构感测。

37.根据权利要求33至36所述的方法，其中所述异构感测被配置成更频繁地从所述数据中的感兴趣区进行采样，以提供与所述区相关联的采样率，其中与更高采样率相关联的所述区能够在所述稳定视场上动态地移动且能够调整大小，其中不同的区包括不同的采样率。

38.根据权利要求33至37所述的方法，还包括：划分所述数据的一个或多个healpix像素以增加所述稳定视场的空间分辨率。

39.根据任一前述权利要求所述的方法，还包括：

40.根据权利要求39所述的方法，其中提取的数据子集由独立于所述已编码稳定视场的2d图像表示。

41.根据权利要求39或40所述的方法，其中所述映射连续更新以实现最大分辨率非均匀性，其中所述映射至少部分地适于对所述稳定视场进行编码。

42.根据任一前述权利要求所述的方法，其中所述数据包括rgb数据和非rgb数据，其中所述非rgb数据与非颜色信息相关联。

43.根据权利要求42所述的方法，其中所述非rgb数据包括与光谱、光偏振信息、来自radar、lidar的输出、深度感知、超声距离信息、温度相关联的数据、诸如语义标记、边界框顶点、地形类型或诸如禁入区域的分区的元数据、碰撞时间信息、碰撞风险信息、听觉、嗅觉、躯体，或任何其他形式的定向传感器数据、中间处理数据、由算法生成的输出数据或来自其他外部源的数据。

44.根据任一前述权利要求所述的方法，其中所述一个或多个源包括适合于直接或间接地接收外部数据的至少一个相机、传感器或设备。

45.根据任一前述权利要求所述的方法，还包括：接收与一个或多个模拟相关的模拟数据，其中所述模拟数据用于通过将所述模拟数据插入或叠加到所述数据来建立所述稳定视场。

46.根据任一前述权利要求所述的方法，其中所述数据包括与所述一个或多个源相对应的模拟数据，所述模拟数据用于利用所述数据建立所述稳定视场。

47.根据任一前述权利要求所述的方法，还包括：应用一个或多个机器学习(ml)模型来基于所述一个或多个数据结构对所述数据中的物体进行分类，其中所述一个或多个ml模型被配置成识别表示与所述稳定视场相关联的所述编码的所述物体。

48.根据权利要求47所述的方法，其中使用用一个或多个物体注释的数据来训练所述一个或多个ml模型，其中使用用于训练所述ml模型的所述一个或多个数据结构来转换注释的数据。

49.根据任一前述权利要求所述的方法，还包括：根据标记的传感器输入的数据集生成用于训练机器学习模型的标记的输出数据集，其中所述机器学习模型被配置成对由所述一个或多个数据结构存储和编码的所述数据进行操作。

50.一种用于稳定运动数据的装置，包括：

51.根据权利要求50所述的装置，其中所述一个或多个集成电路被配置成执行根据权利要求1至49中任一项所述的方法的步骤。

技术总结
本文描述了一种用于稳定运动数据的系统、装置和方法，该方法包括：从一个或多个源接收与物体相关联的数据；使用一种或多种技术根据所述数据建立旋转稳定视场；基于一个或多个数据结构对稳定视场进行编码，其中所述一个或多个数据结构包括至少一维、二维或多维投影；以及从已编码稳定视场中提取运动数据，其中该运动数据被稳定。

技术研发人员：m·t·沃森,a·j·科佩
受保护的技术使用者：奥普特朗技术有限公司
技术研发日：
技术公布日：2024/2/8