从超声图像和相机图像重建3d图像的系统和方法与流程-k8凯发

在本发明的一些实施例中，本发明涉及医学超声图像的处理，更具体地，但不排他地，涉及从2d超声图像重建3d医学图像。

背景技术：

1、超声检查(us)经常被认为是最安全和最便宜的用于临床分析和医疗干预的技术。us图像被常规地捕获为2d图像。一些方法产生3d超声图像。

技术实现思路

1、根据第一方面，一种用于重建描绘个体的血管中的血流的3d图像的计算机实现的方法，包括：获得描绘其中流动有血液的血管以及血管区域中的血流的测量的多普勒超声图像，以及描绘随机分布在粘性材料内并且在个体的身体片段的表面上以随机距离间隔开的多个基准对象的由相机捕获的2d相机图像，其中，多普勒超声图像包括至少一个多普勒超声图像，并且2d相机图像包括至少一个2d相机图像；使用通过分析连续2d相机图像内的多个基准对象的位置的相对变化而计算的超声换能器姿态的外部参考，针对每个多普勒超声图像的像素计算世界坐标系内的3d坐标；以及针对血管内多个位置处的多普勒超声图像的多个像素中的每一个像素计算相应的估计血流；从多普勒超声图像的像素的3d坐标计算的3d体素重建3d图像，包括相应的估计血流，其中，3d图像描绘血管的解剖图像并描绘血流。

2、在第一方面的另一实现形式中，3d坐标还通过使用基准对象的尺寸和/或通过添加来自从由惯性测量单元和另一相机组成的组中选择的其它传感器的信息来校正到世界坐标系的实际比例被计算。

3、在第一方面的另一实现形式中，3d图像还包括从描绘个体的身体片段的表面的3d点云或网格计算的体素。

4、在第一方面的另一实现形式中，针对多普勒超声图像中的每一个的像素计算3d坐标包括：通过分析多个基准对象在连续2d相机图像内的位置的相对变化，计算相机在相机坐标系中相对于世界坐标系的姿态；应用用于将超声坐标系中表示的超声图像的像素映射到相机坐标系的校准映射，其中校准映射基于相机的姿态和超声换能器的姿态之间的预定变换；以及将相机坐标系中表示的超声图像的像素映射到世界坐标系内的3d坐标。

5、在第一方面的另一实现形式中，计算相应的估计血流包括从由超声换能器捕获的多普勒超声图像计算的估计血流，超声换能器与表示其中血流被测量的血管的方向的矢量成角度，方法还包括针对角度校正估计血流以获得估计的实际血流。

6、在第一方面的另一实现形式中，校正包括标识血管的椭圆形边界，计算椭圆形到圆形的变换，以及应用变换来投影所测量的血流速度矢量以获得实际血流。

7、在第一方面的另一实现形式中，基于从多个多普勒超声图像中的每一个的相应采集平面获得的多个3d点的聚集来计算血管的纵轴的估计，计算纵轴的当前切线，并且其中校正包括基于切线与由切线表示的相应的采集平面的法线之间的角度来校正血流的测量。

8、在第一方面的另一实现形式中，还包括：计算预先计算的3d动脉对象内的血流的估计，并使用计算流体动力学模拟和从多个多普勒超声图像中的每一个的相应的采集平面获得的3d点来计算3d动脉对象内的血流的估计。

9、在第一方面的另一实现形式中，还包括：针对每个相应的3d体素，存储多个初始估计血流值和与超声换能器的平面相对应的法线(用于计算相应的初始估计血流的相应的多普勒超声图像在超声换能器的平面处被捕获)，基于使所记录的血流速度矢量和所假定的流速矢量之间的投影误差最小化来估计每个体素中的实际血流。

10、在第一方面的另一实现形式中，还包括：在多个心动周期的特定位置处在矢状视图上获得血管内的体积流量，并计算多个心动周期上的平均体积流量；计算表示-1至1范围内的实数的伽马值，以校正平均体积流量和估计的实际血流；使用伽马值的逆计算余弦角；以及使用余弦角和估计血流与真实血流之间的点积校正平均体积流量。

11、在第一方面的另一实现形式中，还包括：在(i)获得多普勒超声图像和2d相机图像与(ii)获得包括b模式超声图像和2d相机图像的第二图像之间交替；在世界坐标系中计算每个b模式超声图像的像素的3d坐标；其中，重建3d图像包括从世界坐标系中的3d体素重建3d图像，3d体素通过聚集b模式超声图像的像素的3d坐标和包括相应的估计血流的多普勒超声图像被计算，其中，3d图像描绘从从b模式的像素获得的3d体素的聚集产生的血管的解剖图像，并且描绘与从b模式的像素获得的3d体素相关联的血流。

12、在第一方面的另一实现形式中，相应的估计血流被描绘为与血管内的多个位置对应的3d图像的3d体素的颜色编码，其中，多普勒超声图像的像素是表示血流的颜色编码的，并且还包括分割颜色像素，其中3d图像从对应于分割的颜色像素的3d体素被重建。

13、在第一方面的另一实现形式中，3d体素的相应的估计血流被选择为在成像时间间隔上的最大值，描绘血管内与3d体素对应的区域的多普勒超声图像在成像时间间隔期间被捕获。

14、在第一方面的另一实现形式中，用于计算3d体素的多个多普勒超声图像在描绘血流变化的成像时间间隔上被捕获，并且其中针对3d体素的重建的3d图像包括成像时间间隔上的血流变化的相应指示。

15、在第一方面的另一实现形式中，通过在成像时间间隔上改变与3d体素对应的血流的指示，重建的3d图像在成像时间间隔上被呈现为视频。

16、根据第二方面，一种用于分割从描绘个体的身体片段的2d超声图像重建的3d图像的计算机实现的方法，包括：获得描绘身体片段的公共区域的2d超声图像，以及描绘在粘性材料内以3d随机分布并且在身体片段的表面上以随机距离间隔开的多个基准对象的由相机捕获的2d相机图像；使用通过分析连续2d相机图像内的多个基准对象的位置的相对变化而计算的超声换能器的姿态的外部参考，计算分配给2d超声图像中的每一个的像素的在世界坐标系内具有3d坐标的多个3d体素；以及从多个3d体素重建3d图像；以及针对每个3d体素，存储在超声换能器的姿态与在与相应的3d体素和超声换能器的相应的姿态对应的3d坐标处获得的强度值之间映射的多维稀疏数据集；根据多个3d体素的多维数据集的分布，将多个3d体素聚类为多个聚类；以及根据多个聚类分割3d图像。

17、在第二方面的另一实现形式中，还包括通过使用基准对象的尺寸和/或通过添加来自从由惯性测量单元和另一相机组成的组中选择的其它传感器的信息来针对到世界坐标系的实际比例来校正3d体素。

18、在第二方面的另一实现形式中，针对2d超声图像中的每一个的像素计算3d坐标包括：通过分析多个基准对象在连续2d相机内的位置的相对变化，并且通过使用基准对象的尺寸和/或通过添加来自从由惯性测量单元和另一相机组成的组中选择的其他传感器的信息来校正到世界坐标系的实际比例，来计算相机在相机坐标系中相对于世界坐标系的姿态；以及应用用于将在超声坐标系中表示的2d超声图像的像素映射到相机坐标系的校准变换，其中，校准映射基于相机的姿态和捕获2d超声图像的超声换能器的姿态之间的预定关系；以及将相机坐标系中表示的2d超声图像的像素映射到世界坐标系内的3d坐标。

19、在第二方面的另一实现形式中，聚类基于流形学习技术被执行，流形学习技术用于关于诸如颜色、强度周围纹理的值的一些计算分布来发现区域中的类似体素。

20、在第二方面的另一实现形式中，聚类是通过根据与相应体素对应的位置相对于超声换能器的不同角度和/或距离所捕获超声数据中的类似变化模式来聚类多个3d体素被执行的。

21、在第二方面的另一实现形式中，每个相应聚类中的3d体素指示相应的组织类型，组织类型在相对于超声换能器的不同角度和/或距离所捕获的超声数据中创建相应的类似变化模式。

22、根据第三方面，一种用于重建个体的身体片段的表面和内部的3d图像的计算机实现的方法，包括：获得描绘个体的身体片段中的组织的2d超声图像和由相机捕获的2d相机图像，该2d相机图像描绘在粘性材料内以3d随机分布并且在身体片段的表面上以随机距离间隔开的多个基准对象并且描绘身体片段的表面；基于对多个基准对象在连续2d相机图像内的位置的相对变化的分析，在公共坐标系中计算2d相机图像中的每一个的像素的3d坐标和2d超声图像中的每一个的像素的3d坐标；以及从通过聚集2d相机图像和2d超声图像的3d坐标而计算的公共坐标系中的3d体素重建3d图像；其中，3d图像描绘身体片段的表面和身体片段内相对于患者表面定位的组织，其中重建的3d图像包括至少一个重建的3d图像。

23、在第三方面的另一实现形式中，至少一个带有包括多普勒和b模式中的至少一个的附加信息层的重建的3d图像描绘在任何兼容超声器官扫描过程中选择的组织(组织包括以下至少一项：血管、器官、关节、骨、软骨、非血液流体填充腔、肝胆囊、甲状腺)，并且将组织融合成一个完整器官或器官的一部分。

24、在第三方面的另一实现形式中，还包括：通过使用基准对象的尺寸和/或通过添加来自从由惯性测量单元和另一相机组成的组中选择的其它传感器的信息来针对到世界坐标系的实际比例来校正3d坐标。

25、在第三方面的另一实现形式中，公共坐标系是描绘现实世界距离和位置的现实世界坐标系，其中，3d图像使用现实世界中的坐标、距离和相对位置来描绘身体片段的表面和身体片段内的组织。

26、在第三方面的另一实现形式中，在公共坐标系中计算包括：通过分析连续2d相机图像内的多个基准对象的位置的相对变化，并且通过使用基准对象的尺寸和/或通过添加来自从由惯性测量单元和另一相机组成的组中选择的其他传感器的信息来校正到世界坐标系的实际比例，来计算相机坐标系中的相机相对于公共坐标系的姿态；将描绘身体的表面的2d相机图像的像素映射到公共坐标系内的3d坐标；应用用于将在超声坐标系中表示的2d超声图像的像素映射到相机坐标系的校准变换，其中校准映射基于相机的姿态和捕获2d超声图像的超声换能器的姿态之间的预定关系；以及将在相机坐标系中表示的2d超声图像的像素映射到公共坐标系内的3d坐标。

27、在第三方面的另一实现形式中，还包括：迭代获得身体片段的公共区域处的超声图像和相机图像，并且迭代在公共坐标系中的计算，其中迭代重建的3d图像包括利用在当前迭代中计算的3d体素迭代更新先前迭代的先前3d图像，以获得具有比先前3d图像更高分辨率的更新的3d图像。

28、在第三方面的另一实现形式中，还包括：接收描绘身体片段的3d解剖图像，3d解剖图像由另一3d成像模态设备捕获，以及根据从身体片段的表面提取的特征，在3d解剖图像和重建的3d图像之间配准。

29、根据第四方面，一种包括至少一部分流体的粘性材料，流体包括在其中以三维(3d)随机分布并且以随机距离间隔开的多个基准对象，用于施加到对象的身体表面，多个基准对象被设置尺寸并且相对于粘性材料具有对比度，以用于由2d相机图像描绘并且用于计算3d坐标，3d坐标被分配给2d超声图像的像素，用于获得用于估计超声换能器的姿态的3d体素。

30、在第四方面的另一实现形式中，还使得能够计算3d超声图像的重建，3d超声图像描绘身体的内部或患者身体区域的表面中的任一个。

31、在第四方面的另一实现形式中，粘性材料包括超声凝胶，其中3d图像由通过超声凝胶传输的超声能量捕获的2d超声图像重建。

32、在第四方面的另一实现形式中，多个基准对象具有选定的小尺寸和/或由选定的声学材料制成，从而在通过超声凝胶传输的2d超声图像中不被描绘。

33、在第四方面的另一实现形式中，多个基准对象在粘性材料内的特定位置是非固定的，并且响应于粘性材料的运动而在粘性材料内流动。

34、在第四方面的另一实现形式中，多个基准对象中的每一个的尺寸约为0.5至1毫米。

35、在第四方面的另一实现形式中，多个基准对象由响应于紫外光而在视觉上增强的材料制成。

36、在第四方面的另一实现形式中，多个基准对象由荧光材料制成。

37、在第四方面的另一实现形式中，多个基准对象是球形的。

38、在第四方面的另一实现形式中，粘性材料内的多个基准对象的密度为约1-1000/毫升。

39、根据第五方面，一种治疗个体的血管病理的方法，包括：在对应于感兴趣的血管的位置处将包括至少一部分流体的粘性材料施加到个体的身体片段的表面上，流体包括以3d随机分布并且以随机距离间隔开的多个基准对象；沿着身体的表面操纵带有附加部件的超声换能器的探头(附加部件包括至少一个相机)，用于同时捕获身体内的血管的超声图像和描绘身体片段的表面并描绘多个基准对象的相机图像；分析血管和位于表示真实世界坐标的公共3d坐标系内的身体片段的表面的3d图像的重建；基于血管相对于身体片段的表面的3d图像的重建来诊断血管病理；以及在开放手术和/或导管插入术期间处理血管病理。

40、在第五方面的另一实现形式中，还包括在身体的表面上重新操纵探针，以同时捕获描绘所治疗的血管病理的血管的超声图像，并在从重新操纵探针期间捕获的超声图像和相机图像创建的血管的另一3d重建中分析所治疗的血管病理，并在所治疗的血管病理被确定为需要基于另一3d重建的另一治疗过程时重新治疗所治疗的血管病理。

41、在第五方面的另一实现形式中，还包括：在超声换能器的轴向和/或纵向方向在对应于血管病理的表面的子区域内反复操纵超声换能器，以在不同的角度和距离处捕获血管病理的多个超声图像，其中，3d图像中的血管病理的分辨率随着超声换能器在子区域上的操纵次数的增加而增加。

42、在第五方面的另一实现形式中，3d图像根据组织类型被分割，并且还包括分析3d图像的分割以确定血管治疗的有效性。

43、在第五方面的另一实现形式中，基于血管的3d图像相对于身体片段的表面的重建来诊断血管病理还基于由3d图像描绘的血管的血流。

44、在第五方面的另一实现形式中，治疗选自由以下项组成的组：通过导管递送的支架、球囊膨胀、消融、药物注射和手动手术切除和/或修复。

45、根据第六方面，一种用于校准变换映射的校准设备，变换映射应用于由相对于超声换能器以固定取向定位的相机所捕获的相机图像和由超声换能器所捕获的超声图像，校准设备包括：具有圆形顶表面的单个隔室，圆形顶表面包括超声可透过的超声检查介质；以及布置在隔室的圆形顶表面的外周外部的地面真值图案；隔室和地面真值图案被定位成使得当超声换能器被放置在隔室的顶部时，相机捕获地面真值图案的相机图像，并且超声换能器从圆形顶表面到底表面捕获隔室内部的超声图像。

46、根据第七方面，一种超声探头的附加装置，包括：连接器部件，其尺寸和形状适于连接到超声换能器的探头；第一相机壳体，其包括第一相机；以及第二相机壳体，其包括第二相机，其中，第一相机壳体和第二相机壳体各自相对于连接器部件的长轴以预定角度设置，用于相对于超声探头和相对于由超声换能器捕获的超声图像以预定角度固定第一相机和第二相机。

47、在第七方面的另一实现形式中，还包括：人机工程学保持器部件，其包括被设计成抵靠用户手掌而被握持的握把，以及被设计成支撑用户食指的环或扳机状元件。

48、在第七方面的另一实现形式中，第一相机壳体和第二相机壳体垂直于连接器部件的长轴隔开大约90度。

49、除非另有定义，否则本文使用的所有技术和/或科学术语具有与本发明所属领域的普通技术人员通常理解的相同的含义。尽管与本文描述的方法和材料类似或等同的方法和材料可用于本发明实施例的实践或测试中，但下文描述了示例性方法和/或材料。在冲突的情况下，以专利说明书(包括定义)为准。此外，材料、方法和实施例仅是说明性的，而不是必须进行限制。