使用多重免疫荧光成像的组织学染色的数字合成的制作方法-k8凯发

本公开涉及数字病理，并且具体地涉及包括从多重免疫荧光图像获得合成组织学染色图像的技术。

背景技术：

1、组织病理可以包括对出于各种原因从组织切片制备的载玻片的检查，诸如：疾病的诊断、对治疗的反应的评估和/或对抗疾病的药物的开发。因为组织切片和其中的细胞实际上是透明的，载玻片的制备通常包括对组织切片进行染色，以便使相关结构更具可见性。数字病理可以包括扫描染色的载玻片以获得数字图像，该数字图像随后可以通过数字病理图像分析来检查和/或由人类病理学家解读。

2、组织切片的多重免疫荧光(mpx)染色允许同时检测多个生物标志物以及它们在单细胞水平下的共表达。mpx使得能够表征肿瘤微环境中的免疫环境，这对于对免疫疗法的应答可能具有显著影响。例如，使用mpx可在单张载玻片中检测更多生物标志物和共定位。虽然mpx有望成为用于发现有效治疗方法和开发新药的宝贵工具，但将mpx结果与底层组织结构准确地相关联仍然存在一些挑战。

技术实现思路

1、在各种实施例中，提供了一种计算机实现的图像转换方法，其包括：产生n通道输入图像，该n通道输入图像基于来自组织切片的多重免疫荧光(mpx)图像的m个通道中的每一者的信息，其中m为正整数并且n为小于或等于m的正整数；以及通过使用生成器网络处理该n通道输入图像来生成合成图像，该生成器网络已经使用包括多对图像的训练数据集进行训练。在该方法中，该合成图像描绘已经用至少一种组织化学染色剂染色的组织切片，并且对于该多对图像中的每一对图像，该对包括从组织的第一切片的mpx图像产生的n通道图像以及已经用该至少一种组织化学染色剂染色的该组织的第二切片的图像。

2、在一些实施例中，产生该n通道输入图像包括：对于该组织切片的该mpx图像的该m个通道中的每一者，将信息从该通道映射到该n通道图像的该n个通道中的至少一者。该映射可包括：产生自发荧光图像，该自发荧光图像基于来自该组织切片的该mpx图像的多个通道中的每一者(例如，m个通道中的每一者)的信息，并且该n通道输入图像可基于来自该自发荧光图像的信息。该自发荧光图像可基于该组织切片的该mpx图像的该多个通道的非线性组合。附加地或另选地，该自发荧光图像可基于该多个通道之间的自发荧光的光谱分布。

3、在一些实施例中，该合成图像为n通道图像。该n通道输入图像和该合成图像中的每一者可为rgb图像。附加地或另选地，该组织切片的该mpx图像可为暗场图像并且/或者该合成图像可为明场图像。

4、在一些实施例中，该至少一种组织化学染色剂为苏木精和/或伊红。

5、在一些实施例中，该n通道图像基于该自发荧光图像以及基于核复染剂图像。例如，该n通道图像可基于该组织切片的该mpx图像的对应于核复染剂的通道以及该自发荧光图像的线性组合。该n通道图像基于光密度值阵列，该光密度值阵列基于该线性组合。

6、在一些实施例中，n等于三并且/或者m至少为四。

7、在一些实施例中，将生成器网络以生成对抗网络的一部分进行训练。在一些实施例中，该生成器网络被实现为u-net和/或编码器-解码器网络。经由在通过该生成器网络的图像与预期输出图像之间测量的l1损失来更新该生成器网络。

8、在一些实施例中，提供了一种方法，其包括由使用者基于由该计算机实现的方法的实施例生成的该合成图像来确定对受试者的诊断。

9、在一些实施例中，提供了一种方法，其包括由使用者基于由该计算机实现的方法的实施例生成的该合成图像来确定对受检者的诊断，以及由该使用者基于(i)该合成图像和/或(ii)对该受试者的该诊断来施用使用化合物的治疗。

10、在一些实施例中，提供了一种系统，其包括一个或多个数据处理器和非暂时性计算机可读存储介质，其包含指令，该指令当在该一个或多个数据处理器上执行时，使得该一个或多个数据处理器进行本文所公开的一种或多种方法的一部分或全部。

11、在一些实施方案中，提供了一种计算机程序产品，其有形地体现在非暂时性机器可读存储介质中，并且包括被配置成促使一个或多个数据处理器执行本文所公开的一种或多种方法的部分或全部的指令。

12、本公开的一些实施方案包括一种系统，其包括一个或多个数据处理器。在一些实施例中，该系统包括包含指令的非暂时性计算机可读存储介质，所述指令在所述一个或多个数据处理器上被执行时使所述一个或多个数据处理器进行本文公开的一种或多种方法的一部分或全部和/或本文公开的一种或多种过程的一部分或全部。本公开的一些实施例包括一种有形地体现在非暂时性机器可读存储介质中的计算机程序产品，其包括指令，该指令被配置成使得一个或多个数据处理器进行本文所公开的一种或多种方法的部分或全部和/或本文所公开的一种或多种过程的部分或全部。

13、已采用的术语和表达被用作描述性而非限制性的术语，并且在使用这些术语和表达时，无意排除所示出和描述的特征或其部分的任何等同物，但是应当认识到，在所要求保护的本发明的范围内，各种修改是可能的。因此，应当理解，尽管已通过实施例和任选特征具体地公开了所要求保护的本发明，但是本领域技术人员可以采用本文所公开的概念的修改和变化，并且认为这样的修改和变化在由所附权利要求限定的本发明范围内。

技术特征：

1.一种图像转换的方法，所述方法包括：

2.根据权利要求1所述的方法，其中产生所述n通道输入图像包括：对于所述组织切片的所述mpx图像的所述m个通道中的每一者，将信息从所述通道映射到所述n通道图像的n个通道中的至少一者。

3.根据权利要求2所述的方法，其中所述映射包括：产生自发荧光图像，所述自发荧光图像基于来自所述组织切片的所述mpx图像的多个通道中的每一者的信息，并且

4.根据权利要求3所述的方法，其中所述自发荧光图像基于所述组织切片的所述mpx图像的所述多个通道的非线性组合。

5.根据权利要求3和4中任一项所述的方法，其中所述自发荧光图像基于所述多个通道之间的自发荧光的光谱分布。

6.根据权利要求3至5中任一项所述的方法，其中所述mpx图像的所述多个通道为所述组织切片的所述mpx图像的所述m个通道。

7.根据权利要求1至6中任一项所述的方法，其中，对于所述多对图像中的每一对图像，所述对中的所述n通道图像基于来自所述第一切片的所述mpx图像的m个通道中的每一者的信息。

8.根据权利要求1至7中任一项所述的方法，其中所述合成图像为n通道图像。

9.根据权利要求8所述的方法，其中所述n通道输入图像和所述合成图像中的每一者为rgb图像。

10.根据权利要求1至9中任一项所述的方法，其中所述组织切片的所述mpx图像为暗场图像并且所述合成图像为明场图像。

11.根据权利要求1至10中任一项所述的方法，其中所述至少一种组织化学染色剂为苏木精和伊红。

12.根据权利要求1至11中任一项所述的方法，其中所述n通道图像基于所述自发荧光图像并且基于所述组织切片的所述mpx图像的对应于核复染剂的通道。

13.根据权利要求1至11中任一项所述的方法，其中所述n通道图像基于所述组织切片的所述mpx图像的对应于核复染剂的通道以及所述自发荧光图像的线性组合。

14.根据权利要求1至13中任一项所述的方法，其中所述n通道图像基于光密度值阵列，所述光密度值阵列基于所述线性组合。

15.根据权利要求1至14中任一项所述的方法，其中n等于三。

16.根据权利要求1至15中任一项所述的方法，其中m至少为四。

17.根据权利要求1至16中任一项所述的方法，其中将所述生成器网络以生成对抗网络的一部分进行训练。

18.根据权利要求1至17中任一项所述的方法，其中所述生成器网络被实现为u-net。

19.根据权利要求1至18中任一项所述的方法，其中所述生成器网络被实现为编码器-解码器网络。

20.根据权利要求1至19中任一项所述的方法，其中经由在通过所述生成器网络的图像与预期输出图像之间测量的l1损失来更新所述生成器网络。

21.一种由使用者确定对受试者的诊断的方法，其中所述确定基于权利要求1至20中任一项的合成图像。

22.根据权利要求21所述的方法，其进一步包括由所述使用者基于(i)所述合成图像和/或(ii)对所述受试者的所述诊断来施用使用化合物的治疗。

23.一种系统，其包括：

24.一种有形地体现在非暂时性机器可读存储介质中的计算机程序产品，其包括指令，所述指令被配置成使一个或多个数据处理器进行根据权利要求1至20中任一项所述的图像转换的方法。

技术总结
用于从多重免疫荧光(mpx)图像获得合成组织化学染色图像的技术可包括：产生n通道输入图像，所述n通道输入图像基于来自组织切片的mpx图像的m个通道中的每一者的信息，其中m和n为正整数并且n小于或等于m；以及通过使用生成器网络处理所述n通道输入图像来生成合成图像，所述生成器网络已经使用包括多对图像的训练数据集进行训练。所述合成图像描绘用至少一种组织化学染色剂染色的组织切片。所述多对图像中的每一对图像包括从组织的第一切片的mpx图像产生的n通道图像以及用至少一种组织化学染色剂染色的所述组织的第二切片的图像。

技术研发人员：王兴伟,赵佐,a·洛萨库勒,聂垚
受保护的技术使用者：文塔纳医疗系统公司
技术研发日：
技术公布日：2024/2/8