用于设备上人员辨识和智能警报的供应的系统和方法与流程-k8凯发

背景技术：

1、在许多用于人员辨识的常规视频监控系统中，辨识发生在与视频监控设备(例如，相机)分离的设备(例如，服务器)上，并且潜在地在分离的地理定位。例如，云服务为与人员辨识相关联的机器学习提供了附加的存储和计算能力，而许多客户端设备缺乏这样的存储和计算能力。因此，云服务通常充当管理视频监控系统的人员辨识任务的中枢(hub)。一些常规的客户端设备可以计算一些生物特征。然而，将原始图像和/或原始视频流发送出设备(出于人员辨识的目的)引起隐私问题。此外，一些设备可能没有设备上加密，且因此可能传输未加密的敏感数据。

2、随着在视频监控系统的相机上运行人员辨识逻辑生成许多挑战。例如，与云相比，系统的相机具有有限的存储和计算能力。此外，如果相机损坏，则单相机监控系统可能丢失所有其数据。在另一示例中，多相机监控系统可以具有不同计算能力的不同设备，这阻止了所有设备运行相同的面部辨识模型。此外，不同设备可以具有不同的存储容量，从而阻止设备中的至少一些存储数千个图像(用于面部辨识模型)。随着将一个设备的人员辨识数据与系统的另一设备同步生成附加的挑战和隐私问题。因此，尽管与常规的基于云的个人辨识系统相比，设备上人员辨识可能具有改进的隐私，但设备上人员辨识具有可能导致非互补系统易受数据丢失、低效率、低准确度和/或低用户体验的影响的许多挑战。

技术实现思路

1、本文档描述了用于设备上人员辨识和智能警报的供应的系统和方法。该系统包括用于设备上面部辨识的分散式多相机系统。一种设备(例如，安全相机、视频门铃)捕捉人员的图像/视频，处理输入图像帧，检测面部图像，过滤静态面部，并将面部的旋转对准为直立和正面。该设备然后过滤低质量的面部图像和/或面部大部分被遮挡的图像。该设备计算面部嵌入，将其与本地存储的参考嵌入的集合进行比较，并将匹配结果发送给云服务，云服务基于该匹配结果通知设备所有者所观测人员是已知人员还是陌生人。面部检测和辨识计算是在设备上执行的，而不是在云上。没有敏感信息从设备传输出去，且因此保护了隐私。

2、在各方面，公开了一种用于设备上面部辨识的方法。该方法包括将参考嵌入库存储在无线网络设备上的本地存储器中，该无线网络设备具有相机、面部辨识系统和设备上机器学习框架。在实现方式中，参考嵌入被分组为集群。该方法还包括由无线网络设备上的相机捕捉人员的图像。此外，该方法包括由无线网络设备检测图像中人员的面部以提供面部检测。另外，该方法包括响应于该检测并由无线网络设备上的设备上机器学习框架生成表示该图像中的人员的面部的面部嵌入。此外，该方法包括由无线网络设备上的面部辨识系统对照存储在无线网络设备的本地存储器中的集群来验证该面部嵌入。该方法还包括向另一设备传输验证的结果以通知用户该面部是熟悉面部还是不熟悉面部。

3、在其他方面，公开一种电子设备。电子设备包括被配置成捕捉场景的图像或视频的相机、一个或多个处理器和本地存储器。本地存储器存储被组织成集群的参考嵌入的本地库，每个集群具有参考嵌入的子集并且与人类面部相关联。本地库还存储可执行指令，这些指令在由一个或多个处理器执行时使得该一个或多个处理器执行上述方法。

4、提供本
技术实现要素：
是为了介绍设备上人员辨识和智能警报的供应的简化概念，这将在下面的具体实施方式中进一步描述。该发明内容并不旨在识别所要求保护的主题的基本特征，也不旨在用于确定所要求保护的主题的范围。

技术特征：

1.一种用于设备上面部辨识的方法，所述方法包括：

2.根据先前权利要求中的任一项所述的方法，还包括，在检测所述图像中的所述面部之后并在生成所述面部嵌入之前，向云服务传输具有会话识别符但不具有集群识别符的第一更新以触发警报流，所述警报流用于向所述无线网络设备的设备所有者通知由所述无线网络设备检测到熟悉面部或不熟悉面部。

3.根据权利要求2所述的方法，还包括：

4.根据权利要求3所述的方法，其中：

5.根据权利要求4所述的方法，还包括：

6.根据权利要求5所述的方法，还包括通过将所述面部嵌入添加到所述匹配集群来更新所述本地存储器，以用于未来面部辨识任务。

7.根据权利要求5或权利要求6所述的方法，还包括向所述云服务传输具有所述会话识别符和所述集群识别符的第二更新，以使得所述云服务能够在与所述云服务相关联的参考库中定位对应的匹配集群。

8.根据权利要求7所述的方法，还包括：

9.根据权利要求8所述的方法，还包括，在将所述快照上传到所述媒体存储数据库之后，丢弃所述快照和所述图像的本地副本。

10.根据权利要求5所述的方法，还包括：

11.根据权利要求10所述的方法，其中，所述第二通知包括对用以识别所捕捉的图像中的所述面部的用户输入的请求。

12.根据权利要求10或11所述的方法，还包括，基于确定面部嵌入的所述集群不包括匹配所述面部嵌入的所述匹配集群：

13.根据权利要求12所述的方法，还包括：

14.根据权利要求2至13中的任一项所述的方法，其中，所述面部辨识系统是在所述云服务处使用的另一面部辨识系统的本地版本。

15.一种电子设备，包括：

技术总结
本文档描述了用于设备上人员辨识和智能警报的供应的系统和方法。该系统包括用于设备上面部辨识的分散式多相机系统。一种设备(例如，安全相机、视频门铃)捕捉人员的图像/视频，处理输入图像帧，检测面部图像，过滤静态面部，并将面部的旋转对准为直立和正面。该设备然后过滤低质量的面部图像和/或面部大部分被遮挡的图像。该设备计算面部嵌入，将其与本地存储的参考嵌入的集合进行比较，并将匹配结果发送给云服务，云服务基于该匹配结果通知设备所有者所观测人员是已知人员还是陌生人。面部检测和辨识计算是在设备上执行的，而不是在云上。没有敏感信息从设备传输出去，且因此保护了隐私。

技术研发人员：穆罕默德·阿夫沙尔,萨扬·什里达尔,乔治·奥尔本·海茨三世,安德鲁·c·加拉格尔,迈克尔·c·内希巴,约瑟夫·e·罗思
受保护的技术使用者：谷歌有限责任公司
技术研发日：
技术公布日：2024/2/8