一种虚拟现实体感方法和系统、头戴显示设备和可穿戴设备与流程-k8凯发

本发明涉及计算机控制领域，具体涉及一种虚拟现实体感方法和系统、头戴显示设备和可穿戴设备。

背景技术：

目前，虚拟现实设备只能模拟虚拟现实场景中的视觉和听觉，给用户带来视听体验，但是无法将虚拟现实场景中的其他感知直接作用在用户身上，例如振动、加热和制冷等感知，降低了用户体验。

技术实现要素：

本发明提供了一种虚拟现实体感方法和系统、头戴显示设备和可穿戴设备，以解决现有的虚拟现实设备无法将虚拟现实场景中的体感感知直接作用在用户身上的问题。

根据本发明的一个方面，提供了一种虚拟现实体感方法，该方法包括：

头戴显示设备在输出虚拟现实音视频数据时，获取与所述虚拟现实音视频数据对应的体感数据；

所述头戴显示设备根据所述体感数据，发送体感控制指令至可穿戴设备上，所述体感控制指令用于控制所述可穿戴设备上体感片进行动作操作。

根据本发明的另一个方面，提供了一种头戴显示设备，所述头戴显示设备包括：

生成模块，用于在输出虚拟现实音视频数据时，生成与所述音视频数据对应的体感数据；

发送模块，用于根据所述体感数据，发送体感控制指令至可穿戴设备上，所述体感控制指令用于控制所述可穿戴设备上体感片进行动作操作，其中，所述体感控制指令包括振动操作指令和/或温度调节操作指令。

根据本发明的另一个方面，提供了另一种虚拟现实体感方法，该方法包括：

可穿戴设备接收头戴显示设备的体感控制指令，其中，所述体感控制指令用于控制所述可穿戴设备上体感片进行动作操作；

所述可穿戴设备发送所述体感片的动作操作的执行结果至所述头戴显示设备。

根据本发明的另一个方面，提供了一种可穿戴设备，所述可穿戴设备包括若干体感片，所述体感片设置在所述可穿戴设备上，其中，所述体感片包括功能模块和信号接收器；

所述信号接收器接收头戴显示设备的体感控制指令，其中，所述体感控制指令用于控制所述功能模块进行动作操作。

根据本发明的再一个方面，提供了一种虚拟现实体感系统，该系统包括上述的头戴显示设备和上述的可穿戴设备；

头戴显示设备在输出虚拟现实音视频数据时，获取与所述虚拟现实音视频数据对应的体感数据；

所述头戴显示设备根据所述体感数据，发送体感控制指令至可穿戴设备上，所述体感控制指令用于控制所述可穿戴设备上体感片进行动作操作。

本发明的有益效果是：本发明的技术方案通过头戴显示设备在输出虚拟现实音视频数据时，获取与所述虚拟现实音视频数据对应的体感数据；并根据所述体感数据，发送体感控制指令至可穿戴设备上，所述体感控制指令用于控制所述可穿戴设备上体感片进行动作操作，将虚拟现实场景中的体感感知直接作用在用户身上，解决了现有的虚拟现实设备无法将虚拟现实场景中的体感感知直接作用在用户身上的问题，提升了用户体验。

附图说明

图1是本发明一个实施例的一种虚拟现实体感方法的流程图；

图2是本发明一个实施例的一种头戴显示设备的结构示意图；

图3是本发明一个实施例的另一种虚拟现实体感方法的流程图；

图4是本发明一个实施例的一种可穿戴设备的结构示意图；

图5是本发明一个实施例的一种体感片在可穿戴设备上的分布示意图；

图6是本发明一个实施例的一种体感片对应人体穴位的分布示意图；

图7是本发明一个实施例的一种体感片的结构示意图；

图8是本发明一个实施例的一种虚拟现实体感系统的结构示意图；

图9是本发明一个实施例的另一种虚拟现实体感系统的结构示意图；

图10是本发明一个实施例的一种虚拟现实体感系统的工作原理示意图。

具体实施方式

本发明的设计构思是：为了将虚拟现实场景中的体感感知直接作用在用户身上，提升了用户体验，使头戴显示设备在输出虚拟现实音视频数据时，获取体感数据，并发送体感控制指令至可穿戴设备上，以控制所述可穿戴设备上的体感片进行动作操作。

实施例一

图1是本发明一个实施例的一种虚拟现实体感方法的流程图，如图1所示，

在步骤s110中，头戴显示设备在输出虚拟现实音视频数据时，获取与所述虚拟现实音视频数据对应的体感数据。

在本发明的一个实施例中，头戴显示设备获取体感数据的方式有两种，一种是头戴显示设备接收到的虚拟现实音视频数据中携带体感数据，则头戴显示设备可以直接从接收到的虚拟现实音视频数据解析出体感数据；另一种是头戴显示设备接收到的虚拟现实音视频数据中携带体感数据，则头戴显示设备根据接收到的虚拟现实音视频数据生成体感数据。

在步骤s120中，所述头戴显示设备根据所述体感数据，发送体感控制指令至可穿戴设备上，所述体感控制指令用于控制所述可穿戴设备上体感片进行动作操作。

在本发明的一个实施例中，头戴显示设备通过有线或者无线方式将体感控制指令发送至可穿戴设备上的体感片，进而控制所述可穿戴设备上体感片进行动作操作。

通过图1所示的方法流程图，可知，本发明的技术方案通过头戴显示设备在输出虚拟现实音视频数据时，获取与所述虚拟现实音视频数据对应的体感数据；并根据所述体感数据，发送体感控制指令至可穿戴设备上，所述体感控制指令用于控制所述可穿戴设备上体感片进行动作操作，将虚拟现实场景中的体感感知直接作用在用户身上，解决了现有的虚拟现实设备无法将虚拟现实场景中的体感感知直接作用在用户身上的问题，提升了用户体验。

在本发明的一个实施例中，所述体感控制指令包括振动操作指令和温度调节操作指令中的至少之一。也就是说体感控制指令可以只包括振动操作指令或者温度调节操作指令，或者同时包括振动操作指令和温度调节操作指令。在实际应用中，头戴显示设备根据体感数据，发送相应的体感控制指令至可穿戴设备上的体感片，控制所述可穿戴设备上体感片进行动作操作，将虚拟现实场景中的体感感知直接作用在用户身上。

实施例二

图2是本发明一个实施例的一种头戴显示设备的结构示意图，如图2所示，一种头戴显示设备200，所述头戴显示设备200包括：

生成模块210，用于在输出虚拟现实音视频数据时，生成与所述音视频数据对应的体感数据；

发送模块220，用于根据所述体感数据，发送体感控制指令至可穿戴设备上，所述体感控制指令用于控制所述可穿戴设备上体感片进行动作操作，其中，所述体感控制指令包括振动操作指令和/或温度调节操作指令。

对于头戴显示设备的实施例而言，头戴显示设备既能进行虚拟现实音视频的输出，又能获取与虚拟现实音视频数据对应的体感数据，并根据体感数据发送体感控制指令至可穿戴设备上的体感片，控制可穿戴设备上体感片进行动作操作，将虚拟现实场景中的体感感知直接作用在用户身上，提升了用户体验，需要说明的是，由于基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。

实施例三

图3是本发明一个实施例的另一种虚拟现实体感方法的流程图,如图3所示，

在步骤s310中，可穿戴设备接收头戴显示设备的体感控制指令，其中，所述体感控制指令用于控制所述可穿戴设备上体感片进行动作操作。

在步骤s320中，所述可穿戴设备发送所述体感片的动作操作的执行结果至所述头戴显示设备。

由此可知，在本发明的技术方案中，可穿戴设备可以接收头戴显示设备的体感控制指令，并根据体感控制指令进行操作，将将虚拟现实场景中的体感感知直接作用在用户身上，丰富用户在虚拟现实场景中的体验。并且可以将自身体感片的动作操作的执行结果反馈至头戴显示设备，实现头戴显示设备和可穿戴设备的智能交互。

实施例四

图4是本发明一个实施例的一种可穿戴设备的结构示意图，如图4所示，一种可穿戴设备400，所述可穿戴设备400包括若干体感片410，

所述体感片410设置在所述可穿戴设备400上，其中，所述体感片410包括功能模块411和信号接收器412；

所述信号接收器412接收头戴显示设备400的体感控制指令，其中，所述体感控制指令用于控制所述功能模块411进行动作操作。

由此可知，可穿戴设备主要是依靠体感片与头戴显示设备进行交互，可穿戴设备上的每一体感片上包括信号接收器和功能模块，通过信号接收器接收来自头戴显示设备的体感控制指令，并控制所述功能模块进行动作操作，从而将虚拟现实体感感知作用在人体身上。

在本发明的一个实施例中，仍如图4所示，所述功能模块411包括若干振子411-1；所述振子411-1与所述信号接收器412电连接，其中，所述体感控制指令用于控制所述振子411-1进行振动操作，其中，所述振动操作的控制参数包括振子411-1身份信息以及以下至少之一：振子411-1振动频率、振动幅度和振动方向。也就是说，在实际应用中。振动操作的控制参数包括振子411-1身份信息和振动频率；或者振动操作的控制参数包括振子411-1身份信息和振动幅度；或者振动操作的控制参数包括振子411-1身份信息和振动方向；或者振动操作的控制参数包括振子411-1身份信息、振动频率和振动幅度；或者振动操作的控制参数包括振子411-1身份信息、振动频率和振动方向；或者振动操作的控制参数包括振子411-1身份信息、振动幅度和振动方向；或者振动操作的控制参数包括振子411-1身份信息、振动频率、振动幅度和振动方向。可以根据实际情况改变振动操作的控制参数，从而达到将虚拟现实场景中的体感感知作用在人体身上。需要说明的是每个振子都是可独立操作的个体，也就是每个振子的身份信息是唯一的。

在本发明的一个实施例中，仍如图4所示，所述功能模块411还包括电极片411-2；所述振子411-1设置在所述电极片411-2上，所述电极片411-2与所述信号接收器412电连接；

所述体感控制指令用于控制所述电极片411-2进行温度调节操作，所述温度调节操作包括加热操作或者制冷操作，将虚拟现实场景中的温度感知作用在人体身上。

在本发明的一个实施例中，体感片分布在可穿戴设备上。图5是本发明一个实施例的一种体感片在可穿戴设备上的分布示意图，如图5所示，将体感片分布在可穿戴设备上的①颈部、②肩部、③背部、④腰部、⑤胸部、⑥肋部、⑦腹部、⑧臂部和⑨头部。在实际应用中，可以根据实际需要将体感片分布在可穿戴设备上的任意位置。其中，任意位置可以根据模拟虚拟现实场景触感的需要或者中医理疗针灸的穴位(如图6所示)进行单独或者相结合的方式进行选择，以便于将虚拟现实场景中的体感感知更好地作用在用户身上，同时也可以实现科学缓解疲劳的作用，极大的提升了用户体验。

为了使本方案更加清楚，下面举一个具体的例子进行解释。图7是本发明一个实施例的一种体感片的结构示意图，如图7所示，该体感片包括电极片411-2、信号接收器412和若干振子411-1(需要说明的是，振子是小型振动器。)。需要说明的是，在本实施例中功能模块411包括电极片411-2和若干振子411-1。信号接收器412分别与电极片411-2和若干振子411-1电连接，振子411-1按照预设规则(此处的预设规则可以根据实际应用中电极片面积的大小设置振子的数量，例如，可以按照3*3、6*6和9*9等数量阵列布设振子；根据实际需求设计形状，例如矩形、方形、三角形、圆形、椭圆、扇形等形状进行阵列形状的设计)设置在电极片411-2上，每一个振子411-1是可独立操控的个体；也就是说每一个振子均有一个身份信息(id)。需要说明的是，将每一个振子都设置为可独立操控的个体的目的在于：当需要振动的幅度特别小，一个振子振动就可以进行触感模拟时，那么只控制一个振子进行振动；或者例如在3*3的正方形阵列中，对角线上的振子同时进行振动即可达到振动效果，那么就不需要控制所有的振子进行振动；也就是说，可以根据实际需要控制一个振子或者多个振子相互配合进行振动，既可以达到模拟vr场景中触感的作用，又可以降低系统的功耗。

信号接收器412，用于接收头戴显示设备的体感控制指令，并将体感控制指令发送至振子411-1和/或电极片411-2，控制振子411-1和/或电极片411-2进行动作操作。需要说明的是信号接收器412接收到的来自头戴显示设备的体感控制指令包括以下三种情况：

第一种情况是信号接收器412接收到的来自头戴显示设备的体感控制指令包括振动操作指令，则是信号接收器412将振动操作指令发送至指定振子411-1，指定振子指的是体感控制指令中包含的振子的身份信息(id)。指定振子根据接收到的振动操作指令(例如，振动操作的控制参数至少包括振动频率、振动幅度和振动方向之一)进行振动操作，将虚拟现实场景中的振感作用在人体身上。

需要说明的是，在实际应用中，振子的振动幅度需要持续验证。例如，利用振子去模拟游戏中射击枪的后坐力，首先需要把真实的后坐力强度进行验证，并将后坐力的强度下调到游戏玩家可以接受的强度和幅度内，可以按真实后坐力强度的20％-40％确定不同的有效数据在体验者身上进行实验，进而确定一个最佳的振子振动幅度。并将确定的射击枪后坐力的对应的最佳振动幅度保存在振子中。其他各种模式下的振动幅度均通过此种方式进行验证，使得用户体验达到最佳。

第二种情况是信号接收器412接收到的来自头戴显示设备的体感控制指令包括温度调节操作指令，则是信号接收器412将温度调节操作指令发送至电极片411-2，电极片411-2根据接收到的温度调节操作指令进行加热或者制冷，通过振子411-1将温度传导至人体；其中，温度调节操作指令包括电极片411-2的加热温度/制冷温度，将虚拟现实场景中的温度感知作用在人体身上。

需要说明的是，电极片加热应用电阻发热原理，其利用液体介质自身的电阻率，给通以正弦交流电，使其自身发热。电极片制冷原理：可在电极片上增加一个小的半导体制冷片。当一块n型半导体材料和一块p型半导体材料联结成的热电偶对中有电流通过时，两端之间就会产生热量转移，热量就会从一端转移到另一端，从而产生温差形成冷热端。另外，由于人体皮肤对温度很敏感，所以加热温度可以从10℃-40℃每隔5℃进行验证和求证，最后求得一个合理的范围。

第三种情况是信号接收器412接收到的来自头戴显示设备的体感控制指令既包括振动操作指令，又包括温度调节操作指令，则信号接收器412将振动操作指令发送至指定振子411-1，并将温度调节操作指令发送至电极片411-2，则指定振子411-1和电极片411-2同时进行操作，将虚拟现实场景中的振感和温度感知同时作用在人体身上。

在本发明的一个实施例中，振子可根据需要设计为不同的形状和大小，例如振子的形状可以是圆柱体、锥体、正方体、长方体等。当需要针灸时，可以采用锥体形状的振子；敲打时，可以采用圆柱体、正方体或者长方体的振子；可以根据实际需求更换振子的形状。

在本发明的一个实施例中，体感片还包括后盖413，电极片411-2安装在后盖413上，信号接收器412设置在后盖413上。在这里，后盖413起到了防护的作用。

通过图7所示的体感片，可知，本发明的技术方案通过设计一种体感片，该体感片包括电极片411-2、信号接收器412和若干振子411-1；其中，振子411-1可以根据实际需要按照一定的数量和一定的预设规则设置在电极片411-2上，扩大了本发明的应用范围；每一个振子411-1是可独立操控的个体，并每一个振子411-1与信号接收器412连接，则信号接收器412可以根据实际需要控制单独一个振子411-1振动，也可以同时控制多个振子411-1协同振动，既可以模拟不同的触感，又降低了系统功耗；

信号接收器412分别与电极片411-2和若干振子411-1电连接，并将来自头戴显示设备的体感控制指令发送至指定的振子411-1和/或电极片411-2，控制指定的振子411-1和/或电极片411-2进行操作，将虚拟现实场景中的体感作用在人体身上，提升用户体验。

在本发明的一个实施例中，体感片还包括后盖413，电极片411-2安装在后盖413上，信号接收器412设置在后盖413上。在这里，后盖413起到了防护的作用。

在本发明的一个实施例中，头戴显示设备的发送模块220与体感片的信号接收器412通过有线或者无线方式进行通信；

其中，有线通信方式为：

头戴显示设备的发送模块220与体感片的信号接收器412之间设置有传导线，头戴显示设备的发送模块220与体感片的信号接收器412之间采用有线方式进行通信，传导线可以直接埋入可穿戴设备中或者将传导线安装在可穿戴设备上固定传导线的地方，防止穿着可穿戴设备的用户在做动作时触碰掉传导线。

无线通信方式为：

体感片中的信号接收器412为无线信号接收器，头戴显示设备的发送模块220与体感片的信号接收器412采用无线方式进行通信。这种方式的优势在于只要将体感片固定在可穿戴设备上即可，不需要进一步考虑传导线的安装问题。

在本发明的一个实施例中，可穿戴设备为体感衣，体感上设置有隐形口袋，隐形口袋设置在预设位置(如图6所示的①-⑨)，将体感片装载在体感衣的隐形口袋中，并使用魔术贴固定，防止体感片脱落。

实施例五

图8是本发明一个实施例的一种虚拟现实体感系统的结构示意图，如图8所示，一种虚拟现实体感系统500，该系统500包括上述的头戴显示设备510和上述的可穿戴设备520；

头戴显示设备510在输出虚拟现实音视频数据时，获取与所述虚拟现实音视频数据对应的体感数据；

所述头戴显示设备510根据所述体感数据，发送体感控制指令至可穿戴设备520上，所述体感控制指令用于控制所述可穿戴设备520上体感片进行动作操作。

对于虚拟现实体感系统的实施例而言，虚拟现实体感系统包括头戴显示设备和可穿戴设备，头戴显示设备既能进行虚拟现实音视频的输出，又能获取与虚拟现实音视频数据对应的体感数据，并根据体感数据发送体感控制指令至可穿戴设备上的体感片，控制控制可穿戴设备上体感片进行动作操作，将虚拟现实场景中的体感感知直接作用在用户身上，提升了用户体验，需要说明的是，由于基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。

图9是本发明一个实施例的另一种虚拟现实体感系统的结构示意图，如图9所示，在本发明的一个实施例中，该系统500还包括移动终端530，

所述头戴显示设备510，用于接收来自所述移动终端530的控制数据，依据所述控制数据获取与所述虚拟现实音视频数据对应的所述体感数据。

需要说明的是，控制数据是移动终端接收外部输入的控制指令，并将所述控制指令与自身的所述虚拟现实内容融合处理后得到的数据。

由此可知，头戴显示设备可以实时接收来自移动终端的控制数据，并根据控制数据获取音视频数据以及与该音视频数据对应的体感数据，既可以给用户带来虚拟现实场景中的视听体验，又可以将虚拟现实场景中的体感感知作用在人体身上。而且头戴显示设备可以实时与移动终端进行交互，使用户的活动范围不受地域的限制，进一步增强了用户体验。

为了使本方案更加清楚，下面举一个具体的例子进行解释说明。图10是本发明一个实施例的一种虚拟现实体感系统的工作原理示意图，如图10所示，若用户同时佩戴有头戴显示设备和可穿戴设备，穿戴上布设有6*6的方形的振子阵列，则头戴显示设备接收来自外部的vr资源内容，并解析接收到的vr资源内容得到音视频数据和体感数据，将得到的音视频数据发送至头戴式显示器(headmountdisplay,hmd)进行输出显示，给用户带来视听体验，同时根据得到的体感数据发送体感控制指令至可穿戴设备的体感片上，控制体感片进行动作操作，将虚拟现实场景的中体感感知作用在人体身上。

一般情况下，体感片的信号接收器接收来自头戴显示设备的体感控制指令主要包括两类：一类是触感控制指令(指定振子振动控制指令)，另一类是温度控制指令(加热/制冷控制指令)。触感控制指令对应的有游戏模式和缓解疲劳模式两种，在游戏模式中，主要是通过控制指定振子的振动频率、方向和幅度来模拟游戏中的压感、冲感、振感、揉搓感、痛感等；在缓解疲劳模式中主要是通过控制指定振子的振动频率、方向和幅度来模拟缓解疲劳中的揉、敲、搓、按、振动、针灸等。温度控制指令主要是通过控制电极片进行加热或者制冷来模拟温度感知。但是在实际应用中，触感控制指令和温度控制指令绝大多数情况是同时执行的，将最佳的体感感知作用在人体身上。

假设头戴显示设备接收到的vr资源内容为vr游戏资源，则头戴显示设备通过hmd输出与vr游戏资源相匹配的音视频数据，给用户带来视听上的最佳体验。同时头戴显示设备将vr游戏资源进行解析/生成，并根据解析/生成的vr体感数据发送体感控制指令至可穿戴设备上的与所述体感控制指令对应的体感片上，从而控制对应的体感片进行操作。例如，在vr游戏场景中的用户被推了一下，那么头戴显示设备就会解析出用户胸部⑤被推了一下的体感数据，那么头戴显示设备的发送模块210将给分布在可穿戴设备胸部⑤上的体感片发送体感控制指令1，体感控制指令1包括向后振动、振动一次、振动幅度为适中的振动控制指令至该体感片对角线上的振子；同时头戴显示设备的发送模块210向分布在与胸部⑤相对应的背部③上的体感片发送体感控制指令2，体感控制指令2包括向后振动、振动一次、振动幅度为适中的振动控制指令至该体感片对角线上的振子；胸部⑤和背部③的体感片上的对角线振子阵列同时进行振动，将被推的体感作用在用户身上，增加用户的游戏体验。需要说明的是，头戴显示设备通过优化算法分析出令对角线上的振子进行振动达到的效果与令全部振子进行振动的效果是一样的，则只发送振动控制指令至位于对角线上的振子，既节约了系统能耗，又达到将vr体感作用在人体身上的目的。

例如，vr游戏场景中的用户的臂部被火球打中，那么头戴显示设备获取该游戏体感数据，并发送体感控制指令至可穿戴设备上与该体感控制指令对应的体感片(分布在臂部⑧上的体感片)上，该体感控制指令包括加热温度为20℃的加热控制指令至臂部⑧上的体感片上的电极片以及以最强幅度、向人体方向振动一次的振动控制指令至中心区域的振子，则电极片根据加热控制指令进行加热，并通过振子传导到用户身上；同时臂部⑧上的体感片上中心区域的振子根据振动控制指令进行振动，实现将虚拟现实场景中的温度感知和振感同时作用在人体身上，达到提升用户体验的目的。

例如，用户在vr游戏场景中进入了一个冰冷的世界，那么头戴显示设备获取该游戏体感数据，并发送体感控制指令至可穿戴设备上的所有体感片，控制所有的体感片进行制冷操作，并通过振子将制冷温度传导到用户身上，给用户带来进入冰冷世界的触觉体验。

当头戴显示设备解析出vr游戏现在正处于中途休息或游戏结束阶段，则头戴显示设备会输出缓解疲劳的音视频数据至hmd，同时发送缓解疲劳的体感控制指令至可穿戴设备上的体感片。hmd会输出放松、舒缓的音视频数据，给用户带来放松、舒缓的视觉体验；同时可穿戴设备上的体感片根据缓解疲劳的体感控制指令进行动作操作，将缓解疲劳的体感感知作用在人体身上，给用户带来缓解疲劳的用户体验。例如，令分布在肩部②体感片进入敲击模式并进行加热，同时令分布在腰部④上的体感片进行加热；分布在肩部②上的体感片的振子以最强幅度上下振动，振动频率为5秒1次，同时肩部②体感片上的电极片以10℃的温度进行加热；腰部④上的体感片的电极片以15℃的温度进行加热。通过腰部④和肩部②体感片的同时作用，给用户带来缓解疲劳的用户体验。

在实际应用中，可以将各种缓解疲劳模式下载到头戴显示设备中，可穿戴设备可以执行任意缓解疲劳模式程序。用户可以指定一种缓解疲劳模式，也可由头戴显示设备根据实际情况自行选择缓解疲劳的模式。

综上所述，本发明的技术方案通过头戴显示设备在输出虚拟现实音视频数据时，获取与所述虚拟现实音视频数据对应的体感数据；并根据所述体感数据，发送体感控制指令至可穿戴设备上，所述体感控制指令用于控制所述可穿戴设备上体感片进行动作操作，将虚拟现实场景中的体感感知直接作用在用户身上，解决了现有的虚拟现实设备无法将虚拟现实场景中的体感感知直接作用在用户身上的问题，提升了用户体验。

以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。