vr/ar/xr类设备提供了一个可令人眼判断物体距离及大小的能力。
脑机接口提供了对大脑信号的理解(虽然目前还处于很早期的阶段)。
摄像头裸手追踪或手套追踪,提供了使现实中的手进入虚拟世界中操作的能力。(其中手套追踪,尤其是力反馈手套甚至提供了人体对虚拟物体的触觉感知能力)。
游戏引擎或建模软件提供了对物理属性的模拟(受力、流体、布料等等诸如此类的功能)。
AI提供了对人类语言的意图理解能力,以及声音识别的能力。
综合这些能力,可以实现快速高效地修改虚拟世界。
为什么这么说,首先,通过xr类设备,我们可以看到物体的大小和位置。这与在传统平面显示器上的不同,xr类设备存在双眼视差,也就是两只眼睛看到的物体画面存在着轻微的差别。这使得我们可以在没有任何背景的情况下,直接确定物体的大小以及相对位置。配合上手部识别的能力,就能将现实中的手伸入虚拟世界,抓取虚拟世界中的物体。倘若戴上力反馈手套,配合游戏引擎或者建模软件的物理模拟系统,甚至能感受物体的重量以及材料在手部捏合的情况下变形的程度。
这既方便了徒手修改3d物体,同时也为使用者。提供了极为逼真的现实模拟体验。
但是有一点,我们在现实中是无法做到的,那就是手不能在不挤开物体(我这里的挤开是粒子层面的,也包括使物体开洞或破损)的情况下,直接探入物体内部进行操作。虽然简单地设置按钮,提供可穿可不穿的功能也不失为一个选项,但如果能使用脑机接口,直接对意图进行简单的读取显然更为高效。(这比解析更复杂意图的脑电波,其实现的难度要低很多,只是一个二元选项)
另外,识别我们要选取的物体,通过脑机接口这种技术,未来可以比眼部追踪来得更为准确和高效,因为眼部追踪在盯着某个物体的时候,可能会存在误判,比如我们余光看到了一个东西,想要选取它,这个时候眼部追踪就有点力不从心了。
我们使用3d软件进行建模的时候,很多时候要实现的效果,可能会涉及到复杂的菜单调用,就拿blender来举例,假设我们想做一个表面有一个坑洞的金属小球,可能会涉及到创建小球、对表面进行修改、赋予金属材质等多个步骤。如果借用ai的自然语言理解能力和声音识别能力,就可以通过简单几句话,甚至一两句话,将我们的意图转化为复杂的程序调用,自动化实施。
以上这些是在现有的技术条件下具备极大可实践性的方向。