NVIDIA Research打造AI模型，在虚拟世界中增添3D对象和人物角色

在NVIDIA Research开发出全新人工智能 (AI) 模型后，越来越多公司及创作者可以将各种3D建筑物、车辆和人物角色置入他们打造的庞大虚拟世界中。

NVIDIA GET3D单纯使用2D图片进行训练，便能产生出极为逼真的纹理和具复杂几何细节的3D形状。用户使用与热门绘图软件应用程序一样的格式来创建这些3D对象，可以立即把这些形状导入3D渲染器和游戏引擎中，进行后续编辑工作。

产生出的对象可用来呈现出3D形状的建筑物、户外空间或整个城市，供游戏、机器人、建筑和社群媒体等业界使用。GET3D可以按照用来训练它的资料产生出不限数量的3D形状。就像艺术家精致细腻的雕塑黏土一样，GET3D模型将数字转变成复杂的3D形状。

像是使用2D汽车图片的资料集来训练GET3D模型，它会创建出3D形状的轿车、卡车、赛车及小货卡等车辆。使用2D动物图片来进行训练时，它就会产生诸如3D形状的狐狸、犀牛、马和熊等动物。而使用2D椅子图片进行训练时，它则会产生各种3D形状的转椅、餐椅和舒适的躺椅。

NVIDIA AI研究部门副总裁Sanja Fidler表示：“GET3D模型让我们更离大众化使用AI来创作3D内容更近了一步。它能够即时产出带有纹理的3D形状，这对开发人员来说或许会颠覆过去的游戏规则，协助他们快速在虚拟世界中加入各种有趣的对象。”Sanja Fidler同时也是NVIDIA位于多伦多的AI研究实验室的主管，这项工具就是由该实验室所开发。

11月26日至12月4日在纽奥良与线上举行的神经消息处理系统大会 (NeurIPS) 上，NVIDIA将发布超过20篇论文并举行多场研讨会，GET3D便是其中之一。

现实世界具丰富面貌，街道两旁是独一无二的建筑，各种车辆呼啸而过，形形色色的人群穿梭其中。用人工方式模拟出一个能反映这些特色的3D虚拟世界须花费不少时间，而难以在此数字环境中添加各种细节。

AI模型在创建3D虚拟世界时虽然比过去用人工的方法更快，但仍不够精细。就算最新的逆向渲染法也只能根据从不同角度拍摄的2D图片来产生出3D对象，开发人员一次只能创建一个3D形状。

GET3D就不同了，在一个NVIDIA GPU上进行推论时，一秒钟大概能产生20个形状，其运行方式就像是用于产生2D图片的生成对抗网络，同时产生3D对象。使用规模愈大、内容越多样化的资料集来训练它，便能输出更多样精细的内容。

NVIDIA的研究人员使用从摄影机不同角度拍摄3D形状的2D图片合成资料来训练GET3D模型，他们在NVIDIA A100 Tensor核心GPU上处理100万张图片，仅用了两天时间就完成训练工作。

GET3D的名称源自于其能生成清晰纹理3D（Generate Explicit Textured 3D）网格，意味着用三角网格来创建各种形状，就像是混凝纸浆模型上面覆盖着纹理材料。这让用户可以轻松把对象导入游戏引擎、3D建模器和电影渲染器中并进行编辑。

创作者把GET3D产出的形状导出至绘图应用程序，便能在物体于场景中移动或转动时加上逼真的照明效果。开发人员将GET3D搭配NVIDIA Research的另一项AI工具StyleGAN-NADA，就可以用文本描述替图片加上特定风格，例如将渲染出的汽车变成烧毁的汽车或出租车，或是把正常的房子变成鬼屋。

研究人员指出日后的GET3D版本可使用摄影机姿势预估技术，让开发人员能使用真实环境的资料 (而非合成资料) 来训练模型。研究人员还将改进GET3D模型以支持通用生成技术，开发人员便能一次使用各种3D形状来训练GET3D，而非一次用一种对象类别来进行训练。