狗的照片很快就能用来帮助生成比以往更准确的 3D 模型——这要归功于屡获殊荣的学习来自萨里大学和著名的电子游戏侠盗猎车手。

研究人员教授了一个人工智能(AI) 系统根据狗的 2D 图像预测 3D 姿势，他们使用 Grand Theft Auto V 创建的图像对该系统进行训练。

“我们的模型是在 CGI 狗上进行训练的，但我们能够用它根据真实动物的照片制作 3D 骨骼模型。这可以让自然资源保护主义者发现受伤的野生动物，或帮助艺术家在虚拟世界中创造更真实的动物，”Moira Shooter 说，研究生。

教 AI 从 2D 获取 3D 信息的一种方法图片就是向它展示照片，同时向它提供有关 3D“地面实况”的信息——物体在 3D 空间中的实际位置。对于人类来说，这意味着穿着动作捕捉服。

即使它们表现得最好，让几十只狗穿上动作捕捉服也很困难。

相反，研究人员创造了无数的虚拟狗来进行研究。

研究人员修改了《侠盗猎车手》的代码，将主角换成了八种狗中的一种——这一过程被称为“改装”。他们生成了 118 个狗在各种不同天气下坐着、行走、吠叫和奔跑的视频，照明条件。

该团队将他们的新数据库命名为 DigiDogs，由 27,900 个帧组成。他们现在将使用 Meta 的 DINOv2 模型对其进行微调，以确保它能够像预测真实的狗图片一样预测 3D 姿势。

“3D 姿势包含的信息比 2D 照片多得多。从生态到动画，这个巧妙的解决方案有很多可能的用途，”Shooter 说。

该研究荣获国际学术会议最佳论文奖IEEE/CVF 计算机视觉应用冬季会议。